Ricercatori di Cambridge e UCLA presentano DC-Check un nuovo quadro di riferimento basato su checklist per l’intelligenza artificiale centrata sui dati per guidare lo sviluppo di sistemi di apprendimento automatico affidabili.
Cambridge and UCLA researchers present DC-Check, a new checklist-based framework for data-centric artificial intelligence to guide the development of reliable machine learning systems.
Gli avanzamenti rivoluzionari negli algoritmi di machine learning (ML) hanno dato potere a molte applicazioni AI in vari settori, come il commercio elettronico, la finanza, la manifattura e la medicina. Tuttavia, lo sviluppo di sistemi ML reali in contesti dati complessi può essere una sfida, come dimostrato da numerosi fallimenti di alto profilo a causa di pregiudizi nei dati o negli algoritmi.
Per affrontare questo problema, un team di ricercatori dell’Università di Cambridge e dell’UCLA ha introdotto un nuovo framework AI centrato sui dati chiamato DC-Check; che mira a sottolineare l’importanza dei dati utilizzati per addestrare gli algoritmi di machine learning. DC-Check è un framework di tipo lista di controllo che fornisce un insieme di domande e strumenti pratici per guidare i professionisti e i ricercatori a pensare criticamente all’impatto dei dati su ogni fase del processo di ML: Dati, Addestramento, Test e Distribuzione.
Secondo i ricercatori, l’approccio attuale al machine learning è incentrato sul modello, dove l’attenzione è rivolta all’iterazione e al miglioramento del modello per ottenere una migliore performance predittiva. Tuttavia, questo approccio spesso svaluta l’importanza dei dati lungo il ciclo di vita del ML. Al contrario, l’AI centrata sui dati considera i dati come la chiave per costruire sistemi di ML affidabili e cerca di migliorare sistematicamente i dati utilizzati da questi sistemi. Definiscono l’AI centrata sui dati come: “L’AI centrata sui dati comprende metodi e strumenti per caratterizzare, valutare e monitorare sistematicamente i dati sottostanti utilizzati per addestrare e valutare i modelli”. Concentrandosi sui dati, miriamo a creare sistemi AI che siano non solo altamente predittivi ma anche affidabili e affidabili”, scrivono i ricercatori nel loro articolo.
- 5 motivi per cui i modelli di linguaggio di grandi dimensioni (LLM) come ChatGPT utilizzano l’apprendimento per rinforzo invece dell’apprendimento supervisionato per il fine-tuning
- L’architettura Transformer dei modelli GPT
- Svelare il pattern di progettazione delle reti neurali informate dalla fisica Parte 07
I ricercatori sottolineano che, sebbene ci sia un grande interesse per l’AI centrata sui dati, attualmente non esiste un processo standardizzato per quanto riguarda la progettazione di sistemi AI centrati sui dati, rendendo difficile per i professionisti applicarlo al loro lavoro.
DC-Check risolve questa sfida come il primo framework standardizzato per interagire con l’AI centrata sui dati. La lista di controllo di DC-Check fornisce un insieme di domande per guidare gli utenti a pensare criticamente all’impatto dei dati su ogni fase del processo, insieme a strumenti e tecniche pratiche. Mette anche in evidenza le sfide aperte per la comunità di ricerca da affrontare.
DC-Check copre le quattro fasi chiave del processo di apprendimento automatico: Dati, Addestramento, Test e Distribuzione. Nella fase dei Dati, DC-Check incoraggia i professionisti a considerare la selezione attiva dei dati, la curatela dei dati, la valutazione della qualità dei dati e i dati sintetici per migliorare la qualità dei dati utilizzati per l’addestramento del modello. Nell’Addestramento, DC-Check promuove la progettazione di modelli basati sui dati, l’adattamento al dominio e l’addestramento robusto di gruppo. Le considerazioni di Test includono divisioni dei dati informate, metriche mirate e test di stress, e valutazione su sottoinsiemi. Infine, le considerazioni di Distribuzione comprendono il monitoraggio dei dati, i cicli di feedback e metodi di affidabilità come la stima dell’incertezza.
Sebbene la lista di controllo abbia come pubblico di riferimento i professionisti e i ricercatori, viene menzionato che DC-Check può essere utilizzato anche da decisori organizzativi, regolatori e decisori politici per prendere decisioni informate sui sistemi AI.
Il team di ricercatori dietro DC-Check spera che la lista di controllo incoraggi l’adozione diffusa dell’AI centrata sui dati e porti a sistemi di apprendimento automatico più affidabili e affidabili. Oltre all’articolo DC-Check, hanno fornito un sito web di accompagnamento che contiene la lista di controllo e gli strumenti DC-Check insieme a risorse aggiuntive.
L’articolo Cambridge e UCLA Researcher Introduce DC-Check: un nuovo framework di tipo lista di controllo dell’AI centrato sui dati per guidare lo sviluppo di sistemi di apprendimento automatico affidabili è apparso per primo su MarkTechPost.
