Ricercatori di Amazon presentano Fortuna una libreria di intelligenza artificiale per la quantificazione dell’incertezza nell’apprendimento profondo

Gli scienziati di Amazon presentano Fortuna una libreria di intelligenza artificiale per misurare l'incertezza nell'apprendimento profondo

Gli sviluppi recenti nei campi dell’Intelligenza Artificiale e del Machine Learning hanno reso la vita di tutti più facile. Con le loro incredibili capacità, l’IA e il ML stanno entrando in ogni settore e risolvendo problemi. Un componente chiave del Machine Learning è l’incertezza predittiva, che consente di valutare l’accuratezza delle previsioni del modello. Per assicurarsi che i sistemi ML siano affidabili e sicuri, è importante stimare correttamente l’incertezza.

L’eccesso di fiducia è un problema diffuso, soprattutto nel contesto delle reti neurali profonde. L’eccesso di fiducia si verifica quando il modello prevede una certa classe con una probabilità molto più elevata di quanto effettivamente non faccia. Questo può influenzare giudizi e comportamenti nel mondo reale, il che lo rende una questione di preoccupazione.

Sono stati sviluppati diversi approcci capaci di stimare e calibrare l’incertezza nel ML. Tra questi metodi ci sono l’inferenza bayesiana, la predizione conforme e la scala di temperatura. Nonostante l’esistenza di questi metodi, metterli in pratica è una sfida. Molte librerie open source forniscono implementazioni uniche di tecniche specifiche o linguaggi di programmazione probabilistica generici, ma manca un framework coerente che supporti un’ampia gamma delle ultime metodologie.

• La rivoluzione degli LLM trasformando i modelli di lingua
• Core42 e Cerebras stabiliscono un nuovo punto di riferimento per i modelli di lingua arabi di grandi dimensioni con il rilascio di Jais 30B
• Hugging Face Research introduce Distil-Whisper Un modello compatto di riconoscimento del parlato che colma il divario nelle prestazioni elevate, in ambienti a bassa risorsa

Per superare queste sfide, un team di ricercatori ha presentato Fortuna, una libreria open source per la quantificazione dell’incertezza. Tecniche moderne e scalabili sono integrate in Fortuna dalla letteratura e rese disponibili agli utenti tramite un’interfaccia coerente e intuitiva. Il suo obiettivo principale è rendere l’applicazione di metodi sofisticati di quantificazione dell’incertezza in applicazioni di regressione e classificazione più semplice.

Il team ha condiviso le due caratteristiche principali di Fortuna che migliorano notevolmente la quantificazione dell’incertezza nel deep learning.

1. Tecniche di calibrazione: Fortuna supporta una serie di strumenti per la calibrazione, tra cui la predizione conforme. Qualsiasi rete neurale pre-allenata può essere utilizzata con la predizione conforme per produrre stime affidabili dell’incertezza. Ciò aiuta a bilanciare i punteggi di fiducia del modello con l’accuratezza effettiva delle sue previsioni. Questo è estremamente utile perché consente agli utenti di distinguere tra istanze in cui le previsioni del modello sono affidabili e quelle che non lo sono. Il team ha condiviso un esempio di un medico in cui il medico può ottenere aiuto per determinare se la diagnosi di un sistema AI o l’interpretazione di un’auto a guida autonoma dell’ambiente circostante sia affidabile.

1. Inferenza bayesiana scalabile: Fortuna fornisce strumenti di inferenza bayesiana scalabili oltre alle procedure di calibrazione. Le reti neurali profonde che vengono addestrate dall’inizio possono essere addestrate utilizzando queste tecniche. Un metodo probabilistico chiamato inferenza bayesiana consente di incorporare l’incertezza sia nei parametri del modello che nelle previsioni. Gli utenti possono aumentare l’accuratezza complessiva di Fortuna e la capacità del modello di quantificare l’incertezza implementando l’inferenza bayesiana scalabile.

In conclusione, Fortuna offre un framework coerente per misurare e calibrare l’incertezza nelle previsioni del modello, rendendolo sicuramente un’aggiunta utile al campo del Machine Learning.