Rimodellare la Memoria del Modello senza la Necessità di un Nuovo Addestramento

Risanare il Modello di Memoria senza Bisogno di un Ritraining

| AI | GRANDI MODULI DI LINGUA | ELIMINAZIONE DELLE MACCHIE |

Eliminare ogni eco di contenuti problematici che un grande modello di linguaggio ha appreso

Foto di Drew Saurus su Unsplash

“Perdonare è saggezza, dimenticare è genialità.” ― Joyce Cary

I grandi modelli di linguaggio (LLM) hanno conquistato il mondo. In meno di un anno sono diventati ubiqui e sono ora utilizzati da milioni di utenti. Questi modelli vengono spesso addestrati con enormi quantità di testo (compresi materiali problematici e dati sensibili). Come si fa a far dimenticare un modello? La stessa cosa che potrebbe conservare l’intera conoscenza umana?

Imparare a dimenticare

Foto di Paul Pastourmatzis su Unsplash

LLM rappresenta una testimonianza delle nostre conquiste e delle sfide che ci attendono – fonte

I grandi modelli di linguaggio hanno sorpreso sia gli utenti che i ricercatori con la loro capacità di apprendere enormi quantità di testo e identificare modelli di linguaggio e sfumature culturali. Sebbene potrebbero essere la base per una nuova applicazione e una rivoluzione scientifica, hanno un lato oscuro.

È necessario utilizzare enormi corpus per addestrare questi modelli. Se è vero che maggiore è la quantità di dati utilizzati, migliori sono le prestazioni di un LLM, la raccolta di questi dati è costosa. Per limitare i costi, spesso si utilizza lo scraping indiscriminato dei dati da Internet. Questi corpora contengono quindi anche dati estremamente problematici: testi protetti da copyright, dati tossici o dannosi, contenuti inaccurati o falsi, dati personali e altro ancora.

fonte immagine: qui

Eliminazione dei moduli per l’apprendimento automatico: Il dovere di dimenticare

Come e perché è importante cancellare le informazioni dei punti dati da un modello di intelligenza artificiale

towardsdatascience.com