Un algoritmo di apprendimento ispirato al cervello consente metaplasticità nelle reti neurali artificiali e spiking

'A brain-inspired learning algorithm enables metaplasticity in artificial neural networks and spiking

L’assegnazione del credito nelle reti neurali per correggere gli errori globali di output è stata determinata utilizzando molte regole di plasticità sinaptica nelle reti neurali naturali. La plasticità a breve termine, l’apprendimento di Hebb e la plasticità dipendente dal tempo di emissione degli spike (STDP) sono stati i principali punti focali dei tentativi precedenti di introdurre principi di plasticità biologicamente rilevanti nelle ANS a emissione di spike e non a emissione di spike. La STDP va oltre l’apprendimento di Hebbian considerando l’ordine temporale degli spike pre- e post-sinaptici per alterare le sinapsi. Le regole di plasticità sinaptica in entrambe le circostanze si basano esclusivamente sull’attività neuronale locale anziché rappresentare accuratamente i messaggi di istruzione globali. I neuromodulatori come la dopamina, la noradrenalina, la serotonina e l’acetilcolina agiscono su molte sinapsi e provengono da assi di specifici neuroni neuromodulatori ampiamente dispersi per produrre una modulazione globale delle sinapsi durante l’apprendimento associato al premio.

I metodi di neuromodulazione biologica hanno ispirato diversi algoritmi di plasticità nei modelli di reti neurali. C’è un significativo ritardo tra la modifica di Hebb e il premio, ma la regola ha ispirato altre forme di apprendimento per rinforzo. Ad esempio, la regola a tre fattori per l’apprendimento per rinforzo utilizza l’attività neuronale pre- e post-sinaptica come primi due fattori e i livelli di neuromodulatori dipendenti dal premio distale come terzo fattore. I modelli di traccia di idoneità conservano un registro degli spike pre- e post-sinaptici precedenti che si sono verificati contemporaneamente per agevolare i cambiamenti sinaptici ritardati dipendenti dal premio. L’ampiezza e la polarità sinaptiche sono state determinate nei modelli di neuroscienze computazionali a livello di neuromodulatori, ma questi metodi devono ancora essere inclusi nelle ANS o nelle SNN. Per quanto riguarda l’apprendimento supervisionato del riconoscimento di immagini e del linguaggio, l’algoritmo NACA non solo ha ridotto significativamente il problema dell’oblio catastrofico durante il class-CL, ma ha anche migliorato l’accuratezza del riconoscimento e ridotto il costo di calcolo. I cambiamenti del peso sinaptico nel livello nascosto sono stati ulteriormente mappati, rivelando che la distribuzione dei cambiamenti di peso di NACA ha evitato un’eccessiva potenziazione o depressione sinaptica, proteggendo quindi una grande proporzione di sinapsi con piccoli aggiustamenti. Le nostre scoperte presentano in modo collettivo un nuovo algoritmo ispirato al cervello per la neuromodulazione globale basata sull’aspettativa della plasticità sinaptica, che consente prestazioni della rete neurale con alta accuratezza e basso costo di calcolo in una serie di compiti di riconoscimento e apprendimento continuo.

Per affrontare il problema dell’oblio catastrofico in ANN e SNN, i ricercatori presso l’Istituto di Automazione dell’Accademia Cinese delle Scienze hanno presentato un nuovo approccio di apprendimento ispirato al cervello (NACA) basato sulla plasticità dipendente dalla modulazione neuronale.

• Due nuovi sforzi di Meta AI per la giustizia nell’intelligenza artificiale introduzione della licenza per DINOv2 e rilascio di FACET
• Top AI Email Assistants (settembre 2023)
• Incontra AnomalyGPT un nuovo approccio di IAD basato su modelli visione-linguaggio di grande dimensione (LVLM) per rilevare anomalie industriali.

Questa tecnica si basa su un modello matematico del percorso di modulazione neurale sotto forma di codifica matriciale attesa, che a sua volta si basa sulla struttura del cervello del percorso di modulazione neurale. Segnali di supervisione della dopamina di varia intensità vengono creati in risposta al segnale dello stimolo e influenzano la plasticità dei neuroni e delle sinapsi vicini.

Sia le ANS che le SNN possono essere addestrate con l’aiuto dell’approccio NACA che favorisce le tecniche di apprendimento del flusso puro in avanti. Si sincronizza con il segnale in ingresso e propaga anche le informazioni in avanti prima che la chiamata in ingresso sia terminata. NACA dimostra significativi vantaggi nella convergenza rapida e nella riduzione dell’oblio catastrofico quando combinato con la modifica specifica della plasticità dipendente dal tempo di emissione degli spike. Inoltre, il team di ricerca ha ampliato la modulazione neurale al campo della plasticità neuronale e ha testato la capacità di apprendimento continuo di NACA nell’apprendimento continuo di classe.

I ricercatori hanno definito i livelli di neuromodulatori in sottopopolazioni di sinapsi nei livelli nascosti e di output durante l’addestramento della rete utilizzando l’algoritmo NACA, considerando il tipo di input e l’errore di output. La dipendenza dell’efficacia sinaptica dal livello di neuromodulatori o calcio ha ispirato la modulazione non lineare dell’ampiezza e della polarità di LTP e LTD in ogni sinapsi nelle SNN. Ad esempio, il legame della dopamina alle sinapsi contenenti recettori di tipo D1 o D2 può attivare variamente le cascate di segnalazione intracellulari, portando alla modifica di LTP o LTD indotta dall’attività.

Abbiamo implementato la plasticità sinaptica dipendente dalla neuromodulazione in un algoritmo di apprendimento chiamato NACA per SNN e ANS. Abbiamo riscontrato miglioramenti significativi nell’accuratezza e una drastica diminuzione del costo di calcolo applicando la rete a comuni compiti di riconoscimento di immagini e voce. Cinque compiti di class-CL di complessità variabile hanno avuto un significativo riduzione dell’oblio catastrofico grazie alla tecnica NACA. Mentre sono stati sviluppati altri algoritmi di apprendimento di rete ispirati alla neuromodulazione, come la teoria globale dello spazio di lavoro neurale nelle reti neurali a emissione di spike (SNN) e la neuromodulazione della probabilità di dropout nelle reti neurali artificiali (ANN), NACA si distingue per tre qualità distinte che possono contribuire al suo successo. Il livello di neuromodulatori in specifici neuroni e sinapsi nei livelli nascosti e di output viene regolato dalle aspettative basate sul tipo di input e l’errore di output. In secondo luogo, il livello di neuromodulatori influenza non linearmente la plasticità sinaptica locale, come LTP o LTD. In terzo luogo, il BP globale dei segnali errati è irrilevante per l’apprendimento della rete, che dipende interamente dalla plasticità locale.

L’algoritmo NACA ha drasticamente ridotto il costo di calcolo di tutti i lavori rispetto agli algoritmi di apprendimento esistenti. Utilizzando NACA si è ridotta la dimenticanza estrema che spesso si verifica durante l’apprendimento continuo. Ulteriori analisi dei cambiamenti dei pesi sinaptici nei sinapsi del livello nascosto durante la classe CL hanno rivelato che NACA ha prodotto cambiamenti dei pesi sinaptici distribuiti normalmente senza potenziamenti o depressioni e ha preservato molte sinapsi con modifiche minime durante la classe-CL. La capacità di NACA di ridurre l’amnesia estrema potrebbe basarsi sulla distribuzione dei cambiamenti dei pesi sinaptici.

Di seguito sono riportate alcune restrizioni applicate all’algoritmo NACA proposto:

• In primo luogo, nei reti neurali più profonde, l’algoritmo NACA mostra una certa instabilità durante la neuromodulazione dei cambiamenti sinaptici. Nelle prime poche epoche, ad esempio, la neuromodulazione parallela alle sinapsi multistrato contribuisce a una temporanea diminuzione dell’accuratezza del test.
• In secondo luogo, in conformità con la codifica predittiva, l’algoritmo NACA non si integra facilmente con l’algoritmo tradizionale BP poiché la sua neuromodulazione globale avviene contemporaneamente o addirittura prima della propagazione locale degli spike.
• In terzo luogo, NACA introduce ed esamina solo neuroni LIF eccitatori e un singolo tipo di neuromodulatore, senza esaminare l’interazione delle neuromodulazioni da diversi tipi di neuroni.

L’algoritmo NACA, che incorpora regole di apprendimento biologicamente plausibili senza ricorrere a calcoli globali di discesa del gradiente simili a BP, potrebbe guidare l’apprendimento delle reti per SNN e ANN, in breve. Dimostra che l’efficienza elevata e il basso costo di calcolo nell’apprendimento automatico possono essere raggiunti utilizzando metodi ispirati al cervello. L’algoritmo NACA, se implementato in dispositivi neuromorfi, potrebbe aprire la strada a sistemi di apprendimento continuo online che sono sia energetici che efficienti in termini di tempo. Dal punto di vista della neuroscienza computazionale, il successo di NACA dimostra che la flessibilità dei circuiti neurali del cervello per l’apprendimento continuo potrebbe derivare dalla diversità della plasticità locale basata sulla metaplasticità.