Quanto rischioso è il tuo progetto di LLM open-source? Una nuova ricerca spiega i fattori di rischio associati agli LLM open-source.

Nuova ricerca sul rischio associato ai progetti di LLM open-source.

I modelli di linguaggio di grandi dimensioni (LLM) e l’Intelligenza Artificiale generativa, come i motori GPT, hanno creato grandi onde nel campo dell’IA di recente, e c’è un grande hype nel mercato, sia tra i singoli al dettaglio che tra le aziende, per cavalcare questa nuova onda tecnologica. Tuttavia, poiché questa tecnologia sta rapidamente prendendo piede in molti casi d’uso nel mercato, dobbiamo prestare maggiore attenzione agli aspetti di sicurezza ad essa associati e prestare attenzione in modo più dettagliato ai rischi legati al suo utilizzo, specialmente per quanto riguarda i LLM open-source.

In una recente ricerca condotta da Rezilion, una rinomata piattaforma di sicurezza automatizzata per la catena di approvvigionamento del software, gli esperti hanno indagato proprio su questo problema e i risultati ci sorprenderanno. Hanno considerato tutti i progetti che soddisfacevano questi criteri:

1. I progetti devono essere stati creati otto mesi fa o meno (circa da novembre 2022 a giugno 2023, al momento della pubblicazione di questo articolo)
2. I progetti sono correlati agli argomenti: LLM, ChatGPT, Open-AI, GPT-3.5 o GPT-4
3. I progetti devono avere almeno 3.000 stelle su GitHub

Questi criteri hanno garantito che tutti i principali progetti rientrino nella ricerca.

• L’IA aiuta il governo nel vietare le connessioni mobili false
• OpenAI Presenta Super Alignment Predisporre la Strada per un’Intelligenza Artificiale Sicura e Allineata
• Incontra KITE un framework di intelligenza artificiale per la manipolazione semantica utilizzando punti chiave come rappresentazione per l’ancoraggio visivo e l’inferenza precisa delle azioni.

Per esporre la loro ricerca, hanno utilizzato un framework chiamato OpenSSF Scorecard. Scorecard è uno strumento SAST creato dalla Open Source Security Foundation (OSSF). Il suo obiettivo è valutare la sicurezza dei progetti open-source e aiutare a migliorarli. La valutazione si basa su diversi fattori riguardanti il repository, come ad esempio il numero di vulnerabilità, la frequenza con cui viene mantenuto, se contiene file binari e molti altri.

Lo scopo di tutti i controlli insieme è garantire il rispetto delle migliori pratiche di sicurezza e degli standard dell’industria. Ogni controllo ha associato un livello di rischio. Il livello di rischio rappresenta il rischio stimato associato al non aderire a una specifica best practice e aggiunge peso al punteggio di conseguenza.

Attualmente, ci sono 18 controlli che possono essere divisi in tre temi: pratiche di sicurezza olistiche, valutazione del rischio del codice sorgente e valutazione del rischio del processo di compilazione. L’OpenSSF Scorecard assegna un punteggio ordinale da 0 a 10 e un punteggio di livello di rischio per ogni controllo.

Risulta che quasi tutti questi LLM (open-source) e progetti affrontano importanti problemi di sicurezza, che gli esperti hanno categorizzato nel seguente modo:

1. Rischio del confine di fiducia

Rischi come sandboxing inadeguato, esecuzione non autorizzata del codice, vulnerabilità SSRF, controlli di accesso insufficienti e persino iniezioni di prompt rientrano nel concetto generale di confini di fiducia.

Chiunque può iniettare un comando nlp maligno, che può attraversare molti canali e influenzare gravemente l’intera catena software.

Uno degli esempi più popolari è la vulnerabilità CVE-2023-29374 in LangChain (terzo modello gpt open source più popolare)

2. Rischio della gestione dei dati

La fuga di dati e l’avvelenamento dei dati di addestramento rientrano nella categoria dei rischi legati alla gestione dei dati. Questi rischi riguardano qualsiasi sistema di apprendimento automatico e non sono limitati solo ai modelli di linguaggio di grandi dimensioni.

L’avvelenamento dei dati di addestramento si riferisce alla manipolazione deliberata dei dati di addestramento di un LLM o delle procedure di affinamento da parte di un attaccante per introdurre vulnerabilità, backdoor o distorsioni che possono compromettere la sicurezza, l’efficacia o il comportamento etico del modello. Questo atto malizioso mira a compromettere l’integrità e l’affidabilità del LLM iniettando informazioni fuorvianti o dannose durante il processo di addestramento.

3. Rischio intrinseco del modello

Queste preoccupazioni per la sicurezza si verificano a causa delle limitazioni del modello di apprendimento automatico sottostante: l’allineamento inadeguato dell’IA e la forte dipendenza dai contenuti generati dal LLM.

4. Migliori pratiche di sicurezza di base

Comprende problemi come la gestione errata degli errori o i controlli di accesso insufficienti che rientrano nelle migliori pratiche di sicurezza generali. Non sono comuni solo ai modelli di apprendimento automatico in generale e non specificamente ai LLM.

Il fatto sorprendente e preoccupante è il punteggio di sicurezza che tutti questi modelli hanno ricevuto. Il punteggio medio tra i progetti controllati era solo 4,6 su 10, l’età media era di 3,77 mesi e il numero medio di stelle era di 15.909. I progetti che guadagnano popolarità in modo relativamente rapido sono molto più a rischio rispetto a quelli costruiti nel corso di un lungo periodo.

L’azienda non ha solo evidenziato le problematiche di sicurezza con cui queste progetti stanno attualmente confrontandosi, ma ha anche suggerito ampiamente i passi nella loro ricerca che possono essere intrapresi per attenuare questi rischi e renderli più sicuri nel lungo termine.

In conclusione, l’azienda ha sottolineato la necessità di amministrare e garantire adeguatamente i protocolli di sicurezza, ha evidenziato i punti deboli specifici della sicurezza e ha suggerito modifiche che possono essere effettuate per eliminare tali rischi. Attraverso una valutazione completa dei rischi e misure di sicurezza robuste, le organizzazioni possono sfruttare il potere degli LLM open-source proteggendo le informazioni sensibili e mantenendo un ambiente sicuro.