Proteggi la tua app LLM. Un must da leggere!
Proteggi la tua app LLM. Un must da leggere!
Obiettivo di educare sui potenziali rischi di sicurezza nel deploy di LLM
Il progetto OWASP Top 10 per le applicazioni di Large Language Model mira ad educare sviluppatori, designer, architetti, manager e organizzazioni sui potenziali rischi di sicurezza nel deploy e nella gestione di Large Language Models (LLM). Il progetto elenca le 10 vulnerabilità più critiche spesso riscontrate nelle applicazioni LLM, evidenziando il loro impatto potenziale, la facilità di sfruttamento e la prevalenza nelle applicazioni reali.
I seguenti 10 rischi di sicurezza critici durante il deploy di un LLM devono essere presi in considerazione –
INIEZIONE DI PROMPT
Gli attaccanti possono manipolare gli LLM attraverso input manipolati, facendo eseguire al sistema le intenzioni dell’attaccante. Ciò può essere fatto direttamente attraverso l’inserimento avversario del prompt di sistema o indirettamente attraverso input esterni manipolati, potenzialmente portando a esfiltrazione di dati, ingegneria sociale e altri problemi.
Esempi
* Le iniezioni dirette di prompt sovrascrivono i prompt di sistema* Le iniezioni indirette di prompt intercettano il contesto della conversazione* Un utente utilizza un LLM per riassumere una pagina web contenente un’iniezione di prompt indiretta.
- Utilizza l’integrazione tra Amazon SageMaker e Salesforce Data Cloud per potenziare le tue app Salesforce con intelligenza artificiale/apprendimento automatico
- Questa ricerca sull’IA valuta la correttezza e la fedeltà dei modelli di istruzioni per la loro capacità di eseguire il question-answering.
- Ottimizzazione della gestione dei file una guida per collegare e modificare file su un server o un contenitore Docker in esecuzione su un server con SFTP in Sublime Text
Prevenzione
* Imporre il controllo dei privilegi sull’accesso LLM ai sistemi di back-end* Implementare l’intervento umano per una funzionalità estensibile* Separare i contenuti esterni dai prompt degli utenti* Stabilire confini di fiducia tra LLM, fonti esterne e funzionalità estensibili.
Scenari di attacco
* Un attaccante fornisce un’iniezione diretta di prompt a un chatbot di supporto basato su LLM* Un attaccante incorpora un’iniezione indiretta di prompt in una pagina web* Un utente utilizza un LLM per riassumere una pagina web contenente un’iniezione di prompt indiretta.
GESTIONE INSEGURO DEI RISULTATI
La gestione insicura dei risultati è una vulnerabilità che si verifica quando un componente downstream accetta ciecamente l’output di un Large Language Model (LLM) senza una corretta analisi. Ciò può portare a XSS e…
