IA generativa nel mirino la battaglia dei CISO per la cybersecurity

La lotta dei CISO per la cybersecurity l'IA generativa nel mirino

ChatGPT e i large language models (LLM) sono i primi segnali di come l’intelligenza artificiale generativa plasmerà molti processi aziendali. I leader della sicurezza e della gestione del rischio, in particolare i CISO e i loro team, devono assicurarsi che la loro organizzazione sviluppi e utilizzi in modo sicuro l’intelligenza artificiale generativa e gestirne l’impatto sulla sicurezza informatica. Il livello di hype, scala e velocità di adozione della Generative AI (GenAI) ha aumentato la consapevolezza degli utenti finali sulle LLM, portando a utilizzi non controllati delle applicazioni LLM. Ciò ha anche aperto le porte a esperimenti aziendali e a una serie di startup basate sull’IA che promettono proposte di valore uniche grazie alle nuove applicazioni LLM e GenAI. Molte squadre di progetto aziendali e IT hanno già lanciato iniziative GenAI o lo faranno presto.

In questo articolo esploriamo come GenAI influisce sui CISO e sulle loro strategie in questo panorama in evoluzione.

Le aziende abbracceranno l’intelligenza artificiale generativa per ridefinire i futuri prodotti, servizi ed eccellenza operativa, indipendentemente dalla sicurezza.

Impatti chiave della GenAI sui CISO

I CISO e i team di sicurezza devono prepararsi per gli impatti dell’intelligenza artificiale generativa in quattro diverse aree.

1. Consumo

Gestire e monitorare come l’organizzazione “consuma” GenAI: ChatGPT è stato il primo esempio; gli assistenti GenAI incorporati nelle applicazioni esistenti saranno i prossimi. Queste applicazioni hanno requisiti di sicurezza unici che non vengono soddisfatti dai controlli di sicurezza tradizionali.
Il consumo di applicazioni GenAI, come i large language models (LLM), attraverso esperimenti aziendali e adozione informale e spontanea da parte dei dipendenti, crea nuove superfici di attacco e rischi per la privacy individuale, i dati sensibili e la proprietà intellettuale dell’organizzazione (IP).

2. Sviluppo

Proteggere le iniziative aziendali per “sviluppare” applicazioni GenAI: le applicazioni di intelligenza artificiale hanno una superficie di attacco estesa e presentano nuovi potenziali rischi che richiedono adeguamenti alle pratiche di sicurezza delle applicazioni esistenti.
Molte aziende si stanno affrettando a capitalizzare la loro IP e a sviluppare le proprie applicazioni GenAI, creando nuovi requisiti per la sicurezza delle applicazioni di intelligenza artificiale.

3. Difesa con

Intelligenza artificiale generativa per la sicurezza informatica: Ricevere il mandato di sfruttare le opportunità offerte dalla GenAI per migliorare la sicurezza e la gestione del rischio, ottimizzare le risorse, difendersi contro le nuove tecniche di attacco o addirittura ridurre i costi.
Una proliferazione di annunci ottimistici sulla GenAI nel mercato della sicurezza e della gestione del rischio potrebbe portare a miglioramenti promettenti in termini di produttività ed accuratezza per i team di sicurezza, ma potrebbe anche causare sprechi e delusioni.
Investire nello sviluppo delle tecniche di Intelligenza Artificiale Difensiva

4. Attaccati da

GenAI: Adattarsi all’evoluzione delle tecniche degli attori malintenzionati o addirittura allo sfruttamento di nuovi vettori di attacco grazie allo sviluppo di strumenti e tecniche GenAI.
Gli attaccanti utilizzeranno GenAI. Hanno iniziato con la creazione di contenuti apparentemente autentici, esche per il phishing e impersonificazioni degli esseri umani su larga scala. L’incertezza su quanto con successo possano sfruttare GenAI per attacchi più sofisticati richiederà mappe di navigazione della sicurezza informatica più flessibili.

Raccomandazioni per i CISO

Per affrontare gli svariati impatti dell’intelligenza artificiale generativa sui programmi di sicurezza della propria organizzazione, i chief information security officers (CISO) e i loro team devono:

Entro il 2027, la GenAI contribuirà a una riduzione del 30% dei tassi di falsi positivi nei test di sicurezza delle applicazioni e nella rilevazione delle minacce affinando i risultati di altre tecniche per classificare gli eventi benigni da quelli maligni.

Fino al 2025, gli attacchi che sfruttano la GenAI costringeranno le organizzazioni attente alla sicurezza a abbassare le soglie per la rilevazione dell’attività sospetta, generando più falsi allarmi e quindi richiedendo una maggior — non una minore — risposta umana.

1. Investire nello sviluppo delle tecniche di Intelligenza Artificiale Difensiva

Intelligence sulle minacce interattive: Accesso a documentazione tecnica, intelligence sulle minacce fornita dal provider di sicurezza o raccolta tramite crowd (utilizzando vari metodi separatamente o in combinazione, tra cui l’ingegnerizzazione delle prompt, la generazione aumentata tramite recupero e l’interrogazione di un modello LLM tramite un’API).
Punteggio e profilazione adattivi del rischio
Automazione dell’ingegneria della sicurezza: Genera codice di automazione della sicurezza e playbook su richiesta, sfruttando la prompt conversazionale.
BAS
Penetration Testing potenziato da GenAI

2. Abbracciare gli assistenti di sviluppo di applicazioni sicure

Le strumenti di generazione del codice (ad esempio, GitHub Copilot, Open AI Codex, Amazon CodeWhisperer) stanno incorporando funzionalità di sicurezza e gli strumenti di sicurezza delle applicazioni stanno già sfruttando le applicazioni LLM. Alcuni esempi di casi d’uso per questi assistenti di codice sicuri includono:

Team di sicurezza delle applicazioni

Rilevamento delle vulnerabilità: evidenzia i problemi nel codice inserito nei prompt o esegue una scansione del codice sorgente.
Riduzione dei falsi positivi: utilizzata come livello di conferma per altre tecniche di analisi del codice, la funzione analizza l’allarme e il codice correlato e indica in linguaggio conversazionale perché potrebbe essere un falso positivo.
Assistente di auto-correzione: suggerisce aggiornamenti del codice per correggere le vulnerabilità individuate come parte del riepilogo delle scoperte generate.

Crea processi di riqualificazione e aggiornamento dei processi DevSecOPS per includere BAS e Penetration Testing basati su GenAI.

Team di ingegneria del software/Sviluppo app

Generazione del codice: crea script/codice a partire dall’input degli sviluppatori, inclusi commenti o istruzioni in linguaggio naturale o funge da strumento avanzato di completamento del codice. Alcuni strumenti possono anche indicare se il codice generato assomiglia a un progetto open source o possono aiutare a convalidare che il codice (generato o scritto dall’uomo) sia conforme alle pratiche standard di sicurezza dell’industria.
Creazione di test unitari: suggerisce una serie di test per una funzione inviata per garantire che il suo comportamento sia conforme alle aspettative e sia resistente agli input malevoli.
Documentazione del codice: genera spiegazioni su cosa fa un pezzo di codice o sull’impatto di una modifica al codice.

Anche se i casi d’uso sono facili da identificare, è ancora molto presto per ottenere misurazioni qualitative rilevanti di questi assistenti.

3. GenAI in Operazioni di Sicurezza e Set di Strumenti per le Operazioni di Sicurezza

Prioritizza il coinvolgimento delle risorse di sicurezza per casi d’uso con impatti finanziari e di marca diretti, come l’automazione del codice, la generazione di contenuti rivolti ai clienti e i team rivolti ai clienti, come i centri di supporto.
Valuta i prodotti di sicurezza di terze parti per controlli non legati all’intelligenza artificiale (come IAM, governance dei dati e funzioni SSE) e sicurezza specifica dell’IA (come monitoraggio, controllo e gestione degli input LLM.)
Prepararsi per valutare i prodotti emergenti che consentono la personalizzazione di prompt senza codice.
Testare i prodotti emergenti che ispezionano e revisionano gli output per possibili disinformazioni, allucinazioni, errori di fatto, bias, violazioni del copyright e altre informazioni illecite o indesiderate che la tecnologia potrebbe generare, il che potrebbe portare a risultati indesiderati o dannosi. Al contrario, implementare un processo di revisione manuale provvisorio.
Implementare progressivamente azioni automatizzate solo con metriche di tracciamento dell’accuratezza predefinite. Assicurarsi che eventuali azioni automatizzate possano essere rapidamente ed facilmente ripristinate.
Includere i requisiti di trasparenza dei modelli LLM nella valutazione delle applicazioni di terze parti. Prima di tutto, gli strumenti non includono la necessaria visibilità delle azioni degli utenti.
Considera i vantaggi di sicurezza dell’hosting privato di LLM più piccoli o specifici per un dominio, ma lavora con i team di infrastruttura e applicazione per valutare le sfide infrastrutturali e operative.
Avviare esperimenti con “AI di cybersecurity generativa,” a partire dagli assistenti chat per i centri di operazioni di sicurezza (SOC) e la sicurezza delle applicazioni. Le utility GenAI hanno trovato la loro strada in diversi strumenti di operazioni di sicurezza di vendor come Microsoft, Google, Sentinel One e CrowdStrike. Queste utility hanno il potenziale per migliorare la produttività e le competenze dell’amministratore medio, migliorando i risultati e la comunicazione in materia di sicurezza.
La prima ondata di implementazione di GenAI all’interno degli strumenti SOC (ad esempio, Microsoft Security CoPilot) consiste in prompt di conversazione che sostituiscono le funzioni di ricerca basate su query esistenti e fungono da front-end per gli utenti. Questa nuova interfaccia riduce i requisiti di competenze per l’uso dello strumento, riducendo la durata della curva di apprendimento e consentendo a un numero maggiore di utenti di beneficiare degli strumenti. Queste funzionalità GenAI verranno sempre più incorporate negli strumenti di sicurezza esistenti per migliorare la competenza e la produttività degli operatori. Le prime implementazioni di questi prompt supportano analisi delle minacce e flussi di lavoro di ricerca delle minacce:
Arricchimento degli avvisi: aggiunge automaticamente informazioni contestuali a un avviso, inclusa l’intelligence delle minacce o la categorizzazione in framework noti.
Spiegazione dei punteggi di allarme/rischio: affina i meccanismi di punteggio esistenti per identificare i falsi positivi o contribuire a un motore di punteggio del rischio esistente.
Sintesi della superficie di attacco/minaccia: aggrega più avvisi e informazioni di telemetria disponibili per riassumere il contenuto in base all’uso del lettore target.
Assistenti di mitigazione: suggeriscono modifiche ai controlli di sicurezza e nuove o migliori regole di rilevamento.
Documentazione: sviluppa, gestisci e mantieni la documentazione coerente delle politiche di sicurezza e le migliori pratiche delle politiche e delle procedure.

I chatbot operativi per la sicurezza rendono più facile estrarre informazioni dagli strumenti SOC. Tuttavia, sono ancora necessari analisti esperti per valutare la qualità delle risposte, rilevare potenziali allucinazioni e prendere azioni appropriate in base alle esigenze dell’organizzazione.

Nota: La maggior parte di questi strumenti è ancora agli inizi (sia dal punto di vista delle capacità che dei prezzi); sembrano promettenti, ma attenzione! – La novità potrebbe risiedere principalmente nell’interattività, che ha valore, ma le capacità di ricerca e analisi sono già disponibili.

4. Sviluppare un framework AI responsabile e affidabile (RTAF)

5. Adottare un approccio integrato alla gestione dei rischi e della sicurezza (MSR)

6. Ridefinire e rafforzare i flussi di governance

Lavorare con i colleghi organizzativi interessati all’IA generativa, come quelli legali, di conformità e di linee di business, per formulare politiche utente, formazione e linee guida. Ciò aiuterà a ridurre al minimo gli utilizzi non autorizzati dell’IA generativa e a ridurre i rischi di violazione della privacy e dei diritti d’autore.
Obbligare all’utilizzo di RTAF e MSR durante lo sviluppo di nuove applicazioni di terze parti o nell’utilizzo di nuove applicazioni di terze parti sfruttando LLM e IA generativa.
Creare una politica aziendale che elenchi chiaramente le regole di governance, includa tutti i flussi di lavoro necessari e sfrutti la classificazione dei dati esistente per limitare gli utilizzi dei dati sensibili nelle istruzioni e nelle applicazioni di terze parti.
Definire flussi di lavoro per inventariare, approvare e gestire i consumi di IA generativa.Includere “IA generativa come funzionalità” incluso durante un aggiornamento del software dei prodotti esistenti.
Classificare i casi d’uso con il maggior impatto potenziale sul business e identificare i team più propensi a avviare rapidamente un progetto.
Definire nuovi requisiti di gestione dei rischi dei fornitori per i fornitori che sfruttano IA generativa.
Ottenere e verificare le garanzie di governo e protezione dei dati dei fornitori di hosting che le informazioni aziendali confidenziali trasmesse al suo modello di linguaggio LLM (ad esempio, sotto forma di prompt memorizzati) non siano compromesse. Tali garanzie vengono ottenute attraverso accordi di licenza contrattuali poiché gli strumenti di verifica della riservatezza eseguiti in ambienti ospitati non sono ancora disponibili.
Rafforzare i metodi per valutare l’esposizione alle minacce imprevedibili e misurare i cambiamenti nell’efficacia dei propri controlli, poiché non è possibile prevedere se e come attori malintenzionati potrebbero utilizzare l’IA generativa.
Formulare politiche utente, formazione e linee guida per ridurre al minimo gli utilizzi non autorizzati dell’IA generativa e i rischi di violazione della privacy e dei diritti d’autore.
Pianificare le necessarie valutazioni di impatto richieste dalle normative sulla privacy e sull’IA, come il Regolamento generale sulla protezione dei dati (GDPR) dell’UE e il prossimo Artificial Intelligence Act.

Sfide chiave e raccomandazioni nell’adozione di IA generativa per la cybersecurity

L’IA generativa per la cybersecurity avrà un impatto sulle squadre di sicurezza e di gestione del rischio, ma i leader della sicurezza dovrebbero anche prepararsi all’impatto “esterno/indiretto” di IA generativa sui programmi di sicurezza, come l’analisi assistita di RFP, l’annotazione del codice e varie altre generazione di contenuti e automazione che influiscono sulla conformità, sulla gestione delle risorse umane e su molte altre squadre.
Privacy e dipendenze di terze parti: Con l’uscita tempestiva di nuove funzionalità, molti provider si avvalgono di un LLM di terze parti, utilizzando un’API per interagire con un fornitore di IA generativa o utilizzando librerie o modelli di terze parti direttamente. Questa nuova dipendenza potrebbe creare problemi di privacy e sfide nella gestione dei rischi di terze parti.
Produttività a breve termine del personale: La valorizzazione degli allarmi ridurrà la stanchezza diagnostica o la renderà molto peggiore aggiungendo contenuti generati? Il personale junior potrebbe stancarsi solo per la quantità di dati perché non riescono realmente a determinare se ha senso.
Costi: Molte delle nuove funzionalità e prodotti di IA generativa per la cybersecurity sono attualmente in versione beta privata o anteprima. Ci sono poche informazioni sull’impatto che queste funzionalità avranno sui prezzi delle soluzioni di sicurezza. I modelli commerciali sono generalmente basati sul volume di token utilizzati e i fornitori di sicurezza probabilmente faranno pagare ai loro clienti. La formazione e lo sviluppo di un modello sono anche costosi. Il costo dell’utilizzo di IA generativa potrebbe essere molto più elevato rispetto al costo di altre tecniche che affrontano lo stesso caso d’uso.
Qualità: Per la maggior parte delle prime implementazioni di applicazioni di IA generativa per la cybersecurity, le organizzazioni mireranno a “sufficientemente buono” e all’augmentazione delle capacità di base. Nella maggior parte dei miei test/valutazioni sperimentali delle uscite dell’assistente per il codice sicuro, la qualità dà risultati misti (50-60% di successo). Le funzionalità di intelligence sulle minacce (TI) e di valutazione degli allarmi potrebbero essere influenzate dai dati di addestramento del modello o essere colpite da allucinazioni (uscite inaccurate fabbricate).
Regressione alla media rispetto allo stato dell’arte: Per casi d’uso specialistici, come la risposta agli incidenti contro attacchi avanzati, la qualità delle uscite emesse da IA generativa potrebbe non essere all’altezza dello standard dei team più esperti. Questo perché le sue uscite provengono in parte da set di dati di addestramento provenienti da pratiche di maturità più basse.

Rischi derivanti dall’uso non autorizzato delle applicazioni LLM

Esposizione di dati sensibili: Le regole su ciò che i fornitori fanno con i dati inviati nell’input varieranno per ogni fornitore. Le imprese non hanno un metodo per verificare se i loro dati di input rimangono privati, secondo quanto dichiarato dai fornitori. Devono fare affidamento sugli accordi di licenza dei fornitori per garantire la riservatezza dei dati.
Potenziali violazioni del copyright / della proprietà intellettuale: La responsabilità per le violazioni del copyright derivanti dagli output generati (basati su dati di training che le organizzazioni non possono identificare) ricade sugli utenti e sulle imprese che li utilizzano. Potrebbero anche esserci regole d’uso per l’output generato.
Risposte tendenziose, incomplete o errate: Il rischio di “allucinazioni dell’IA” (risposte fabbricate) è reale!! Indovina un po’, le risposte potrebbero anche essere errate (ad esempio, dal punto di vista pratico, tecnico, sintattico, ecc.) a causa del fatto che si basano su set di dati di training tendenziosi, frammentati o obsoleti.
Violazioni delle politiche di input e output dei contenuti LLM: Le imprese possono controllare gli input dell’input utilizzando controlli di sicurezza legacy, ma hanno bisogno di un altro livello di controlli per garantire che l’input creato soddisfi le loro linee guida politiche – ad esempio, per quanto riguarda la trasmissione di domande che violano le linee guida etiche predefinite. Gli output LLM devono anche essere monitorati e controllati in modo che anch’essi rispettino le politiche aziendali – ad esempio, per quanto riguarda i contenuti dannosi specifici del dominio. I controlli di sicurezza legacy non forniscono questo tipo di monitoraggio dei contenuti specifici del dominio basato su politiche.
Danno al brand / alla reputazione: Oltre alla goffaggine di “rigenerare la risposta” o “come modello di linguaggio AI” trovata nei contenuti rivolti ai clienti, i clienti della tua organizzazione probabilmente si aspettano un certo livello di trasparenza.

Quattro pattern di utilizzo delle applicazioni GenAI

1. Applicazioni o agenti di terze parti: Come ad esempio le versioni basate su web o per dispositivi mobili di ChatGPT (preconfezionate).

2. IA generativa integrata nelle applicazioni aziendali: Le organizzazioni possono utilizzare direttamente applicazioni commerciali che hanno funzionalità GenAI incorporate al loro interno. Un esempio di ciò è l’utilizzo di un’applicazione software consolidata (vedi Modelli di Progettazione di Intelligenza Artificiale per Modelli di Linguaggio di Grandi Dimensioni) che include ora LLM (come Microsoft 365 Copilot o funzionalità di generazione di immagini come Adobe Firefly).

3. Incorporazione di API del modello nelle applicazioni personalizzate: Le imprese possono costruire le proprie applicazioni, integrando GenAI tramite le API del modello di base. La maggior parte dei modelli GenAI a codice chiuso, come GPT-3, GPT-4 e PaLM, sono disponibili per il deployment tramite le API del cloud. Questo approccio può essere ulteriormente affinato tramite l’engineering dell’input creato, che potrebbe includere modelli, esempi o dati di proprietà dell’organizzazione stessa, al fine di informare meglio l’output del LLM. Un esempio potrebbe essere la ricerca di una base di dati di documenti privata per trovare dati rilevanti da aggiungere all’input del modello di base, arricchendo la sua risposta con queste informazioni rilevanti e simili.

4. Estensione di GenAI tramite fine-tuning: Il fine-tuning prende un LLM e lo allena ulteriormente su un set di dati più piccolo per un caso d’uso specifico. Ad esempio, una banca potrebbe fare fine-tuning di un modello di base con i propri termini e politiche, con le informazioni sui clienti e la conoscenza dell’esposizione al rischio nel modello, migliorando le prestazioni su casi d’uso specifici. Gli approcci di engineering dell’input creato sono limitati dalla finestra contestuale dei modelli, mentre il fine-tuning consente di incorporare un corpus di dati più ampio.

L’integrazione di modelli di terze parti e il fine-tuning confondono i confini tra il consumo e la creazione della propria applicazione GenAI.

Non tutti i LLM possono essere sottoposti a fine-tuning.

Il codice personalizzato per integrare o ospitare in modo privato modelli di terze parti richiede che i team di sicurezza espandano i loro controlli oltre a quelli richiesti per il consumo di servizi, applicazioni o agenti di intelligenza artificiale di terze parti, aggiungendo le infrastrutture e le superfici di attacco del ciclo di vita dell’applicazione interna.

Sette tattiche per ottenere un migliore controllo del consumo di GenAI

La capacità di prevenire usi non autorizzati è limitata, specialmente perché i dipendenti possono accedere alle applicazioni GenAI e ai LLM commerciali o open-source da dispositivi non gestiti. I leader della sicurezza devono riconoscere che bloccare domini e applicazioni noti non è un’opzione sostenibile o esaustiva. Questo attiverà anche “bypass degli utenti”, in cui i dipendenti condivideranno i dati aziendali con dispositivi personali non monitorati per ottenere accesso agli strumenti. Molte organizzazioni hanno già abbandonato il blocco per una pagina di “approvazione” con un link alla politica dell’organizzazione e un modulo per inviare una richiesta di accesso. Le organizzazioni possono utilizzare sette tattiche per ottenere un migliore controllo del consumo di GenAI.

1. Sviluppare un quadro di intelligenza artificiale responsabile e affidabile (RTAF)

2. Assumere un approccio integrato alla gestione del rischio e della sicurezza (RSM)

3. Definire un’entità di governo e un flusso di lavoro: L’obiettivo immediato è quello di stabilire un inventario per tutte le attività e i progetti aziendali e definire casi d’uso accettabili e requisiti di politica. Le applicazioni GenAI potrebbero richiedere un flusso di lavoro di approvazione specifico e un monitoraggio continuo dell’uso, ma anche attestazioni periodiche da parte degli utenti che l’uso effettivo sia conforme alle intenzioni predefinite.

4. Monitorare e bloccare: Le organizzazioni dovrebbero pianificare di bloccare l’accesso ai domini OpenAI o applicare un certo livello di prevenzione delle fughe di dati, sfruttando i controlli di sicurezza esistenti o implementare soluzioni edge service di sicurezza (SSE) che possono intercettare il traffico web verso applicazioni conosciute.

5. Comunicazione continua sulla breve politica d’uso accettabile: Spesso, un documento di politica di una o due pagine può essere utilizzato per condividere i contatti interni per l’approvazione, evidenziare i rischi delle applicazioni, vietare l’uso dei dati dei clienti e richiedere documentazione e tracciabilità delle uscite generate da queste applicazioni.

6. Investigare e abbracciare l’osservabilità per ingegneria e integrazioni API tempestive: Intercettare input e output con un prompt creato su misura potrebbe migliorare i risultati ma consentire anche più controlli di sicurezza. Le organizzazioni più grandi potrebbero esaminare tecniche di potenziamento del prompt, come il Retrival Augmented Generation (RAG).

7. Preferire opzioni di hosting private quando disponibili, che offrono controlli di sicurezza e privacy aggiuntivi.

La consumazione di AI generativa è una nuova superficie d’attacco

Come per ogni innovazione o tecnologia emergente (ad esempio, Metaverse, criptovaluta come due esempi recenti), gli attori malintenzionati cercheranno metodi creativi per sfruttare l’immaturità delle pratiche di sicurezza GenAI e la consapevolezza in modi nuovi.

Il rischio più grande dell’IA generativa sarà la sua potenzialità di creare rapidamente contenuti falsi credibili per influenzare l’opinione pubblica e fornire contenuti apparentemente legittimi per aggiungere un livello di autenticità alle truffe.

Quando si protegge il consumo di GenAI, i CISO e i loro team dovrebbero prevedere i seguenti cambiamenti nella superficie d’attacco:

Promting avversario: L’applicazione di promt diretti e indiretti è una superficie d’attacco prominente. Le nozioni di “inserimenti di prompt” e “prompt avversari” emergono come minacce durante il consumo di applicazioni GenAI di terze parti o durante la creazione delle proprie. Ricerche preliminari hanno dimostrato come sfruttare i prompt delle applicazioni. Le squadre di sicurezza devono considerare questa nuova interfaccia come una possibile superficie d’attacco.

“L’inserimento di prompt” è una tecnica di prompt avversaria. Descrive la capacità di inserire istruzioni o contesto nascosti nelle interfacce di conversazione o di prompt di sistema dell’applicazione o nelle generazioni stesse.

AI generativa come esca: La popolarità del GenAI avrà come risultato un uso significativo del tema come esca per attirare vittime e come nuova forma di possibile frode. Aspettatevi applicazioni contraffatte di GenAI, plugin per browser, applicazioni e siti web.
Catena di approvvigionamento digitale: Gli aggressori sfrutteranno ogni debolezza nei componenti GenAI che saranno ampiamente distribuiti come microservizi nelle applicazioni aziendali popolari. Queste subroutine potrebbero essere influenzate da diverse tecniche di attacco di apprendimento automatico (ML), come la manipolazione dei dati di addestramento e altri attacchi per manipolare la risposta.
Le regolamentazioni influenzeranno il consumo di AI generativa: Le regolamentazioni future rappresentano una minaccia latente per le organizzazioni che consumano (e costruiscono) applicazioni AI. Poiché le leggi potrebbero modificare i requisiti per i fornitori, le organizzazioni appartenenti a settori fortemente regolamentati o in regioni con leggi sulla privacy più rigorose che stanno attivamente cercando di promulgare regolamenti sull’IA potrebbero dover sospendere o riportare l’utilizzo delle applicazioni LLM. Il livello di dettaglio potrebbe variare a seconda della sensibilità del contenuto. Le applicazioni e i servizi potrebbero includere il logging, ma le organizzazioni potrebbero dover implementare il proprio processo per i contenuti più sensibili, come il codice, le regole e gli script distribuiti in produzione.

L’IA aggiunge una nuova superficie d’attacco alle applicazioni esistenti

Raccomandazioni per la sicurezza e l’incolumità delle applicazioni AI

A livello generale, gli aspetti di sicurezza e incolumità delle applicazioni AI possono essere categorizzati in cinque categorie:

Esplicabilità e monitoraggio del modello
ModelOps
Sicurezza delle applicazioni AI
Privacy
Basi sicure per la piattaforma di applicazioni AI

Implementare controlli per le applicazioni GenAI dipenderà pesantemente dall’implementazione del modello di IA. Lo scopo dei controlli di sicurezza dipenderà dal tipo di utilizzo dell’IA, come ad esempio se un’applicazione include:

Adattarsi a modelli di sviluppo ibridi, come il wrapping del frontend (ad esempio, ingegneria di prompt), l’hosting privato di modelli di terze parti e le applicazioni personalizzate GenAI con design di modelli interni e messa a punto.
Considerate le opzioni di sicurezza dei dati durante l’addestramento e la messa a punto dei modelli, in particolare l’impatto potenziale sull’accuratezza o i costi aggiuntivi. Ciò deve essere valutato in relazione ai requisiti delle moderne leggi sulla privacy, che spesso includono la possibilità per gli individui di richiedere alle organizzazioni di cancellare i propri dati.
Potenziate le competenze dei vostri campioni di sicurezza, dei campioni di ingegneria del software e dei campioni di DevOps sulle pratiche di ‘Secure GenAI coding’.
Aggiornate il design di sicurezza, la guida al ciclo di sviluppo software sicuro (Secure SDLC)
Aggiornate il design di sicurezza predefinito e la guida alla privacy per design
Applicate un Framework di Intelligenza Artificiale Responsabile e Affidabile (RTAF) e un approccio integrato alla gestione dei rischi e della sicurezza (IRSM).
Aumemtate le politiche di test per aggiungere requisiti per il test contro prompt avversari e iniezioni di prompt.
Valutate e implementate il set di strumenti ‘Monitoraggio delle operazioni del modello’.

La Promessa delle Difese Completamente Automatiche

La prima sfida nell’adottare risposte automatizzate risiede non nelle capacità tecniche, ma nella responsabilità delle persone coinvolte. L’opacità che circonda il funzionamento interno e le fonti dati di GenAI solleva preoccupazioni tra i leader della sicurezza riguardo all’automazione diretta delle azioni basate sugli output delle applicazioni di sicurezza cibernetica generativa basate su AI.

Nel corso dei prossimi 6-9 mesi, molti fornitori di sicurezza introdurranno funzionalità che esplorano le possibilità dell’AI composita – integrando più modelli di AI e completandoli con altre tecniche. Ad esempio, un modulo GenAI potrebbe generare strategie di rimedio alla rilevazione di nuovi malware e vari agenti autonomi eseguirebbero queste azioni, che potrebbero comportare l’isolamento dell’host interessato, la rimozione delle email non aperte o la condivisione degli indicatori di compromissione (IOCs) con altre organizzazioni. Il fascino delle azioni automatizzate per prevenire attacchi, limitare il movimento laterale o regolare dinamicamente le politiche è una proposta convincente per le imprese e i fornitori di tecnologia, a condizione che si dimostri efficace.

Tuttavia, la sfida sorge quando si tratta di spiegare e documentare le risposte automatizzate. Questa limitazione, specialmente nelle operazioni critiche o quando si tratta del personale di prima linea, potrebbe ostacolare ma non fermare del tutto l’automazione della risposta. Workflow di approvazione obbligatori e documentazione esaustiva saranno essenziali finché l’organizzazione non avrà abbastanza fiducia nel sistema da espandere gradualmente il grado di automazione. La spiegazione efficace potrebbe persino emergere come un fattore distintivo per i fornitori di sicurezza o un requisito legale in determinate giurisdizioni.

AI,Application security,Data (computing),mobile app,security,Security controls