Forza nei numeri NVIDIA e Generative Red Team Challenge liberano migliaia di persone per verificare la sicurezza a DEF CON
NVIDIA and Generative Red Team Challenge unleash thousands to verify security at DEF CON
Migliaia di hacker modificheranno, manipoleranno e analizzeranno le ultime piattaforme di intelligenza artificiale generativa questa settimana a Las Vegas, nell’ambito di uno sforzo per costruire un’IA più affidabile e inclusiva.
In collaborazione con la comunità degli hacker per stabilire le migliori pratiche per testare l’IA di prossima generazione, NVIDIA partecipa a un test unico nel suo genere delle soluzioni leader del settore LLM, tra cui NVIDIA NeMo e NeMo Guardrails.
La sfida del Generative Red Team, organizzata da AI Village, SeedAI e Humane Intelligence, sarà uno dei molti workshop, sessioni di formazione e apparizioni dei leader di NVIDIA alle conferenze sulla sicurezza Black Hat e DEF CON a Las Vegas.
La sfida, che dà agli hacker una serie di vulnerabilità da sfruttare, promette di essere la prima di molte opportunità per verificare in modo realistico le tecnologie emergenti di intelligenza artificiale.
- Sfida accettata GeForce NOW accende il Cloud con la sfida definitiva e i primi giochi di Bethesda
- Ciclo di vita del progetto AI generativo
- Supercharging Data Analytics Con SQL in S4 HANA e Domo Una Prospettiva di Machine Learning
“L’IA dà il potere alle persone di creare e costruire cose precedentemente impossibili”, ha dichiarato Austin Carson, fondatore di SeedAI e co-organizzatore della sfida del Generative Red Team. “Ma senza una comunità ampia e diversificata per testare ed valutare la tecnologia, l’IA rifletterà solo i suoi creatori, lasciando indietro ampie porzioni della società”.
La collaborazione con la comunità degli hacker arriva in un momento di forte impegno per la sicurezza dell’IA che fa notizia in tutto il mondo, con l’amministrazione Biden-Harris che ha ottenuto un impegno volontario dalle principali società di IA che lavorano su modelli generativi all’avanguardia.
“AI Village attira la comunità preoccupata dalle implicazioni dei sistemi di intelligenza artificiale, sia per l’uso malintenzionato che per l’impatto sulla società”, ha affermato Sven Cattell, fondatore di AI Village e co-organizzatore della sfida del Generative Red Team. “Alla DEFCON 29, abbiamo ospitato la prima Algorithmic Bias Bounty con l’ex squadra di Rumman Chowdhury di Twitter. Questo segnò la prima volta in cui un’azienda consentì l’accesso pubblico al loro modello per un’analisi approfondita”.
La sfida di questa settimana rappresenta un passo fondamentale nell’evoluzione dell’IA, grazie al ruolo di primo piano svolto dalla comunità degli hacker, con il suo ethos di scetticismo, indipendenza e trasparenza, nella creazione e nel collaudo di nuovi standard di sicurezza emergenti.
Le tecnologie di NVIDIA sono fondamentali per l’IA, e NVIDIA è stata presente fin dall’inizio della rivoluzione dell’IA generativa. Nel 2016, il fondatore e CEO di NVIDIA, Jensen Huang, ha consegnato personalmente a OpenAI il primo supercomputer AI NVIDIA DGX, il motore dietro la svolta del grande modello di linguaggio che alimenta ChatGPT.
I sistemi NVIDIA DGX, originariamente utilizzati come strumento di ricerca sull’IA, ora funzionano 24/7 presso aziende di tutto il mondo per raffinare i dati e elaborare l’IA.
La società di consulenza McKinsey stima che l’IA generativa potrebbe aggiungere l’equivalente di 2,6-4,4 trilioni di dollari all’anno all’economia globale attraverso 63 casi d’uso.
Ciò rende la sicurezza e la fiducia una preoccupazione di tutto il settore.
Ecco perché i dipendenti di NVIDIA si impegnano con i partecipanti sia alla conferenza Black Hat della scorsa settimana per i professionisti della sicurezza, sia all’incontro DEF CON di questa settimana.
Al Black Hat, NVIDIA ha ospitato una sessione di formazione di due giorni sull’utilizzo del machine learning e un briefing sui rischi dell’avvelenamento dei dataset di addestramento a scala web. Ha inoltre partecipato a una discussione in una tavola rotonda sui potenziali benefici dell’IA per la sicurezza.
Al DEF CON, NVIDIA sponsorizza un talk sui rischi di violazione dei baseboard management controllers. Questi processori di servizio specializzati monitorano lo stato fisico di un computer, server di rete o altri dispositivi hardware.
E attraverso la sfida del Generative Red Team, parte del workshop AI Village Prompt Detective, migliaia di partecipanti al DEF CON potranno dimostrare l’iniezione di prompt, cercare di ottenere comportamenti non etici e testare altre tecniche per ottenere risposte inappropriate.
I modelli sviluppati da Anthropic, Cohere, Google, Hugging Face, Meta, NVIDIA, OpenAI e Stability, con la partecipazione di Microsoft, saranno testati su una piattaforma di valutazione sviluppata da Scale AI.
Come risultato, tutti diventano più intelligenti.
“Stiamo promuovendo lo scambio di idee e informazioni affrontando al contempo rischi e opportunità”, ha dichiarato Rumman Chowdhury, membro del team di leadership di AI Village e co-fondatore di Humane Intelligence, l’organizzazione no-profit che progetta le sfide. “La comunità degli hacker è esposta a idee diverse e i partner della comunità acquisiscono nuove competenze che li posizionano per il futuro”.
Rilasciato ad aprile come software open-source, NeMo Guardrails di NVIDIA può aiutare gli sviluppatori a guidare le applicazioni di IA generative per creare risposte testuali impressionanti che rimangano coerenti, garantendo che le applicazioni intelligenti alimentate da LLM siano accurate, appropriate, pertinenti e sicure.
Per garantire trasparenza e la capacità di mettere la tecnologia in funzione in molti ambienti, NeMo Guardrails, frutto di diversi anni di ricerca, è open-source, con gran parte del framework di conversazione NeMo già disponibile come codice open-source su GitHub, contribuendo all’enorme energia e al lavoro della comunità degli sviluppatori sulla sicurezza dell’IA.
Interagire con la comunità di DEF CON si basa su questo, consentendo a NVIDIA di condividere ciò che ha imparato con NeMo Guardrails e, a sua volta, imparare dalla comunità.
Gli organizzatori dell’evento – tra cui SeedAI, Humane Intelligence e AI Village – pianificano di analizzare i dati e pubblicare le loro conclusioni, inclusi i processi e gli apprendimenti, per aiutare altre organizzazioni a condurre esercitazioni simili.
La scorsa settimana, gli organizzatori hanno anche emesso una chiamata per proposte di ricerca e hanno ricevuto diverse proposte da parte di ricercatori di spicco entro le prime 24 ore.
“Poiché questa è la prima volta che si tiene un evento di hacking live di un sistema AI generativo su larga scala, impareremo insieme”, ha detto Chowdhury. “La capacità di replicare questo esercizio e mettere alla prova l’AI nelle mani di migliaia di persone è fondamentale per il suo successo”.
La sfida del Generative Red Team si svolgerà nell’AI Village a DEF CON 31 dal 10 al 13 agosto, presso il Caesar’s Forum di Las Vegas.
