I ricercatori di Google svelano un nuovo approccio singolo per l’audit dei sistemi di apprendimento automatico differenzialmente privati

Google rivela un nuovo approccio unico per l'audit dei sistemi di apprendimento automatico differenzialmente privati

La privacy differenziale (DP) è una tecnica ben nota nell’apprendimento automatico che mira a salvaguardare la privacy delle persone i cui dati vengono utilizzati per addestrare i modelli. Si tratta di un quadro matematico che garantisce che l’output di un modello non sia influenzato dalla presenza o dall’assenza di alcun individuo nei dati di input. Di recente è stato sviluppato un nuovo schema di audit che consente di valutare le garanzie di privacy in tali modelli in modo versatile ed efficiente, con poche supposizioni sull’algoritmo sottostante. 

I ricercatori di Google introducono uno schema di audit per sistemi di apprendimento automatico a privacy differenziale concentrandosi su una singola esecuzione di addestramento. Lo studio mette in evidenza la connessione tra DP e generalizzazione statistica, un aspetto cruciale dell’approccio di audit proposto. 

DP garantisce che i dati individuali non influenzino significativamente i risultati, offrendo una garanzia di privacy quantificabile. Gli audit sulla privacy valutano errori di analisi o implementazione negli algoritmi di DP. Gli audit convenzionali sono computazionalmente costosi, spesso richiedendo esecuzioni multiple. Sfruttando il parallelismo nell’aggiunta o nella rimozione indipendente degli esempi di addestramento, lo schema impone poche supposizioni sull’algoritmo ed è adattabile a scenari di scatola nera e scatola bianca.

• Creare una pipeline end-to-end MLOps utilizzando Amazon SageMaker Pipelines, GitHub e GitHub Actions
• Microsoft AI rilascia LLMLingua una tecnica di compressione rapida unica che comprime le richieste per un’accelerazione dell’inferenza dei modelli di lingua di grandi dimensioni (LLM).
• Gemini API e altri nuovi strumenti AI per sviluppatori e imprese

Il metodo, descritto nell’Algoritmo 1 dello studio, include o esclude indipendentemente esempi e calcola punteggi per la presa di decisioni. Analizzando la connessione tra DP e generalizzazione statistica, l’approccio è applicabile in scenari di scatola nera e scatola bianca. L’Algoritmo 3, Auditor DP-SGD, è un’istanza specifica. Sottolinea l’applicabilità generica dei loro metodi di audit a vari algoritmi a privacy differenziale, considerando fattori come esempi in distribuzione e valutazione di diversi parametri.

Il metodo di audit offre una garanzia di privacy quantificabile, contribuendo a valutare analisi matematiche o rilevazione di errori. Viene sottolineata l’applicabilità generica dei metodi di audit proposti a vari algoritmi a privacy differenziale, con considerazioni per esempi in distribuzione e valutazioni di parametri, dimostrando garanzie di privacy efficaci con costi computazionali ridotti.

Lo schema di audit proposto consente di valutare tecniche di apprendimento automatico a privacy differenziale con una singola esecuzione di addestramento, sfruttando il parallelismo nell’aggiunta o rimozione indipendente degli esempi di addestramento. L’approccio dimostra garanzie di privacy efficaci con costi computazionali ridotti rispetto agli audit tradizionali. Viene evidenziata la natura generica dei metodi di audit, adatti a vari algoritmi a privacy differenziale. Affronta considerazioni pratiche, come l’utilizzo di esempi in distribuzione e valutazioni di parametri, apportando un contributo prezioso all’audit della privacy.

In conclusione, i principali punti salienti dello studio possono essere riassunti in pochi punti:

• Lo schema di audit proposto permette la valutazione di tecniche di apprendimento automatico a privacy differenziale con una singola esecuzione di addestramento, utilizzando il parallelismo nell’aggiunta o rimozione degli esempi di addestramento
• L’approccio richiede poche supposizioni sull’algoritmo e può essere applicato sia in scenari di scatola nera che di scatola bianca
• Lo schema offre una garanzia di privacy quantificabile e può individuare errori nell’implementazione dell’algoritmo o valutare l’accuratezza delle analisi matematiche
• È adatto a vari algoritmi a privacy differenziale e fornisce garanzie di privacy efficaci con costi computazionali ridotti rispetto agli audit tradizionali.