Questo articolo sull’Intelligenza Artificiale presenta un metodo avanzato per la Privacy Differenziale nella riconoscimento delle immagini con una migliore precisione

Questo articolo presenta un metodo avanzato per la Privacy Differenziale nella riconoscimento delle immagini con migliore precisione.

L’apprendimento automatico è aumentato considerevolmente in diverse aree grazie alle sue prestazioni degli ultimi anni. Grazie alla capacità di calcolo dei computer moderni e alle schede grafiche, l’apprendimento profondo ha reso possibile ottenere risultati che talvolta superano quelli degli esperti. Tuttavia, il suo utilizzo in aree sensibili come la medicina o la finanza comporta problemi di riservatezza. Una garanzia formale sulla privacy chiamata privacy differenziale (DP) vieta agli avversari che hanno accesso ai modelli di apprendimento automatico di ottenere dati su punti di addestramento specifici. L’approccio di addestramento più comune per la privacy differenziale nel riconoscimento delle immagini è la discesa del gradiente stocastico con privacy differenziale (DPSGD). Tuttavia, la diffusione della privacy differenziale è limitata dal deterioramento delle prestazioni causato dai sistemi DPSGD attuali.

I metodi esistenti per l’apprendimento profondo con privacy differenziale devono ancora funzionare meglio poiché, nel processo di discesa del gradiente stocastico, queste tecniche consentono tutti gli aggiornamenti del modello indipendentemente dal fatto che i valori della funzione obiettivo corrispondenti migliorino. In alcuni aggiornamenti del modello, l’aggiunta di rumore ai gradienti potrebbe peggiorare i valori della funzione obiettivo, soprattutto quando la convergenza è imminente. I modelli risultanti peggiorano a causa di questi effetti. L’obiettivo di ottimizzazione si degrada e il budget di privacy viene sprecato. Per affrontare questo problema, un team di ricerca dell’Università di Shanghai in Cina suggerisce un approccio di discesa del gradiente stocastico con privacy differenziale basato su raffreddamento simulato (SA-DPSGD) che accetta un aggiornamento candidato con una probabilità che dipende dalla qualità dell’aggiornamento e dal numero di iterazioni.

In concreto, l’aggiornamento del modello viene accettato se fornisce un valore migliore della funzione obiettivo. In caso contrario, l’aggiornamento viene respinto con una certa probabilità. Per evitare di stabilirsi in un ottimo locale, gli autori suggeriscono di utilizzare respinte probabilistiche anziché deterministiche e di limitare il numero di respinte continue. Pertanto, l’algoritmo di raffreddamento simulato viene utilizzato per selezionare gli aggiornamenti del modello con probabilità durante il processo di discesa del gradiente stocastico.

• Le nuove istruzioni personalizzate di ChatGPT sono appena state rilasciate. Ecco come usarle.
• Scienziato dei dati vs Analista dei dati vs Ingegnere dei dati – Svelando la differenza
• Microsoft AI Research propone AltFreezing una nuova strategia di addestramento per una rilevazione più generale delle contraffazioni facciali

Di seguito viene fornita una spiegazione di alto livello dell’approccio proposto.

1- DPSGD genera gli aggiornamenti in modo iterativo e il valore della funzione obiettivo viene calcolato di conseguenza. Lo spostamento di energia dall’iterazione precedente a quella corrente e il numero complessivo di soluzioni approvate vengono quindi utilizzati per calcolare la probabilità di accettazione della soluzione corrente.

2- La probabilità di accettazione viene mantenuta sempre a 1 quando il cambiamento di energia è negativo. Ciò significa che gli aggiornamenti che si muovono nella direzione corretta vengono accettati. Tuttavia, è garantito che l’addestramento si sposti principalmente nella direzione di convergenza anche se gli aggiornamenti del modello sono rumorosi, il che significa che l’energia effettiva può essere positiva con una probabilità molto bassa.

3- Quando il cambiamento di energia è positivo, la probabilità di accettazione diminuisce in modo esponenziale all’aumentare del numero di soluzioni approvate. In questa situazione, accettare una soluzione peggiorerebbe l’energia. Tuttavia, le respinte deterministiche possono portare alla caduta della soluzione finale all’interno di un ottimo locale. Pertanto, gli autori hanno proposto di accettare gli aggiornamenti con cambiamenti di energia positivi con una probabilità ridotta e decrescente.

4- Se ci sono state troppe respinte consecutive, un aggiornamento verrà comunque consentito poiché il numero di respinte continue è limitato. La probabilità di accettazione può diventare così bassa da rifiutare quasi tutte le soluzioni con cambiamenti di energia positivi man mano che l’addestramento si avvicina alla convergenza, e potrebbe persino raggiungere un massimo locale. Limitare il numero di respinte previene questo problema accettando una soluzione quando è necessario.

Per valutare le prestazioni del metodo proposto, SA-DPSGD viene valutato su tre set di dati: MNIST, FashionMNIST e CIFAR10. Gli esperimenti hanno dimostrato che SA-DPSGD supera significativamente gli schemi più avanzati, DPSGD, DPSGD(tanh) e DPSGD(AUTO-S), in termini di costo della privacy o accuratezza dei test.

Secondo gli autori, SA-DPSGD colma significativamente il divario di accuratezza di classificazione tra immagini private e non private. Utilizzando la selezione casuale degli aggiornamenti, la discesa del gradiente differenziale privata procede nella direzione corretta in ogni iterazione, rendendo il risultato ottenuto più accurato. Negli esperimenti con gli stessi iperparametri, SA-DPSGD raggiunge alte accuratezze sui set di dati MNIST, FashionMNIST e CIFAR10, rispetto ai risultati più avanzati. Con gli iperparametri liberamente regolabili, l’approccio proposto raggiunge accuratamente ancora più alte.