A 1 o a 0 Attacchi di pixel nella classificazione delle immagini
A 1 o a 0 Gli attacchi di pixel nella classificazione delle immagini
Navigare nel Regno del Machine Learning Avversario
Ciao!
Quest’anno ho partecipato al mio primo concorso Capture The Flag (CTF) organizzato da AI Village @ DEFCON 31, e l’esperienza è stata affascinante, per dir poco. Le sfide, in particolare quelle che coinvolgono attacchi di pixel, hanno catturato la mia attenzione ed sono il focus principale di questo post. Sebbene inizialmente avessi intenzione di condividere una versione semplice di un attacco di pixel che ho eseguito durante la competizione, lo scopo di questo post è anche approfondire le strategie per rafforzare i modelli di Machine Learning al fine di resistere meglio agli attacchi di pixel come quelli riscontrati nella competizione.
Prima di immergerci nella teoria, cerchiamo di presentare la situazione con uno scenario che catturerà la tua attenzione.
Immagina: la nostra azienda, MM Vigilant, ha come missione lo sviluppo di un prodotto all’avanguardia per la rilevazione degli oggetti. Il concetto è semplice ma rivoluzionario: i clienti scattano una foto dell’oggetto desiderato e lo ricevono a casa pochi giorni dopo. Da dietro le quinte, come brillante scienziato dei dati, hai creato il miglior modello di classificazione degli oggetti basato sulle immagini. I risultati della classificazione sono impeccabili, le metriche di valutazione del modello sono di alta qualità e gli stakeholder sono estremamente soddisfatti. Il modello viene messo in produzione e i clienti sono entusiasti, finché arriva un’onda di reclami.
- Animazione dei movimenti spaziali in Python
- Impara a disimparare le macchine
- 4 Pandas One-Liners Che Risolvono Task Particolari In Modo Efficientie.
Dopo un’indagine, scopriamo che qualcuno sta manomettendo le immagini prima che arrivino al classificatore. Per essere precisi, ogni immagine di un orologio viene maliziosamente classificata come uno specchio. Le conseguenze? Chiunque desideri un orologio riceve a sorpresa uno specchio alla porta. Un colpo di scena inaspettato, vero?
Gli stakeholder di MM Vigilant sono preoccupati e allo stesso tempo incuriositi su come sia potuto accadere questo incidente e, soprattutto, quali misure possono essere adottate per prevenirlo.
Lo scenario appena esplorato è una situazione ipotetica, sebbene la manipolazione delle immagini sia un’ipotesi molto plausibile, specialmente se ci sono vulnerabilità nel modello.
Quindi, analizziamo da vicino una manipolazione delle immagini del genere…
