Questo articolo sull’IA introduce Stable Signature una strategia attiva che combina il watermarking delle immagini e i modelli di diffusione latente

This article introduces Stable Signature, an active strategy that combines image watermarking and latent diffusion models.

Gli sviluppi recenti nella modellazione generativa e nell’elaborazione del linguaggio naturale rendono facile la creazione e la manipolazione di immagini fotorealistiche, utilizzando strumenti come DALL’E 2 e Stable Diffusion. Sebbene questo progresso nell’IA generativa sia eccitante, solleva preoccupazioni fresche riguardo all’erosione della fiducia nelle immagini fotorealistiche.

La forense, o tecniche non invasive per identificare fotografie generate al computer o modificate, è un buon punto di partenza. Tuttavia, le tecniche di watermarking esistenti possono essere sovrapposte al processo di creazione dell’immagine. Esse funzionano sul principio che un messaggio segreto invisibile possa essere incorporato nell’immagine e successivamente utilizzato per verificare la sua autenticità. Ci sono alcuni problemi con questo approccio:

• Il watermarking post-generazione è semplice da eliminare in caso di perdita del modello o open source.
• Il watermark può essere rimosso da Stable Diffusion, un altro progetto open-source, semplicemente commentando una singola linea di codice.

Ricerche recenti di Meta AI, Centre Inria de l’Universite de Rennes’ e Sorbonne University Signature technique incorporano in modo fluido il watermarking nel processo di generazione senza alterare l’architettura sottostante. Il modello generativo pre-addestrato viene modificato per garantire che tutte le immagini generate mascherino con successo il watermark specificato.

• Diffusione stabile di XL su Mac con quantizzazione avanzata di Core ML
• La sfidante che mira a detronizzare la supremazia di OpenAI LLM XLSTM
• Ricercatori dell’Imperial College di Londra e di DeepMind hanno progettato un framework di intelligenza artificiale che utilizza il linguaggio come strumento di ragionamento principale di un agente di RL.

Questo metodo offre molti vantaggi:

• Il generatore e le sue uscite sono entrambi protetti. Inoltre, rende il watermarking computazionalmente più leggero, più semplice e più sicuro perché non è necessario alcun ulteriore elaborazione dell’immagine creata.
• I fornitori di modelli possono distribuire i loro modelli a diversi gruppi di utenti, ognuno con un watermark diverso, e verificare se vengono utilizzati in modo etico.
• Inoltre, l’IA potrebbe essere utilizzata dalle organizzazioni dei media per identificare quando un’immagine è stata generata al computer.

A causa della loro versatilità, il team ha utilizzato i modelli di diffusione latente (LDM). Questo studio dimostra che è possibile incorporare nativamente un watermark in tutte le immagini generate con solo un po’ di perfezionamento del modello generativo. Stable Signature non altera il processo di diffusione o richiede modifiche all’architettura sottostante. Pertanto, funziona con molti diversi tipi di tecniche di generazione basate su LDM. Il processo di perfezionamento prevede il riaddestramento del decodificatore LDM utilizzando la perdita di immagine percettiva dell’estratore di watermark e la perdita di messaggio nascosto. Per preparare l’estratore per il suo lavoro, utilizzano una versione semplificata della tecnica di watermarking profondo HiDDeN per il pre-addestramento.

I ricercatori hanno anche costruito un ambiente di prova realistico per valutare le applicazioni di editing delle immagini. Tra i compiti da svolgere ci sono la rilevazione delle immagini dell’IA e il tracciamento della linea di discendenza del modello. Ad esempio, anche quando le immagini generate dal modello vengono ritagliate al 10% delle loro dimensioni originali, i ricercatori sono comunque in grado di rilevarne il 90% con solo un falso positivo ogni 106 fotografie. Dimostrano che il punteggio FID della generazione non viene influenzato e che le immagini generate sono percepibilmente identiche a quelle prodotte dal modello originale in una varietà di compiti correlati a LDM (testo-immagine, inpainting, modifica, ecc.), garantendo così l’utilità continua del modello.

Attraverso questo lavoro, i ricercatori dimostrano i vantaggi del watermarking rispetto alle tecniche di rilevamento passivo. Sperano di ispirare altri ricercatori e professionisti a adottare misure simili prima di rendere pubblici i loro modelli.