Ricercatori UCLA propongono PhyCV una libreria di visione computerizzata ispirata alla fisica

UCLA researchers propose PhyCV, a physics-inspired computer vision library.

L’intelligenza artificiale sta compiendo progressi notevoli nel campo della visione artificiale. Un’area chiave di sviluppo è il deep learning, dove le reti neurali vengono addestrate su enormi dataset di immagini per riconoscere e classificare oggetti, scene ed eventi. Ciò ha comportato miglioramenti significativi nel riconoscimento delle immagini e nella rilevazione degli oggetti. L’integrazione della visione artificiale con altre tecnologie sta aprendo varie possibilità e ambiti di applicazione per l’IA.

Nell’ultima innovazione, Jalali-Lab @ UCLA ha sviluppato una nuova libreria Python chiamata PhyCV, che è la prima libreria Python di visione artificiale basata sulla fisica. Questa libreria unica utilizza algoritmi basati sulle leggi e sulle equazioni della fisica per analizzare i dati immagine. Questi algoritmi imitano il passaggio della luce attraverso diversi materiali fisici e si basano su equazioni matematiche anziché su una serie di regole artigianali. Gli algoritmi in PhyCV sono costruiti sui principi di un metodo di acquisizione dati rapido chiamato photonic time stretch.

I tre algoritmi inclusi in PhyCV sono: l’algoritmo Phase-Stretch Transform (PST), l’algoritmo Phase-Stretch Adaptive Gradient-Field Extractor (PAGE) e l’algoritmo Vision Enhancement via Virtual diffraction and coherent Detection (VEViD).

• Incontra Baichuan-13B il modello di linguaggio open source della Cina per competere con OpenAI
• Lo stato dello streaming dei dati per il commercio al dettaglio nel 2023
• I ricercatori del CMU presentano BUTD-DETR un modello di Intelligenza Artificiale (IA) che si basa direttamente su un’espressione linguistica e rileva tutti gli oggetti menzionati nell’espressione.

Algoritmo Phase-Stretch Transform (PST)

L’algoritmo PST della libreria PhyCV identifica i bordi e le texture nelle immagini. L’algoritmo simula il passaggio della luce attraverso un dispositivo con particolari proprietà diffrattive e quindi rileva l’immagine successiva in modo coeso. L’algoritmo funziona meglio per le immagini con problemi di vista ed è stato utilizzato in varie applicazioni, tra cui il miglioramento della risoluzione degli esami di risonanza magnetica, l’identificazione dei vasi sanguigni nelle immagini della retina, ecc.

Algoritmo Phase-Stretch Adaptive Gradient-Field Extractor (PAGE)

L’algoritmo PAGE identifica i bordi e le orientazioni nelle immagini utilizzando i principi della fisica. Fondamentalmente, PAGE imita il processo di passaggio della luce attraverso un dispositivo con una struttura diffrattiva specifica, che provoca la conversione dell’immagine in una funzione complessa. Le informazioni sui bordi vengono memorizzate nelle componenti reale e immaginaria del risultato. I ricercatori menzionano come PAGE possa essere utilizzato come metodo di preelaborazione in diversi problemi di machine learning.

Algoritmo Vision Enhancement via Virtual diffraction and coherent Detection (VEViD)

L’algoritmo VEViD migliora le immagini a bassa luminosità e a colori considerandole come un campo di luce variabile nello spazio e utilizzando processi fisici come la diffrazione e la rilevazione coerente. Lo fa con una latenza minima e può quindi aumentare l’accuratezza di un modello di visione artificiale in circostanze di scarsa illuminazione. Un’approssimazione particolare di VEViD, nota come VEViD-lite, può migliorare i video 4K fino a 200 frame al secondo. Il team di ricerca ha confrontato l’algoritmo VEViD con i modelli di rete neurale popolari mostrando come VEViD mostri una qualità dell’immagine eccezionale con solo uno o due ordini di grandezza di velocità di elaborazione maggiori.

PhyCV è disponibile su GitHub e può essere facilmente installato tramite pip. Gli algoritmi in PhyCV possono persino essere applicati a dispositivi fisici reali per un calcolo più efficiente. PhyCV sicuramente sembra interessante e rappresenta un significativo sviluppo nel campo della visione artificiale. Di conseguenza, gli avanzamenti nell’IA e nella visione artificiale stanno sicuramente guidando una vasta gamma di applicazioni avanzate.