Incontra Tarsier una libreria Python open source per consentire l’interazione web con LLM multi-modali come GPT4.

Incontra Tarsier una libreria Python open source per l'interazione web con LLM multi-modali come GPT4.

Man mano che l’intelligenza artificiale continua a crescere e ad influenzare tutti gli aspetti della nostra vita, si stanno conducendo ricerche per renderla più utile e conveniente. Oggi, l’IA sta trovando utilità in tutte le dimensioni della vita quotidiana. Sono stati condotti ampi studi in vari campi. Di conseguenza, i ricercatori di Reworkd hanno formulato Tarsier, una libreria Python open source per facilitare l’interazione web con modelli di linguaggio multimodali (LLM) come GPT-4.

Tarsier funge da ponte, che migliora le capacità di questi modelli etichettando visivamente gli elementi interattivi in una pagina web e consentendo l’interazione tra utenti e macchine.

Tarsier semplifica il complesso processo di interazione web per i LLM. Ciò viene realizzato etichettando visivamente gli elementi utilizzando parentesi e identificatori unici, come gli ID. Questi elementi, compresi i pulsanti, i collegamenti e i campi di input visibili sulla pagina, stabiliscono una mappatura cruciale per consentire a GPT-4 di eseguire azioni. In altre parole, Tarsier serve come un traduttore, rendendo il web comprensibile per i modelli di linguaggio.

• Questa AI Paper introduce LCM-LoRA rivoluzionando le attività generative di testo-immagine con modelli avanzati di consistenza latente e distillazione LoRA
• Raggiungere un ragionamento strutturato con LLM in contesti caotici con il prompting del filo del pensiero e il recupero parallelo del grafo di conoscenza
• Ricercatori dell’Università di Vanderbilt e dell’Università della California, Davis introducono PRANC una struttura di apprendimento approfondito che è efficiente nella memoria sia durante le fasi di apprendimento che di ricostruzione.

Una delle caratteristiche di Tarsier è la sua capacità di rappresentare la pagina in modo visivo. Questa caratteristica diventa importante poiché i modelli di linguaggio basati sulla visione esistenti affrontano delle sfide. Offrendo utilities di riconoscimento ottico dei caratteri (OCR), Tarsier converte uno screenshot di una pagina in una stringa strutturata di spazi vuoti, garantendo che anche i LLM non multimodali possano comprendere il contenuto e il significato di una pagina web.

Tarsier introduce due utilities fondamentali che migliorano significativamente le capacità di interazione dei modelli di linguaggio. Queste sono l’Etichettatura degli Elementi Interattivi e l’Estrazione del Testo OCR dagli Screenshot.

Tarsier si distingue per la sua capacità di etichettare gli elementi interattivi con un identificatore unico. Questo identificatore consente ai modelli di linguaggio di comprendere gli elementi con cui possono interagire, ad esempio cliccare pulsanti, seguire collegamenti o completare campi di input. Questo metodo di etichettatura migliora la comprensione e crea un legame chiaro tra le scelte dei LLM e gli elementi sottostanti sulla pagina web.

Un’altra funzionalità rivoluzionaria di Tarsier è la sua capacità di convertire gli screenshot in una rappresentazione spazialmente consapevole del testo OCR. Questo avanzamento consente l’utilizzo di modelli come GPT-4 o qualsiasi LLM basato solo sul testo per compiti web, anche in assenza di capacità visive. Fondamentalmente, Tarsier amplia gli orizzonti delle applicazioni di intelligenza artificiale consentendo ai modelli di linguaggio di interagire con il web senza fare affidamento sulla visione.

Inoltre, Tarsier dispone di una serie di esempi pratici che mostrano come utilizzarlo con librerie LLM ben note come Langchain e LlamaIndex, facilitando il percorso di adozione. Questi esempi pratici permettono alle persone di sperimentare direttamente le funzionalità di Tarsier offrendo esempi utili e approfondimenti.

In conclusione, Tarsier è uno strumento necessario per migliorare le capacità dei modelli di linguaggio. Offre ai modelli di linguaggio gli strumenti per esplorare e comprendere le complessità del web offrendo una rappresentazione organizzata degli elementi online. Con gli strumenti OCR, questa capacità viene estesa anche ai modelli basati solo sul testo, rimuovendo ostacoli e promuovendo un ambiente di intelligenza artificiale più diversificato ed adattabile. 

L’articolo Incontra Tarsier: Una libreria Python open source per consentire l’interazione web con LLM multimodali come GPT4 è apparso per la prima volta su MarkTechPost.