Ricercatori del CMU e dell’Università di Tsinghua propongono Prompt2Model un metodo a scopo generale che genera modelli di intelligenza artificiale utilizzabili da istruzioni in linguaggio naturale.

Ricercatori CMU e Università Tsinghua propongono Prompt2Model, un metodo generale per generare modelli d'intelligenza artificiale da istruzioni in linguaggio naturale.

Immagina di voler costruire un modello di NLP per risolvere un problema specifico. Devi definire l’ambito del compito, quindi trovare o creare dati che specificano il comportamento del sistema previsto, scegliere un’architettura di modello adatta, addestrare il modello, valutarne le prestazioni attraverso la valutazione e quindi distribuirlo per l’uso nel mondo reale. I ricercatori hanno reso possibile prototipare tali modelli NLP estensivamente realizzati con una singola riga di codice!

https://arxiv.org/abs/2308.12261

Prompt2Model è un sistema che conserva la capacità di specificare il comportamento del sistema utilizzando semplici prompt e contemporaneamente fornisce un modello speciale specializzabile che conserva tutti i suoi benefici. La figura sopra illustra l’architettura operativa del nostro Prompt2Model. Essenzialmente, funziona come un flusso di lavoro automatizzato, che estrae tutti i dettagli necessari sul compito dai prompt degli utenti e quindi raccoglie e combina informazioni relative al compito e le distribuisce utilizzando i seguenti diversi canali.

  • Recupero del set di dati: dato un prompt, il primo compito è scoprire dati manualmente annotati esistenti che possono supportare la descrizione del compito dell’utente.
  • Generazione del set di dati: per supportare una vasta gamma di compiti, esiste un Generatore di Set di Dati per produrre dati di addestramento sintetici secondo i requisiti specifici dell’utente analizzati dal Prompt Parser. L’analisi del prompt consiste in un LLM con apprendimento in contesto che viene utilizzato per segmentare i prompt degli utenti, utilizzando il gpt-3.5-turbo-0613 di OpenAI.
  • Recupero del modello: utilizzando il prompt fornito, viene selezionato un modello di linguaggio pre-addestrato con conoscenze adeguate per l’obiettivo dell’utente. Questo modello scelto serve come modello studente e viene ulteriormente ottimizzato e valutato utilizzando i dati generati e recuperati.
  • WebApp: infine, esiste un’interfaccia utente grafica facile da usare che consente agli utenti finali di interagire con il modello addestrato. Questa applicazione web, costruita utilizzando Gradio, può quindi essere facilmente distribuita pubblicamente su un server.

In conclusione, Prompt2Model è uno strumento per costruire rapidamente sistemi di NLP piccoli e competenti. Può essere utilizzato direttamente per produrre modelli specifici del compito che superano i LLM in poche ore senza annotazione manuale dei dati o architettura. Dato il design estensibile del modello, può offrire una piattaforma per esplorare nuove tecniche di distillazione del modello, generazione di set di dati, valutazione sintetica, recupero di set di dati e recupero di modelli.

Osservando il futuro, possiamo immaginare Prompt2Model come un catalizzatore per l’innovazione collaborativa. Proponendo sfide diverse, i ricercatori mirano a promuovere lo sviluppo di implementazioni e miglioramenti diversi in tutti i componenti del framework in futuro.