Ingegneria pratica dei comandi

Practical command engineering

Suggerimenti e trucchi per un prompt di successo con LLMs…

A causa del loro formato testo-testo, i large language models (LLMs) sono in grado di risolvere una vasta gamma di compiti con un singolo modello. Tale capacità è stata originariamente dimostrata attraverso l’apprendimento a zero e poche istanze con modelli come GPT-2 e GPT-3 [5, 6]. Tuttavia, quando vengono adattati alle preferenze e alle istruzioni umane, i LLM diventano ancora più convincenti, consentendo l’utilizzo di applicazioni generative popolari come assistenti di codifica, agenti di dialogo per la ricerca di informazioni ed esperienze di ricerca basate su chat.

A causa delle applicazioni che rendono possibili, i LLM hanno visto una rapida ascesa alla fama sia nelle comunità di ricerca che nella cultura popolare. Durante questa ascesa, abbiamo anche assistito allo sviluppo di un nuovo campo complementare: l’ingegneria del prompt. A livello generale, i LLM operano prendendo in input del testo (ossia un prompt) e producendo un output testuale da cui possiamo estrarre qualcosa di utile (ad esempio una classificazione, una sintesi, una traduzione, ecc.). La flessibilità di questo approccio è vantaggiosa. Tuttavia, dobbiamo determinare come costruire correttamente il nostro prompt di input in modo che il LLM abbia la migliore possibilità di generare l’output desiderato.

L’ingegneria del prompt è una scienza empirica che studia come diverse strategie di prompting possano essere utilizzate per ottimizzare le prestazioni dei LLM. Sebbene esistano diverse approcci, in questa panoramica ci concentreremo sulla comprensione della meccanica generale del prompting, nonché su alcune tecniche fondamentali (ma incredibilmente efficaci!) come l’apprendimento a zero/pochi esempi e il prompting tramite istruzioni. Lungo il percorso, impareremo trucchi pratici e concetti chiave che possono essere immediatamente adottati per diventare un ingegnere di prompt più efficace e un praticante di LLM.

Comprensione dei LLM. A causa del suo focus sul prompting, questa panoramica non spiegherà la storia o la meccanica dei modelli linguistici. Per ottenere una migliore comprensione generale dei modelli linguistici (che è un prerequisito importante per comprendere a fondo il prompting), ho scritto diverse panoramiche disponibili. Queste panoramiche sono elencate di seguito (in ordine di…)

• Descrizione dei metadati degli articoli di ricerca resa rapida e facile
• Ricercatori da NYU e Meta AI studiano il miglioramento degli agenti di conversazione sociali tramite l’apprendimento dal dialogo naturale tra gli utenti e un modello implementato, senza ulteriori annotazioni.
• Un approccio semplice per creare trasformatori personalizzati utilizzando le classi di Scikit-Learn