Ingegneria avanzata di Prompt

Advanced Prompt Engineering

Cosa fare quando il few-shot learning non è sufficiente…

La popolarizzazione dei grandi modelli di linguaggio (LLM) ha completamente cambiato il modo in cui risolviamo i problemi come esseri umani. Negli anni precedenti, risolvere qualsiasi compito (ad esempio, riformattare un documento o classificare una frase) con un computer richiedeva la creazione di un programma (cioè un insieme di comandi scritti in modo preciso secondo un linguaggio di programmazione). Con i LLM, risolvere tali problemi richiede solo una richiesta testuale. Ad esempio, possiamo chiedere a un LLM di riformattare un qualsiasi documento attraverso una richiesta simile a quella mostrata di seguito.

Come dimostrato nell’esempio sopra, il formato testo-testo generico dei LLM ci permette di risolvere una vasta gamma di problemi. Abbiamo visto per la prima volta un assaggio di questo potenziale con la proposta di GPT-3 [18], dimostrando che i modelli di linguaggio sufficientemente grandi possono utilizzare il few-shot learning per risolvere molti compiti con sorprendente precisione. Tuttavia, con l’avanzare della ricerca sui LLM, abbiamo iniziato a superare queste tecniche di richiesta di base (ma comunque molto efficaci!) come il zero/few-shot learning.

I LLM che seguono le istruzioni (ad esempio, InstructGPT e ChatGPT) ci hanno spinto a esplorare se i modelli di linguaggio potevano risolvere compiti veramente difficili. In altre parole, volevamo utilizzare i LLM per qualcosa di più di semplici problemi. Per essere utili in modo pratico, i LLM devono essere in grado di seguire istruzioni complesse e svolgere ragionamenti multi-step per rispondere correttamente a domande difficili poste da un essere umano. Purtroppo, tali problemi spesso non sono risolvibili utilizzando tecniche di richiesta di base. Per suscitare un comportamento di risoluzione dei problemi complesso dai LLM, abbiamo bisogno di qualcosa di più sofisticato.

Espandendo il campo di ciò che è possibile…

In un post precedente, abbiamo appreso metodi più fondamentali di richiesta per i LLM, come…

• L’AI Mania Sta per scoppiare una bolla?
• Riorganizzazione delle Conferenze del College Football – Clustering
• Rotazione di raster con Rasterio