Cercando un Ingegnere Esperto con più di 10 anni di esperienza?

Ingegnere Esperto con oltre 10 anni di esperienza?

Chi potrebbe essere un ottimo candidato per questa nuova posizione di successo

L’ingegneria delle prompt è stata presente per un po’ di tempo, ma il termine è diventato virale con l’attuale boom dei modelli di linguaggio di grandi dimensioni (LLM). Il principale motore del fenomeno è che l’apprendimento zero-shot e few-shot funzionano bene solo con modelli di linguaggio di dimensioni molto grandi.

L’euforia intorno all’ingegneria delle prompt era inevitabile – dopotutto, la formulazione delle prompt può avere un effetto drammatico sulla qualità dell’output dei LLM (i LLM presentano una grande varianza su diversi template di prompt). È anche un modo efficace per utilizzare modelli di linguaggio senza riaddestrare alcun parametro o raccogliere dati necessari per la tradizionale messa a punto.

La letteratura di ricerca suggerisce una varietà di tecniche promettenti per l’ingegneria delle prompt. Ma dobbiamo ancora scoprire un algoritmo universale per “trovare la migliore prompt per un determinato compito” adatto a ogni LLM. Dobbiamo sperimentare con ogni modello e compito specifico per trovare una prompt che produca l’output desiderato. Ecco perché il lavoro di “Prompt Engineer” è diventato una cosa.

Ingegneri delle Prompt

Come accade con ogni posizione di successo nel settore informatico (parlando dalla mia esperienza personale come Developer Advocate), c’è molta confusione sia per i datori di lavoro che per i dipendenti su cosa un Ingegnere delle Prompt deve sapere. La confusione è peggiorata dalla comune percezione che l’ingegneria delle prompt sia un processo di riformulazione delle domande a un oracolo finché non si ottiene una risposta desiderata, qualcosa di simile a un genitore paziente che fa i compiti di matematica con il proprio figlio. Al contrario, l’ingegneria delle prompt è una procedura molto deliberata. Ancora più importante, “l’ingegneria delle prompt non riguarda solo la progettazione e lo sviluppo delle prompt. Comprende una vasta gamma di competenze e tecniche utili per interagire e sviluppare con i LLM”.

• Reti di Convoluzione Grafica Introduzione alle GNN
• Amazon introduce riassunti di recensioni generati dall’IA
• CFXplorer Pacchetto Python per la generazione di spiegazioni contro-fattuali

Ci sono molti guide, corsi e articoli utili con tecniche e migliori pratiche per l’ingegneria delle prompt, che ho usato personalmente per prenderci la mano. E nella maggior parte di essi, basandomi sulla mia esperienza, vedrete la stessa raccomandazione: le buone prompt nascono dall’esperimento, quindi è necessario stabilire il proprio processo di progettazione di una prompt e sviluppare un sesto senso per l’ingegneria delle prompt. Ovviamente, parte dell’intuizione può derivare dall’esperienza lavorativa come Ingegnere di Apprendimento Automatico, che aiuta a sviluppare una comprensione più profonda di come sono costruiti e addestrati i LLM. Ma ci sono alcune professioni meno ovvie che possono naturalmente sviluppare una forte intuizione nell’ingegneria delle prompt. Una di esse è un Architetto di Soluzioni Crowdsourcing (CSA).

Architetti di Soluzioni Crowdsourcing

Potrebbe sembrare che sto sostituendo un titolo di lavoro trendy e frainteso nell’IT con un altro altrettanto confuso e innovativo. Beh, in realtà non è così nuovo – gli Architetti di Soluzioni Crowdsourcing esistono fin dall’emergere delle piattaforme di crowdsourcing, quindi i CSA possono avere facilmente oltre 15 anni di esperienza. Il settore ha già una solida comprensione del campo professionale di un CSA.

Quindi, quali sono le loro mansioni quotidiane e perché la loro esperienza può essere utile per sviluppare intuizione nell’ingegneria delle prompt? Per metterla semplicemente, i CSA progettano attività di etichettatura dei dati per una folla (esperti o non esperti), convertendo le specifiche iniziali in un formato comprensibile per gli etichettatori. Questo include scrivere istruzioni dettagliate, creare un’interfaccia di etichettatura user-friendly, impostare un sistema di prezzo equo e meccanismi di controllo di qualità, e, soprattutto, applicare sofisticate tecniche di decomposizione a un problema iniziale. La decomposizione è una competenza importante che trasforma un compito difficile in un insieme di sotto-compiti più facili. Un esempio è trasformare un problema di classificazione in un compito di etichettatura affiancata seguito da un’aggregazione rumorosa di Bradley-Terry. I sotto-compiti sono risolti dalla folla, e poi i CSA applicano varie tecniche di aggregazione per ottenere la risposta finale al problema.

Perché progettare compiti di crowdsourcing aiuta a sviluppare l’intuizione nell’ingegneria delle istruzioni

Durante l’esperimento con l’ingegneria delle istruzioni, ho notato delle somiglianze tra le migliori pratiche nella progettazione dei compiti di crowdsourcing e le migliori pratiche nell’ingegneria delle istruzioni stesse. Ciò mi ha portato a sviluppare e testare diverse ipotesi su come i metodi del CSA potrebbero essere utilizzati per migliorare i risultati delle istruzioni. Credo fermamente che nuove tecniche di prompting possano essere scoperte applicando conoscenze da aree di ricerca adiacenti, come il crowdsourcing.

Decomposizione + Aggregazione

Tecniche come il prompting a catena di pensiero e il prompting dal meno al più dimostrano che un modello si comporta meglio se un compito viene diviso in sottocompiti o passaggi. La decomposizione funziona allo stesso modo per i compiti di crowdsourcing, suddividendoli in problemi più piccoli che sono molto più facili da risolvere. È intuitivamente facile capire perché una tale tecnica aiuta ad aumentare la qualità dell’etichettatura umana: rende più facile concentrarsi e richiede meno competenze da parte degli etichettatori. Per gli LLM, potrebbe funzionare bene perché i sottocompiti potrebbero verificarsi più frequentemente nei set di dati di addestramento LLM raccolti dal web.

I CSA hanno imparato nella pratica come decomporre i compiti per la stima della pertinenza della ricerca, l’etichettatura del trasporto 3D, la moderazione degli annunci, il riconoscimento delle informazioni personali (PI) nel codice e molti altri casi d’uso. Hanno sviluppato una forte intuizione su ciò che è difficile e ciò che è facile da risolvere con un gruppo. Questa intuizione può essere parzialmente catturata in un insieme di migliori pratiche. Ad esempio, c’è una regola empirica secondo cui il numero di classi nei compiti di classificazione non dovrebbe superare 5 o 6; altrimenti, si verifica il sovraccarico di scelta. Un’altra regola è che l’eliminazione delle classi, una per volta, da semplici a complesse, fornirà risultati migliori rispetto all’etichettatura delle classi contemporaneamente. Queste regole possono essere applicate all’etichettatura con LLM? Sembra di sì! Abbiamo applicato quest’ultima regola all’etichettatura con GPT-4 e i risultati hanno mostrato un’accuratezza superiore del 20%.

Istruzioni

Una delle chiavi per ottenere buoni risultati con il crowdsourcing è fornire istruzioni chiare e dettagliate (essenzialmente, un’istruzione dettagliata per gli esseri umani). Poiché gli LLM non sono in grado di ragionare, fornire loro istruzioni perfette per le persone potrebbe non portare alla migliore qualità dell’output, come mostrato nell’articolo The Turking Test: Can Language Models Understand Instructions?

Tuttavia, alcune migliori pratiche per l’ingegneria delle istruzioni e la progettazione delle istruzioni per il crowdsourcing si adattano uno a uno, dimostrando che un esperto CSA potrebbe diventare un promettente ingegnere delle istruzioni. Ecco alcune pratiche che si applicano alle istruzioni:

• Breve non significa buono. Sii il più chiaro possibile.
• Dato che gli LLM sono apprendisti a poche istanze come noi, gli esempi contano molto.
• Se ci sono più classi possibili nel compito, fornisci abbastanza esempi (almeno 2-3) per illustrare ognuna di esse.
• Utilizza esempi reali (non sintetici) per le tue poche istanze.
• Se aggiungi casi rari al compito, assicurati di spiegarli bene nelle istruzioni.

Punti chiave

• Esiste un promettente campo di ricerca inesplorato per l’applicazione delle tecniche CSA all’ingegneria delle istruzioni.
• L’intuizione nell’ingegneria delle istruzioni può sicuramente essere acquisita attraverso altre esperienze lavorative.
• Presso Toloka, utilizziamo con successo i nostri CSA come ingegneri delle istruzioni. Se hai qualcuno nel tuo team che ha lavorato con il crowdsourcing, non devi cercare un ingegnere delle istruzioni!