Organizzare l’AI generativa 5 lezioni apprese dai team di Data Science

Organizzare l'AI generativa 5 lezioni apprese dai team di Data Science

LLMs rappresentano una promessa enorme, ma generare valore sostenibile richiederà più di una squadra di esperti

Ci sei riuscito!

Dopo che la dirigenza ha promesso vagamente agli stakeholder che nuove funzionalità di Gen AI sarebbero state incorporate in tutta l’organizzazione, la tua squadra di esperti ha lavorato freneticamente per produrre un MVP che soddisfi le aspettative. Integrare quella API di OpenAI nella tua applicazione non è stato così difficile e potrebbe anche rivelarsi utile.

Ma adesso cosa succede? Le squadre di esperti non possono correre sempre. Ogni membro ha un altro ruolo all’interno dell’organizzazione che richiederà di nuovo la maggior parte del suo tempo e della sua attenzione.

Per non parlare del fatto che c’è una ragione per i processi e le strutture tipiche che sono state ignorate o accelerate per questo progetto. Si scopre che sono abbastanza critiche per garantire l’adattamento del prodotto, la transizione dallo sviluppo alle operazioni e l’ottimizzazione dei costi (tra le altre cose).

• GPTQ o bitsandbytes quale metodo di quantizzazione utilizzare per LLM – Esempi con Llama 2
• 15 comunità subreddit correlate all’Intelligenza Artificiale (IA) e all’Apprendimento Automatico nel 2023
• Come codificare le caratteristiche temporali periodiche

A pensarci bene, ora che il progetto è completo non c’è davvero un’infrastruttura di piattaforma che possa aiutare a scalare il prossimo round di modelli LLM o altre funzionalità di prodotto Gen AI.

Sembra che sia arrivato il momento di iniziare a pensare a come strutturare e supportare una squadra Gen AI all’interno della tua organizzazione dati. E anche se le dimostrazioni di prodotto accattivanti rendono il processo facile, ci sono segnali di acque agitate in vista:

• A meno che tu non faccia parte di una mezza dozzina di grandi colossi tecnologici, l’esperienza nella scienza dei dati e nell’expertise Gen AI è una risorsa scarsa. A questo punto, nessuno ha davvero una significativa esperienza. È nuovo per tutti.
• L’azienda sa di volere Gen AI, ma ancora non sa bene perché. La tecnologia è eccitante, ma gli specifici casi d’uso sono sfocati. Nessuno ha molta esperienza nella gestione di un deployment.
• L’ecosistema è spuntato dal nulla, ma le tecnologie di supporto e le migliori pratiche non sono ancora mature. I rischi sono generalmente imprevisti e l’incertezza è alta.

Se tutto ciò ti suona familiare, è perché lo è. Le squadre di scienziati dei dati hanno affrontato tutti questi problemi con i loro algoritmi di machine learning e applicazioni negli ultimi cinque anni circa.

È stata un’esperienza dolorosa. Nel 2020, Gartner ha riportato che solo il 53% dei progetti di machine learning è passato dal prototipo alla produzione, e questo riguarda organizzazioni con un certo livello di esperienza in AI. Per le aziende che stanno ancora cercando di sviluppare una cultura basata sui dati, quel numero è probabilmente molto più alto, con stime di tassi di fallimento che arrivano quasi al 90%.

Come qualcuno che ha guidato squadre di dati al New York Times ed ha affrontato molte di queste sfide, posso testimoniare quanto siano importanti la struttura organizzativa, i processi e le piattaforme per il successo di queste iniziative.

Ho anche parlato con centinaia di leader dei dati di diverse dimensioni aziendali e industrie, che hanno espresso un insieme comune di lezioni apprese. Queste migliori pratiche, guadagnate attraverso il sangue, il sudore e le lacrime delle squadre di scienziati dei dati, dovrebbero essere la priorità principale per ogni leader dei dati che pensa alla loro strategia di lungo termine per Gen AI e alla struttura del team.

Lezione 1: Comprendere i compromessi strutturali e la curva di maturità

Come non puoi svegliarti senza alcun allenamento e andare a correre una maratona, la tua organizzazione non può creare una struttura organizzativa Gen AI che rispecchi le squadre di dati leader finché non rafforza i suoi muscoli operativi.

Uno degli errori più comuni visti in questo senso è quello di sforzare troppo il tuo pool di talenti nella fretta di decentralizzare e integrare in tutta l’azienda (magari all’interno di una mesh di dati). Mentre si acquisisce una migliore comprensione e vicinanza al business, la creazione di valore sostenibile è difficile.

Può esserci qualche successo, ma spesso questi sono legati e dipendenti dal talento di uno o due pionieri. Il talento nella scienza dei dati è raro, il talento senior nella scienza dei dati che può identificare, prioritizzare, comunicare ed eseguire in modo indipendente progetti di alto valore è ancora più raro.

Quando questi individui talentuosi se ne vanno, la conoscenza istituzionale, la base di codice e l’impulso del progetto spesso se ne vanno con loro. I membri della squadra che rimangono sono costretti a diventare degli archeologi, cercando di capire lo scopo e il significato degli artefatti lasciati dai progetti abbandonati. La maggior parte delle volte si riparte quasi da zero.

Il modello di consulenza è spesso un approccio più efficace per i team di data science e machine learning più piccoli. Ciò consolida una massa critica di talenti che possono essere indirizzati verso i progetti di più alta priorità. Il potenziale inconveniente da mitigare è quello di evitare che il centro di eccellenza diventi un laboratorio che produce modelli placcati d’oro che un professore potrebbe amare, ma che non sono allineati alla sfida aziendale in corso.

Man mano che un team cresce e sale lungo la curva di maturità, diventano più appropriate strutture organizzative leggermente diverse. Il modello “specializzato” si concentrerà tipicamente sulle risorse di data science e machine learning su un paio di problemi ad alto valore, con team schierati all’interno del dominio aziendale pertinente.

L’espressione più comune di ciò avviene quando il machine learning è una parte fondamentale del prodotto (forse la personalizzazione o il rilevamento delle frodi) e l’associazione con il team di prodotto o ingegneria è più importante dell’associazione con il team di dati principale. Spesso il team di dati principale ha il proprio investimento in data science, in gran parte indipendente dai team specializzati.

Questo modello può avere successo, ma crea inefficienze e silos. Ad esempio, sia i team centrali che quelli specializzati avranno tipicamente piattaforme personalizzate con pochi servizi condivisi. I dati degli eventi in streaming all’interno del dominio del prodotto potrebbero beneficiare dell’arricchimento con i dati personalizzati raccolti dal team centralizzato, ma quella connessione potrebbe non essere mai realizzata.

L’altra struttura organizzativa più avanzata potrebbe essere descritta come il modello “piattaforma”. I modelli incorporati e specializzati possono soffrire di una mancanza di visibilità e coesione tra i domini aziendali, trattando ciascun problema di data science con la propria soluzione full-stack, nonostante le somiglianze intrinseche nel tipo di problemi risolti tra i domini.

La soluzione consiste nel creare una separazione deliberata dai domini o settori aziendali, in modo da non adattare eccessivamente il proprio modello operativo, come si farebbe con altre squadre orizzontali di piattaforma.

Un grande vantaggio nel trattare il machine learning come una piattaforma è la capacità di investire in un’infrastruttura di piattaforma condivisa una volta dimostrato il valore di ciascuna applicazione di ML, poiché ciò riduce le risorse e i costi per il rilascio e la manutenzione di nuove applicazioni. Questo investimento dovrebbe essere inizialmente ridotto rispetto all’investimento nelle squadre applicate, consentendo loro di operare in modo relativamente indipendente e perseguire gli obiettivi a lungo termine dei loro partner commerciali.

In questo modello di piattaforma, potrebbe essere creato un team GenAI come uno dei team applicati, con il mandato e le risorse di ingegneria per adattare il proprio stack come necessario per fornire valore, coordinandosi con altre squadre di piattaforma per riutilizzare l’infrastruttura e gli standard che forniranno valore continuativo all’organizzazione. Consiglio vivamente questo modello anziché cercare di diffondere Gen AI in molti team. La massa critica conta.

Lezione 2: Organizzarsi per caso d’uso, non per funzione aziendale

Recentemente ho avuto una conversazione con un leader dei dati di un’azienda media che è stata l’ispirazione per questo post. Mi hanno detto che i loro team di data science erano organizzati per dominio (in questo caso, proprietà dei media).

I team di data science stavano lavorando sugli stessi tipi di progetti all’interno di ciascun dominio, ovvero algoritmi di raccomandazione di articoli. Senza dubbio ogni dominio trae vantaggio dalla focalizzazione dedicata sui propri problemi specifici e ogni team di data science trae vantaggio dalla vicinanza ai rispettivi partner aziendali ed editoriali. Ma ciò ha contribuito a evidenziare alcuni svantaggi di questa struttura organizzativa; dispiegamento inefficiente di talenti e mancanza di infrastrutture condivise nonostante molti team risolvano gli stessi tipi di problemi di classificazione dei contenuti.

Al New York Times, abbiamo trovato efficace organizzare i nostri team di data science attorno a problemi comuni. Una volta dimostrato il modello in un dominio, era generalmente più efficiente adattarlo e modificarlo agli input e ai vincoli unici di un altro dominio anziché far lavorare due team per creare due modelli in parallelo. Ha senso anche dal punto di vista logico, poiché costruire il prototipo richiede sempre più tempo rispetto al prodotto successivo.

Gen AI dovrebbe essere considerata nella stessa ottica. Concentrarsi su un caso d’uso di alto valore appropriato per la tecnologia, ad esempio suggerimenti personalizzati per posti a sedere in un mercato degli eventi, o localizzazione linguistica per un sito di media, quindi applicare quella soluzione ad altri domini in cui ha senso.

Lezione 3: Focalizzarsi sul valore a lungo termine e su problemi complessi

“Lungo termine” ha un significato unico nel mondo della tecnologia e dei dati, dove la durata media di un chief data officer è pari a quella di un barattolo di burro di arachidi.

L’obiettivo sarà ancora un problema quando sarà il momento della festa di chiusura del progetto? Sarà ancora una necessità tra cinque anni, durante i quali il nuovo modello può essere iterato e trovare un valore aggiuntivo?

La realtà è che, a meno che tu non stia utilizzando un modello preconfezionato, le iniziative di machine learning e Gen AI possono essere costose (anche se i LLM si stanno commoditizzando rapidamente). Sviluppare un modello ben addestrato e governato per adattarsi a un caso d’uso può richiedere mesi, o in alcuni casi, anche anni.

Il valore aggiunto rispetto ad altre alternative dovrebbe essere degno. Ad esempio, un modello di machine learning progettato per ottimizzare la spesa pubblicitaria su Facebook potrebbe sembrare interessante fino a quando non ti rendi conto che questo viene fatto nativamente all’interno della piattaforma pubblicitaria.

Detto ciò, concentrarsi sul valore a lungo termine non significa creare una roadmap con il primo rilascio previsto per il 2025.

Lezione 4: Associa le squadre di intelligenza artificiale a un sponsor aziendale

Come puoi assicurarti che le tue squadre di data science e generative AI si concentrino su problemi aziendali che contano? Abbinale a un sponsor aziendale.

Trovare applicazioni innovative per nuove tecnologie non sarà probabilmente un percorso lineare e ci si dovrebbe aspettare deviazioni. Una forte partnership con un sponsor aziendale funge da bussola, garantendo che la squadra non si allontani troppo dal valore aziendale mentre esplora il territorio inesplorato. Ho scoperto che allarga anche la prospettiva della squadra oltre l’orizzonte, verso problemi che coinvolgono più squadre.

Un forte sponsor aziendale manterrà anche la squadra ben fornita durante il loro viaggio, sbloccando risorse e aiutando a navigare in qualsiasi terreno difficile che coinvolga processi interni o politiche. Parte di questa navigazione richiederà probabilmente l’allineamento delle roadmap tra le squadre per fornire un’esperienza coerente di back-end e front-end.

Dato che queste iniziative probabilmente si estenderanno per trimestri, il coinvolgimento degli esecutivi è anche fondamentale per garantire che questi progetti non vengano interrotti prematuramente.

Lezione 5: Comprendere i prerequisiti della piattaforma dati

Costruire la macchina che costruisce la macchina è sempre più difficile rispetto alla produzione del prodotto finale. Questo vale sia che si tratti di una fabbrica che produce automobili o di una piattaforma dati utilizzata per sviluppare e produrre modelli di linguaggio di grandi dimensioni.

I leader aziendali avranno sempre l’obiettivo aziendale in mente e spesso trascureranno gli investimenti nella piattaforma dati necessari per raggiungerlo. Non lo fanno in malafede, si affidano a te, l’esperto di dati, per dirti cosa è necessario.

Ad esempio, le squadre di machine learning hanno investito nella costruzione o nell’acquisto di feature store e soluzioni MLops. Senza dimenticare l’investimento fondamentale negli ambienti di dati cloud, nella qualità dei dati e nelle altre funzionalità circostanti.

Per le iniziative GenAI, gran parte dell’architettura della piattaforma dati e del flusso di dati rimarrà la stessa (e se non hai ancora investito nella moderna infrastruttura di dati, questo è il punto di partenza). Non puoi avere un progetto Gen AI senza dati di alta qualità, facilmente accessibili. Tuttavia, ci saranno alcune soluzioni aggiuntive specifiche per l’ingegneria dei LLM, come l’hosting del modello, la memorizzazione nella cache, i framework degli agenti di intelligenza artificiale e molti altri che non sono ancora stati inventati.

Imparare dal passato o ripeterlo

Non c’è dubbio che Gen AI sia una tecnologia rivoluzionaria e imparare a sfruttarla su larga scala comporterà la creazione di un nuovo corpus di dolorose lezioni apprese. Tuttavia, non c’è bisogno di partire da zero. Struttura la tua squadra di data science e Gen AI per il successo nel lungo termine.

Questo articolo è stato scritto in collaborazione con Michael Segner.

Seguimi su VoAGI per ulteriori storie sulla leadership dei dati, applicazioni della data science e argomenti correlati. Iscriviti per ricevere le mie storie nella tua casella di posta.