Trey Doig, CTO e Co-Fondatore di Pathlight – Serie di interviste

Trey Doig, CTO e Co-Fondatore di Pathlight - Serie di interviste esplosive sulla bellezza e moda

Trey Doig è il Co-Fondatore e CTO di Pathlight. Trey ha oltre dieci anni di esperienza nel settore della tecnologia, avendo lavorato come ingegnere per IBM, Creative Commons e Yelp. Trey era l’ingegnere principale per Yelp Reservations ed era responsabile dell’integrazione delle funzionalità di SeatMe su Yelp.com. Trey ha anche guidato lo sviluppo dell’applicazione web di SeatMe mentre l’azienda cresceva per supportare una crescita del cliente 10 volte superiore.

Pathlight aiuta i team che lavorano a contatto con i clienti a migliorare le performance e guidare l’efficienza con informazioni in tempo reale sulle conversazioni dei clienti e le performance del team. La piattaforma Pathlight analizza autonomamente milioni di punti di dati per permettere a ogni livello dell’organizzazione di capire cosa succede sul fronte della loro attività e determinare le migliori azioni per creare successo ripetibile.

Cosa ti ha inizialmente attratto verso l’informatica?

Gioco con i computer fin da quando posso ricordare. A 12 anni ho iniziato a programmare e ho imparato Scheme e Lisp da solo, e poco dopo ho iniziato a costruire tutte le cose possibili per me e i miei amici, principalmente nello sviluppo web.

• Recensione di Sudowrite L’IA può scrivere un romanzo che suona umano?
• Ensemble impilati per modellazione predittiva avanzata con H2O.ai e Optuna
• Può Chat GPT giocare a scacchi?

Molto più tardi, quando ho applicato per la facoltà, ero diventato annoiato dai computer e avevo deciso di entrare in una scuola di design. Dopo essere stato respinto da alcune di quelle scuole, ho deciso di iscrivermi a un programma di informatica e non ho mai guardato indietro. Essere stato respinto dalla scuola di design alla fine si è rivelato una delle più gratificanti rinunce della mia vita!

Hai ricoperto ruoli presso IBM, Yelp e altre aziende. In particolare, a Yelp, quali sono stati alcuni dei progetti più interessanti a cui hai lavorato e quali sono state le tue principali lezioni apprese da questa esperienza?

Ho aderito a Yelp attraverso l’acquisizione di SeatMe, la nostra azienda precedente, e fin dal primo giorno mi è stata affidata la responsabilità di integrare il nostro motore di ricerca delle prenotazioni nella homepage di Yelp.com.

Dopo solo pochi mesi, siamo riusciti a far funzionare con successo quel motore di ricerca su scala Yelp, principalmente grazie all’infrastruttura robusta che Yelp aveva costruito internamente per Elasticsearch. È stato anche grazie alla grande leadership di ingegneria che ci è stata permesso di muoverci liberamente e fare ciò che facevamo meglio: spedire rapidamente.

Come CTO e Co-Fondatore di Pathlight, un’azienda specializzata in intelligenza conversazionale, stai aiutando a costruire un’infrastruttura LLM Ops da zero. Puoi discutere alcuni degli elementi diversi che devono essere assemblati durante l’implementazione di un’infrastruttura LLMOps, ad esempio come gestisci il livello di gestione dei suggerimenti, il livello di flusso di memoria, il livello di gestione dei modelli, ecc.?

Alla fine del 2022, ci siamo dedicati all’importante compito di sviluppare ed sperimentare i Large Language Models (LLM), un’impresa che ci ha portato rapidamente al lancio con successo del nostro prodotto GenAI native Conversation Intelligence solamente quattro mesi dopo. Questo prodotto innovativo consente di consolidare le interazioni del cliente provenienti da diversi canali, sia testuali, audio o video, in una piattaforma unica e completa, permettendo un’analisi e una comprensione senza precedenti dei sentimenti dei clienti.

Navigando in questo processo complesso, trascriviamo, purifichiamo e ottimizziamo accuratamente i dati per adattarli perfettamente all’elaborazione LLM. Un aspetto critico di questo flusso di lavoro è la generazione di embed dai testi trascritti, una fase fondamentale per l’efficacia dei nostri modelli di tagging e classificazione basati su RAG e delle sintesi intricate.

Ciò che davvero rende questa impresa unica è l’originalità e la natura inesplorata del campo. Ci troviamo in una posizione unica, pionieristica e di scoperta delle migliori pratiche in simultanea con la comunità più ampia. Un esempio importante di questa esplorazione è l’ingegneria dei suggerimenti: monitorare, debuggare e garantire il controllo di qualità dei prompt generati dalla nostra applicazione. In modo sorprendente, stiamo assistendo a un aumento di startup che forniscono ora strumenti commerciali specifici per queste esigenze di livello superiore, inclusi funzionalità collaborative e capacità avanzate di logging e indicizzazione.

Tuttavia, per noi, l’enfasi rimane saldamente su consolidare i livelli fondamentali della nostra infrastruttura LLMOps. Dalla messa a punto dell’orchestrazione, l’hosting dei modelli, all’implementazione di API di inferenza robuste, questi componenti di livello inferiore sono cruciali per la nostra missione. Concentrando le nostre risorse e le nostre competenze ingegneristiche qui, ci assicuriamo che il nostro prodotto non solo arrivi rapidamente sul mercato, ma si basi anche su una solida e affidabile base.

Poiché il panorama evolve e diventano disponibili sempre più strumenti commerciali per affrontare le complessità di livello superiore, la nostra strategia ci permette di integrare senza sforzo queste soluzioni, migliorando ulteriormente il nostro prodotto e accelerando il nostro percorso nella ridefinizione dell’Intelligenza Conversazionale.

La base di Pathlight CI è alimentata da un backend multi-LLM, quali sono alcune delle sfide nell’uso di più di un LLM e nel gestire i loro diversi limiti di utilizzo?

LLMs e GenAI si muovono a una velocità mozzafiato, il che rende assolutamente critico che ogni applicazione aziendale che si basi pesantemente su queste tecnologie sia in grado di stare al passo con i modelli allenati più recenti e migliori, che siano servizi gestiti proprietari o l’implementazione di modelli FOSS nella propria infrastruttura. Specialmente quando le richieste del servizio aumentano e i limiti di velocità impediscono il throughput necessario.

Le allucinazioni sono un problema comune per qualsiasi azienda che sta costruendo e implementando LLM, come affronta Pathlight questa questione?

Le allucinazioni, nel senso di ciò che penso le persone generalmente intendono, sono una grande sfida nel lavorare con LLM in modo serio. C’è certamente un livello di incertezza/impredicibilità che si verifica in cosa si deve aspettare da un prompt anche identico. Ci sono molti modi di affrontare questo problema, inclusa l’ottimizzazione (che massimizza l’utilizzo dei modelli di migliore qualità disponibili per generare dati di ottimizzazione).

Pathlight offre varie soluzioni che si rivolgono a diversi segmenti di mercato come viaggi e ospitalità, finanza, giochi, vendite al dettaglio ed e-commerce, contact center, ecc. Può descrivere come l’IA generativa utilizzata differisce dietro le quinte per ciascuno di questi mercati?

La possibilità istantanea di affrontare così tanti segmenti è uno degli aspetti più unici e preziosi di GenerativeAI. Avere accesso a modelli allenati sull’intero internet, con una vasta gamma di conoscenze in tutti i tipi di settori, è una qualità unica della svolta che stiamo vivendo ora. È così che l’IA si dimostrerà nel tempo, nella sua pervasività ed è sicuramente destinata a esserlo presto date le strade attuali.

Può descrivere come Pathlight utilizza l’apprendimento automatico per automatizzare l’analisi dei dati e scoprire conoscenze nascoste?

Sì, assolutamente! Abbiamo una lunga storia di sviluppo e lancio di numerosi progetti di apprendimento automatico per molti anni. Il modello generativo dietro la nostra ultima funzionalità Insight Streams è un ottimo esempio di come abbiamo sfruttato l’apprendimento automatico per creare un prodotto posizionato direttamente per scoprire ciò che non si sa sui propri clienti. Questa tecnologia fa uso del concetto di agente IA, in grado di produrre un insieme di Intuizioni in continua evoluzione che rende impossibile sia la recente che la profondità dell’analisi manuale. Nel tempo, questi flussi possono imparare naturalmente da sé stessi e

L’analisi dei dati o gli scienziati dei dati, gli analisti aziendali, le vendite o il personale dell’assistenza clienti o chiunque l’azienda designi come responsabili dell’analisi dei dati di supporto clienti sono completamente sommersi di richieste importanti tutto il tempo. Il tipo di analisi approfondita, quella che normalmente richiede strati e strati di sistemi complessi e dati.

Qual è la sua visione personale dei progressi che possiamo aspettarci nell’ambito di LLM e dell’IA in generale?

La mia visione personale è estremamente ottimista per il campo dei metodi di allenamento e ottimizzazione di LLM, che continueranno a fare progressi rapidamente, oltre a ottenere risultati in settori più ampi e diventare una norma multimodale. Credo che i modelli FOSS siano già “altrettanto validi” del GPT4 in molti modi, ma il costo di ospitare tali modelli continuerà ad essere una preoccupazione per la maggior parte delle aziende.