AI in movimento

IL FUTURO DELL'INTELLIGENZA ARTIFICIALE IN MOVIMENTO

Riassunto dell’hackathon hardware di 24 ore a San Francisco

Se il 2023 è stato l’anno dei LLM (grandi modelli di linguaggio), il 2024 sarà l’anno dei LMM (grandi modelli multimodali). La principale differenza sarà il riconoscimento del testo e delle immagini per generare input e output. Questo apre un’intera serie di nuove possibilità per l’hardware.

Per esplorare ciò che è possibile combinando l’hardware più recente con i modelli di apprendimento automatico più recenti, abbiamo ospitato un hackathon di un intero weekend presso lo Studio 45 a San Francisco. L’obiettivo principale era quello di unire due comunità che al momento sono piuttosto separate: la comunità di apprendimento automatico e la comunità della robotica. I programmatori si sono riuniti per vedere quali sfide spaziali potessero risolvere. A tutti è stato dato un tempo di 24 ore per formare un team, costruire una demo e presentarsi ai giudici alla fine.

Interfacce più intelligenti, GPT-4 con gli occhi e un modello open source di DeepMind

Nelle due settimane attorno all’hackathon, ci sono stati nuovi sviluppi nel campo dell’hardware e dell’intelligenza artificiale:

• La guida alle metriche dei raccomandatori
• Creare il mio proprio Comic GPT con GPT-Store di OpenAI in soli tre semplici passaggi
• Tutto sugli algoritmi avidi| Guida per principianti.

• Investimento in interfacce più intelligenti: Meta ha rilasciato gli occhiali Ray-Ban con un setup di streaming. OpenAI è in trattative con Jony Ive per una sostituzione simile a un iPhone utilizzando i loro ultimi modelli. In precedenza nell’anno, Humane ha dimostrato il loro pin AI su un palco TED, e Apple Vision Pro ha rilasciato il suo SDK con visionOS mentre le persone sviluppano applicazioni spaziali.
• OpenAI offre a Chat GPT-4 la visione: Chat GPT-4V (visione) è ora disponibile per gli account premium, permettendo alle persone di chattare con immagini oltre che con Dalle-3 per il contenuto generato. Alcuni casi d’uso includono prendere un mockup di front-end e scrivere il codice di back-end, creare immagini di film o capire segnali stradali confusi. Altri esempi qui e l’intero documento di 166 pagine di Microsoft su GPT-4V qui.
• DeepMind di Google rende open source RT-X: Confrontando più di 500 abilità su più di 150.000 compiti, il modello RT-X ha superato i modelli tradizionali di intelligenza stretta, maggiori informazioni qui.

Anche se abbiamo perso questi entusiasmanti aggiornamenti di due settimane, questo è esattamente il motivo per cui abbiamo organizzato l’hackathon AI in Motion a San Francisco: 1) il ritmo dell’avanzamento dell’apprendimento automatico sta procedendo così rapidamente che vogliamo vedere cosa succede quando viene integrato meglio con l’hardware e 2) volevamo unire due comunità che non hanno spesso l’opportunità di collaborare.

Il nostro obiettivo principale era unire l’IA all’hardware

Per strutturare l’hackathon, abbiamo iniziato con tre obiettivi:

Obiettivo 1: Assicurarsi che il gruppo sia composto per metà da sviluppatori di apprendimento automatico e per metà da ingegneri hardware.

Cosa abbiamo raggiunto: I programmatori di OpenAI, DeepMind, Meta AI Labs, Tesla e altri sono venuti con esperienza in entrambi i settori.

Obiettivo 2: Portare dell’hardware incredibile per vedere cosa potevano fare i modelli di apprendimento automatico più recenti. Sì, sono stati utilizzati più di LLM nella realizzazione di queste demo.

Cosa abbiamo raggiunto: Abbiamo avuto bracci robotici universali, un quadrupede di Boston Dynamics Spot, Roomba e un’intera libreria di kit IoT. Ecco la documentazione completa che abbiamo dato ai programmatori. Presto sarà disponibile un documento open source!

Obiettivo 3: Passare dall’idea alla demo in 24 ore. Abbiamo lanciato sabato alle 10:00 e le demo sono state completate entro le 10:00 di domenica. Sì, molti sono riusciti a dormire.

Abbiamo raggiunto: Date un’occhiata ai risultati qui sotto!

Nel complesso, i risultati sono stati impressionanti. Sembrava un assaggio di come il futuro molto prossimo sarà drasticamente diverso, con interfacce più intelligenti, hardware più potenti e, cosa ancora più importante, team più piccoli che realizzano progetti più grandi.

Top 5 momenti salienti del progetto

1. Jarvis è un assistente robomeccanico. Pensate all’ala manifatturiera di Tesla, ma in una piccola officina, e a cui potete parlare.

Menzione d’onore agli hacker: @jqphu, @nishthenomad, @TristanHeywood, @The_TT_Hacker , @winston, @vrushank

2. XR è un ausilio all’ascolto intelligent e di apprendimento che può catturare informazioni circostanti, come chi è intorno all’utente e cosa viene fatto. Combinando l’input della telecamera con la visione tramite computer e il riconoscimento vocale con l’API di OpenAI, la loro demo potrebbe migliorare la comprensione visiva dell’utente del mondo che lo circonda.

Menzione d’onore agli hacker: @jer, @EmmaQian_ , @ClovisVinant, @lingxue, @varun, @esh

3. C.H.I.P. è un microscopio CNC digitale con classificazione a zero-shot per la rilevazione di chip difettosi.

Menzione d’onore agli hacker: @johndmcmaster, @notionsmith, @justin, @ninjaa

4. Dex (vincitore assoluto) scansisce e analizza una stanza alla ricerca di oggetti smarriti. Hanno aggiunto una webcam a un Roomba e hanno creato un modo per interagire con i dati delle immagini.

Menzione d’onore agli hacker: @cyrus_cowley, @ian, @surya

5. Spotsight (il preferito dalla folla) era un cane guida robotico per non vedenti. Poteva aiutare a navigare in un ambiente in sicurezza, a un costo più accessibile rispetto ai cani guida addestrati professionalmente, e poteva svolgere compiti supplementari tra il proprietario e l’ambiente, come prendere la posta.

Menzione d’onore agli hacker: @ingarobotics, @cyb3rblaze_, @adit, @reuben, @abinaya

🤖 Altri progetti qui, se siete curiosi.

Idee per migliorare la prossima edizione

• Dall’idea alla sceneggiatura. Abbiamo scoperto una lacuna nel fatto che i team hanno difficoltà a trovare una direzione chiara su quale problema vogliono risolvere in generale e su come demostrare ciò in 24 ore. Per futuri hackathon, promuoveremo due parti della sceneggiatura: 1) cosa volete che il robot faccia e perché, e 2) a cosa assomiglierà la vostra architettura di base. Abbiamo corretto la rotta sul momento e possiamo aiutare preventivamente con questo aspetto la prossima volta.
• Hack in più parti. Gli hackathon più impegnativi al MIT possono richiedere due weekend anziché un solo incontro. Poiché esplorare un’idea e capire quale sarà la demo può richiedere un intero fine settimana, potrebbe essere utile dedicare un secondo fine settimana per permettere ai finalisti di prendersi il tempo necessario per sviluppare. Potremmo valutare questa opzione per la prossima sfida per vedere se aiuta a promuovere demo di maggiore qualità. In tal caso, manterremmo un solo giorno per il primo fine settimana, mentre il secondo fine settimana sarebbe di due giorni.
• Semplicificare la libreria hardware. Esploreremo il modello a due weekend con una libreria più mirata. È stato un problema positivo avere troppo hardware a disposizione. Ma con ogni robot che ha un mentore, pensiamo che potrebbe essere meglio fare una sfida più focalizzata, ad esempio con il robot Spot quadrupede di Boston Dynamics o con il braccio robotico universale. In tal caso, dovremmo valutare il momento in cui i team possono utilizzare l’hardware o farne utilizzare più di uno.

Usa questo come un libro di playlist, se vuoi organizzare il tuo hardware hackathon

Il nostro team ha organizzato dozzine di hackathon e ci siamo resi conto che non ci sono abbastanza hack hardware. Anche se è più facile distribuire del software, speriamo che questo possa fungere da ispirazione e struttura per futuri hack hardware.

Alcune cose su cui ci siamo concentrati:

1. Usa uno spazio per la progettazione e la fabbricazione in cui gli hacker possano lavorare.

Non è consigliabile utilizzare lucidi e raffinati scrivanie da ufficio quando si salda o si lavora con l’hardware. Abbiamo affittato anche tavoli di plastica per garantire la massima flessibilità.

2. Consenti agli hacker di presentarsi come una squadra.

2/9 squadre si sono presentate come squadra. Hanno potuto farlo nell’applicazione assicurandoci che abbiamo accettato l’intera squadra all’evento. Sentiti libero di utilizzare questa pagina come modello per il tuo hack. Abbiamo accolto persone di ogni background. L’unico requisito era che fossi lì per costruire e distribuire qualcosa, niente spettatori.

3. Rilascia una biblioteca di componenti 1 settimana prima dell’hack.

Abbiamo condiviso questo documento 1 settimana prima dell’evento per permettere ai partecipanti di esplorare la documentazione. Sono stati anche incoraggiati a portare il proprio hardware.

4. Parti con grande entusiasmo.

Abbiamo iniziato l’hack con caffè e incontri informali. Questo ha permesso agli hacker di conoscersi per trenta minuti. Poi abbiamo avuto 45 minuti di programmazione con una dimostrazione del fondatore, Gary di raise robotics, in cui poteva condividere un esempio concreto di cosa costruire. Ogni robot aveva anche un mentore che presentava l’hardware.

5. Per chi ha bisogno di una squadra, li abbiamo aiutati a trovarne una.

Abbiamo fatto presentazioni di 1 minuto e 20 minuti per permettere alle persone di conoscersi, formare gruppi e poi definire le squadre.

6. Essere chiari nei criteri di valutazione.

Siamo stati chiari fin dall’inizio che i giudici avrebbero valutato le idee in base a:

• 6.1 Comprensione del problema: Si tratta di un problema rilevante o che offre prospettive interessanti per il futuro? C’è un chiaro caso d’uso per i clienti?
• 6.2 Dimostrazione: Risolve realmente il problema? — fattibilità — dimostra il concetto?
• 6.3 Divertimento: È divertente o piacevole da usare? Questa demo e il sistema in una distribuzione su larga scala creano gioia nell’uso di sistemi di intelligenza artificiale e movimento?
• 6.4. Chiari incentivi economici: C’è un percorso realizzabile per il deploy su larga scala? È chiaro il motivo per cui i clienti pagherebbero per utilizzarlo?

7. Presentare idee prima della formazione delle squadre.

Le 2-3 ore successive alla formazione delle squadre sono state dedicate alla generazione di idee. Abbiamo intenzionalmente separato questa fase dalla costruzione per garantire che le squadre avessero un’idea di ciò che volevano costruire. Abbiamo anche adottato un sistema di merito in cui le migliori idee che sono state presentate per prime hanno potuto scegliere per prime i loro robot.

8. Avere mentor disponibili ovunque.

Abbiamo avuto mentori nel campo della progettazione e fabbricazione, dell’equipaggiamento, dell’hardware e dell’apprendimento automatico a disposizione delle squadre. Un team di 3-5 mentori ha aiutato tutti i 50 hacker.

9. Concludi in maniera trionfante.

Oltre alla presentazione di pitch deck (2 minuti) e demo (1 minuto), volevamo assicurarci che ci fosse un elemento in diretta nel finale dello showcase dell’hack hardware. Abbiamo diviso l’evento in due parti:

• 1 ora di vetrina: pensa a stand di startup con demo dal vivo. Gli ospiti e i giudici potevano incontrare le squadre e interagire con le demo.
• 1 ora di presentazioni: pitch di 2 minuti e demo video di 1 minuto. Il video di YouTube incorporato nella presentazione di Google Slide garantiva che tutti potessero vedere tutto ciò che era stato realizzato.

dopo ogni presentazione, ogni giudice aveva la possibilità di fare 1 domanda o dare 1 punto di feedback.

10. strutturalmente non strutturato.

La maggior parte dell’hackathon era dedicata al tempo di concentrazione in cui ogni squadra poteva prendersi il tempo necessario per capire. Abbiamo saltato gli interventi aggiuntivi e i workshop, per garantire alle squadre tutto il tempo di cui avevano bisogno. Anche la sfida era intenzionalmente aperta: “risolvi una sfida spaziale a casa, in ufficio o all’esterno dove l’intelligenza artificiale si abbina all’hardware”.

Conclusione con i ringraziamenti in stile crediti cinematografici

Questo è stato un evento divertente sia per gli hacker che per coloro che sono venuti per la mostra finale. Abbiamo bisogno di più hackathon sull’hardware!

Per costruire un ottimo hardware, è davvero necessario un ecosistema completo, anche se solo per 24 ore. Siamo grati a tutti i nostri sponsor che hanno contribuito a rendere possibile questo evento, in particolare “informal”, che ha svolto un ruolo fondamentale!

Se vuoi organizzare il tuo hackathon sull’hardware, in un prossimo articolo condivideremo consigli pratici su come organizzare un hackathon sull’hardware. Resta sintonizzato!

Grazie a tutti i partner che hanno contribuito a realizzare questo evento!

• ​​Studio45 è un club house e uno spazio di coworking per professionisti che sviluppano prodotti fisici nel quartiere di Bernal Heights a San Francisco.
• ​informal è un collettivo di freelance che raggruppa i migliori professionisti indipendenti dell’hardware e della produzione. I membri di informal lavorano con aziende di ogni dimensione per progettare, produrre e spedire prodotti fisici. Grazie per il riconoscimento!
• ​​Blues Wireless rende i prodotti connessi al cloud effettivamente possibili senza la necessità di configurazioni complicate.

Partner della comunità

• ​Massmelt è un insieme variegato di servizi per lo sviluppo di prodotti hardware dedicati al supporto di organizzazioni nella realizzazione della loro visione per il futuro.
• ​​SF Hardware Meetup è una comunità di oltre 9.000 professionisti dell’hardware che si incontrano mensilmente per creare connessioni significative.
• Cerebral Valley e GenAI Collective aiutano a diffondere la voce nella comunità di machine learning della Bay Area.

Sponsor dei premi

• ​Runpod è una piattaforma cloud GPU per addestrare e scalare l’elaborazione di modelli di intelligenza artificiale. Hanno offerto crediti cloud alla squadra migliore.

Grazie ai nostri giudici per aver commentato i progetti!

• ​Ashley è l’ex responsabile tecnico presso Google Alphabet’s X, Moonshot Factory.
• ​Robert è un responsabile prodotto presso Waymo, un’azienda di veicoli a guida autonoma all’interno di Alphabet.
• ​Santhi è fondatrice, investitrice e venture fellow presso Designer Fund.
• ​Vince è un imprenditore per la settima volta e un investitore di tecnologie d’impatto della Silicon Valley.

E infine, ma non meno importante, un grande applauso ai co-organizzatori: Michael + Jascha, entrambi membri di informal, per essersi offerti volontari per rendere questa esperienza unica per tutti coloro che hanno partecipato…

P.S. Sì, questo articolo è stato scritto da noi (Michael + Jascha), e così abbiamo concluso con un encomio in terza persona alla fine ✌️