Questa ricerca sull’IA introduce metodi innovativi per adattare i modelli di linguaggio alla progettazione dei chip

La ricerca sull'IA introduce metodi innovativi per adattare i modelli di linguaggio alla progettazione dei chip

ChipNeMo esplora l’utilizzo di LLM per il design di chip industriali, utilizzando tecniche di adattamento di dominio anziché affidarsi a LLM preconfezionati. Queste tecniche prevedono la tokenizzazione personalizzata, il preaddestramento adattato al dominio, il fine-tuning supervisionato con guida specifica del dominio e i modelli di recupero adattati al dominio. Lo studio valuta questi metodi attraverso tre applicazioni LLM nel design dei chip, ottenendo notevoli miglioramenti delle prestazioni rispetto ai modelli a uso generale. Consente una riduzione sostanziale delle dimensioni del modello con prestazioni uguali o migliorate in varie attività di design, evidenziando il potenziale per ulteriori affinamenti negli approcci LLM adattati al dominio.

Lo studio esplora le applicazioni specifiche del dominio di LLM nel design dei chip, sottolineando la presenza di dati proprietari in vari settori. Approfondisce la generazione arricchita da recupero per migliorare le attività di NLP ad alta conoscenza e la generazione di codice, incorporando metodi di recupero sparso e denso. La ricerca precedente nel design dei chip ha sfruttato il fine-tuning di LLM open source su dati specifici del dominio per migliorare le prestazioni nelle attività come la generazione di codice Verilog. C’è anche la richiesta di ulteriori esplorazioni e miglioramenti degli approcci LLM adattati al dominio nel design dei chip.

Gli strumenti di automazione del design elettronico (EDA) hanno migliorato la produttività del design dei chip, ma alcune attività relative al linguaggio che richiedono tempo devono ancora essere completate. LLM può automatizzare la generazione di codice, le risposte ingegneristiche, l’analisi e la triage dei bug nel design dei chip. Ricerche precedenti hanno esplorato le applicazioni di LLM per generare script RTL ed EDA. LLM specifici del dominio dimostrano prestazioni superiori nelle attività specifiche del design dei chip. L’obiettivo è migliorare le prestazioni del LLM riducendo al contempo le dimensioni del modello.

• Monitorare la qualità dei dati per le tue pipeline Big Data è diventato facile
• Come stilizzare i grafici con Matplotlib
• Evitare il sovrapprendimento dei dati nei modelli di apprendimento automatico

I dati di design dei chip sono stati processati attraverso tokenizzatori personalizzati, ottimizzando la loro idoneità per l’analisi. Sono stati eseguiti procedimenti di preaddestramento continuato adattativo al dominio per affinare i modelli di base preaddestrati, allineandoli al dominio del design dei chip. Il fine-tuning supervisionato ha sfruttato insiemi di dati di istruzioni specifiche del dominio e di chat generale per migliorare le prestazioni del modello. I modelli di recupero adattati al dominio, che comprendono sia tecniche di recupero sparso come TF-IDF e BM25, sia metodi di recupero denso utilizzando modelli preaddestrati, sono stati utilizzati per migliorare il recupero delle informazioni e la generazione.

Le tecniche di adattamento al dominio in ChipNeMo hanno prodotto notevoli miglioramenti delle prestazioni in LLM per applicazioni di design di chip, che comprendono attività come chatbot ingegneristici, generazione di script EDA e analisi dei bug. Queste tecniche non solo hanno significativamente ridotto le dimensioni del modello, ma hanno anche mantenuto o migliorato le prestazioni in vari compiti di design. I modelli di recupero adattati al dominio hanno superato i modelli a uso generale, mostrando miglioramenti notevoli: 2 volte migliori dei modelli non supervisionati e un notevole aumento del 30 volte rispetto ai modelli Sentence Transformer. Rigorose valutazioni, che includono query a scelta multipla e valutazioni della generazione di codice, hanno fornito informazioni quantitative sull’accuratezza ed efficacia del modello.

In conclusione, le tecniche adattate al dominio, come la tokenizzazione personalizzata, il preaddestramento adattato al dominio, il fine-tuning supervisionato con istruzioni specifiche del dominio e i modelli di recupero adattati al dominio, hanno segnato un notevole miglioramento delle prestazioni del LLM per applicazioni di design di chip. I modelli ChipNeMo, come ChipNeMo-13B-Chat, hanno mostrato risultati comparabili o superiori ai loro modelli di base, riducendo il divario di prestazioni con modelli più potenti come LLaMA2 70B nelle attività di chatbot assistente ingegneristico, generazione di script EDA e analisi dei bug.