Guida di un Data Scientist per creare e utilizzare i file Make

Guida Data Scientist file Make

Come usare Make e Makefiles per ottimizzare la tua pipeline di apprendimento automatico

Foto di Nubelson Fernandes su Unsplash

Background

Ora ci si aspetta che i Data Scientist scrivano codice di produzione per distribuire i loro algoritmi di apprendimento automatico. Pertanto, è necessario essere consapevoli degli standard e dei metodi di ingegneria del software per garantire che i nostri modelli vengano distribuiti in modo robusto ed efficace. Uno strumento molto conosciuto nella community degli sviluppatori è make. Questo è un potente comando Linux che è noto agli sviluppatori da molto tempo e in questo articolo voglio mostrare come può essere utilizzato per creare pipeline di apprendimento automatico efficienti.

Cos’è Make?

make è un comando/eseguibile di terminale proprio come ls o cd che si trova nella maggior parte dei sistemi operativi simili a UNIX come MacOS e Linux.

L’uso di make è quello di semplificare e suddividere il tuo flusso di lavoro in un raggruppamento logico di comandi shell.

È ampiamente utilizzato dagli sviluppatori ed è stato adottato anche dai Data Scientist poiché semplifica la pipeline di apprendimento automatico e consente una distribuzione di produzione più robusta.

Perché Make per la Scienza dei Dati?

make è uno strumento potente che i Data Scientist dovrebbero utilizzare per i seguenti motivi:

  • Automatizzare l’installazione di ambienti di apprendimento automatico
  • Documentazione più chiara dell’intera pipeline
  • Più facile testare modelli con diversi parametri
  • Struttura e esecuzione del progetto ovvi

Cos’è un Makefile?

Un Makefile è fondamentalmente ciò che i comandi make leggono ed eseguono. Ha tre componenti:

  • Obiettivi: Questi sono i file che si sta cercando di creare o si ha un obiettivo PHONY se si stanno solo eseguendo comandi.
  • Dipendenze: File di origine che devono essere eseguiti prima che venga eseguito questo obiettivo.
  • Comando: Come dice il nome, questi sono i passaggi per produrre l’obiettivo.

Esempio Base

Facciamo un semplice esempio per rendere questa teoria concreta.