Come progettare un’architettura MLOps in AWS?
Come progettare un'architettura di MLOps su AWS?
Una guida per sviluppatori e architetti, soprattutto per coloro che non sono specializzati in machine learning, per progettare un’architettura MLOps per la propria organizzazione
Introduzione
Secondo le ricerche di Gartner, solo il 53% dei progetti di machine learning (ML) progredisce dalla prova di concetto (POC) alla produzione. Spesso c’è una mancanza di allineamento tra gli obiettivi strategici dell’azienda e i modelli di machine learning creati dagli scienziati dei dati. Potrebbe esserci una mancanza di comunicazione tra DevOps, sicurezza, legale, IT e lo scienziato dei dati che causa difficoltà nel portare il modello in produzione. Infine, il team potrebbe trovare difficile mantenere i modelli in produzione mentre si lanciano nuovi modelli. Ciò ha portato all’aumento di MLOps, che porta i principi del DevOps, come l’integrazione continua e la distribuzione continua (CI/CD), l’automazione e la collaborazione al ciclo di vita del machine learning: sviluppo, distribuzione e monitoraggio.
In questo articolo, approfondirò i seguenti argomenti:
- I vari passaggi nel processo di machine learning
- I diversi componenti di MLOps e spiegherò perché sono necessari, senza approfondire troppo i dettagli che solo gli scienziati dei dati devono conoscere
- Diagrammi architetturali MLOps basati sulla dimensione e la maturità dell’organizzazione
- Suggerimenti generali per iniziare il percorso MLOps
Processo tipico di machine learning
Cominciamo innanzitutto a capire i passaggi coinvolti nel processo di machine learning.
- Ritorno all’Umano Il viaggio dell’AI dal codice ai coccoli
- Tenere traccia della memoria di sessione di Python utilizzando Tracemem
- Sbocchi decisionali l’IA unisce i quadri teorici agli sviluppi tecnologici
Un processo di machine learning ha i seguenti componenti:
- Problema aziendale e dichiarazione del problema di machine learning: Iniziamo il processo identificando il problema aziendale e concordando che il machine learning sia la soluzione giusta per il problema. La soluzione proposta di machine learning dovrebbe produrre un risultato commerciale misurabile.
- Raccolta, integrazione e pulizia dei dati: In questo passaggio, gli scienziati dei dati/gli ingegneri dei dati raccolgono i dati, li integrano con diverse fonti, li puliscono e li trasformano rendendoli pronti per il consumo. Dati…
