Incontra LogAI una libreria open-source progettata per l’analisi e l’intelligenza dei log

Incontra LogAI, una libreria open-source per l'analisi e l'intelligenza dei log.

LogAI è una libreria gratuita per l’analisi e l’intelligenza dei log che supporta varie attività di analisi e intelligenza dei log. È compatibile con più formati di log ed ha un’interfaccia utente grafica interattiva. LogAI fornisce un’interfaccia di modello unificato per modelli statistici, di serie temporali e di deep-learning popolari, rendendo facile la valutazione degli algoritmi di deep-learning per la rilevazione delle anomalie nei log.

I log generati dai sistemi informatici contengono informazioni essenziali che aiutano gli sviluppatori a comprendere il comportamento del sistema e a identificare problemi. Tradizionalmente, l’analisi dei log veniva effettuata manualmente, ma l’analisi dei log basata sull’IA automatizza compiti come il parsing dei log, la sintesi, il clustering e la rilevazione delle anomalie, rendendo il processo più efficiente. I diversi ruoli nell’ambito accademico e industriale hanno requisiti diversi per l’analisi dei log. Ad esempio, i ricercatori di machine learning devono confrontare rapidamente gli esperimenti con set di dati di log pubblici e riprodurre i risultati di altri gruppi di ricerca per sviluppare nuovi algoritmi di analisi dei log. I data scientist industriali devono eseguire algoritmi di analisi dei log esistenti sui loro dati di log e selezionare la migliore combinazione di algoritmo e configurazione come soluzione di analisi dei log. Purtroppo, nessuna libreria open source esistente può soddisfare tutti questi requisiti. Pertanto, LogAI è stato introdotto per affrontare queste esigenze e condurre un’analisi dei log migliore per vari casi d’uso accademici e industriali.

L’assenza di un’analisi completa dei log basata sull’IA nelle piattaforme di gestione dei log crea sfide per l’analisi unificata a causa della necessità di un modello di dati di log unificato, ridondanza nella preelaborazione e un meccanismo di gestione del flusso di lavoro. La riproduzione dei risultati sperimentali è difficile, richiedendo strumenti di analisi personalizzati per diversi formati di log e schemi. Gli algoritmi di analisi dei log diversi sono implementati in pipeline separate, aggiungendo complessità alla gestione degli esperimenti e al benchmarking.

• L’ESRB vuole iniziare a utilizzare la tecnologia di scansione facciale per verificare l’età delle persone
• Un certo pericolo si nasconde lì’ Come l’inventore del primo chatbot si è rivoltato contro l’IA
• 10 Domande Comuni che gli Analisti dei Dati Probabilmente Incontreranno – e Come Rispondere Ad esse

LogAI comprende due componenti principali, ovvero la libreria principale di LogAI e l’interfaccia utente grafica di LogAI. Il modulo di interfaccia utente grafica di LogAI consente agli utenti di connettersi alle applicazioni di analisi dei log nella libreria principale e visualizzare interattivamente i risultati dell’analisi attraverso un’interfaccia utente grafica. D’altra parte, la libreria principale di LogAI comprende quattro livelli distinti:

Il livello dei dati in LogAI è composto da data loader e un modello di dati di log unificato definito da OpenTelemetry. Offre anche vari data loader per convertire i dati di log grezzi in oggetti di log in un formato standardizzato.

Il livello di preelaborazione di LogAI pulisce e suddivide i log utilizzando preprocessori e partitioner. I preprocessori estraggono entità e separano i record in loglines non strutturate e attributi di log strutturati, mentre i partitioner raggruppano i log in eventi per i modelli di machine learning. Preprocessori e partitioner personalizzati sono disponibili per specifici set di dati di log aperti e possono essere estesi per supportare altri formati di log.

Il livello di estrazione delle informazioni di LogAI converte i record di log in vettori per il machine learning. Ha quattro componenti: parser di log, vettorizzatore di log, encoder categorico ed estrattore di caratteristiche.

Il livello di analisi contiene moduli per svolgere compiti di analisi, con un’interfaccia unificata per più algoritmi.

LogAI utilizza modelli di deep learning come CNN, LSTM e Transformer per la rilevazione delle anomalie nei log e può confrontarli con set di dati di log popolari. I risultati mostrano che ha prestazioni uguali o migliori di deep-loglizer, con un modello LSTM bidirezionale supervisionato che fornisce le migliori prestazioni.