Applicazione di metodi di apprendimento automatico per la ricerca di difetti ferroviari (Parte 2)

Utilizzo dell'apprendimento automatico per la ricerca di difetti ferroviari (Parte 2)

Per garantire la sicurezza del traffico nel trasporto ferroviario, viene regolarmente effettuata l’ispezione non distruttiva delle rotaie utilizzando approcci e metodi diversi. Uno dei principali approcci per determinare le condizioni operative delle rotaie ferroviarie è il collaudo non distruttivo ad ultrasuoni [1]. Attualmente, la ricerca di immagini di difetti nelle rotaie utilizzando i pattern di difetti ricevuti viene effettuata da un essere umano. Lo sviluppo di algoritmi di successo per la ricerca e la classificazione dei dati permette di proporre l’utilizzo di metodi di apprendimento automatico per identificare i difetti delle rotaie e ridurre il carico di lavoro sull’uomo creando sistemi esperti.

La complessità nella creazione di tali sistemi è descritta in [1, 3-6, 22] e dipende, da un lato, dalla varietà di immagini grafiche ottenute durante l’ispezione ultrasonica multicanale delle rotaie e, dall’altro, dal numero ridotto di copie dei dati con difetti (non bilanciati). Uno dei possibili modi per creare sistemi esperti in questo settore è un approccio basato sulla decomposizione del compito complesso di analizzare l’intera difettogramma multicanale in canali individuali o insiemi di questi, che caratterizzano singoli tipi di difetti.

Uno dei difetti più comuni delle rotaie è una crepa radiale nei fori per bulloni, chiamato nella letteratura “Star Crack” (Fig. 1). Questo tipo di difetto è principalmente rilevato da un canale del rilevatore di difetti con un angolo centrale inclinato di input dell’ultrasuono preferito nell’intervallo 380-450 [1-2]. Nonostante l’introduzione sistematica del binario continuo nella rete ferroviaria, la diagnosi dei fori per bulloni è un compito importante [1-2], che è stato il motivo per la sua identificazione e considerazione in questo lavoro.

Figura 1 – Esempio di crepa radiale in un foro per bullone della rotaia

• Personalizza le tue applicazioni AI generative con Amazon SageMaker Feature Store
• Il metodo di stampa 3D mostra promesse per la riparazione delle lesioni cerebrali
• Eleva le tue competenze di motore di ricerca con il corso di ricerca con ML di Uplimit!

• Obiettivo del lavoro: confrontare l’efficacia di vari modelli di apprendimento automatico nella risoluzione del problema di classificazione dello stato dei fori per bulloni delle rotaie ferroviarie durante il loro esame ad ultrasuoni.

L’obiettivo stabilito viene raggiunto risolvendo i seguenti problemi:

• Generazione e preparazione del set di dati
• Analisi esplorativa dei dati
• Selezione di protocolli e metriche per valutare il funzionamento degli algoritmi
• Selezione e sintesi delle implementazioni di modelli di classificazione
• Valutazione dell’efficacia dei modelli sui dati di test

Generazione e Preparazione del Set di Dati

Quando un rilevatore di difetti dotato di trasduttori piezoelettrici (PZT) viaggia lungo una linea ferroviaria, impulsi ultrasonici vengono emessi nella rotaia entro un periodo specificato. Allo stesso tempo, i PZT registrano le onde riflesse. La rilevazione dei difetti mediante il metodo ultrasonico si basa sul principio delle onde riflesse da inomogeneità metalliche, poiché le crepe, comprese le altre inomogeneità, differiscono dalla restante parte del metallo per la loro resistenza acustica [1-5].

Durante la scansione ultrasonica delle rotaie, gli elementi strutturali e i difetti hanno risposte acustiche, che vengono visualizzate sulla difettogramma sotto forma di immagini grafiche caratteristiche (scansioni). La Figura 2 mostra esempi di difettogrammi sotto forma di B-scan (“Bright-scan”) di sezioni di rotaie con una connessione per bulloni, ottenuti da sistemi di misurazione di diversi tipi con un angolo di input dell’ultrasuono inclinato.

Figura 2 – Esempi di canali di rilevamento dei difetti individuali (B-scan) durante la scansione dei fori per bulloni delle rotaie con rilevatori di difetti di varie aziende

Le scansioni individuali dei fori per bulloni (frames) possono essere separate da tali pattern di difetti, ad esempio, applicando dei criteri di ampiezza (Fig. 3).

Figura 3 – Selezione dei frames con allarmi di fori per bulloni da B-scan

La larghezza W e la lunghezza L di ogni frame sono le stesse (Fig. 3) e sono selezionate in base alle dimensioni massime possibili dei segnali di allarme dei fori per bulloni e dei loro difetti. Ciascun frame (istanza) rappresenta una parte del B-scan e contiene quindi dati sulle coordinate, le misurazioni e le dimensioni di ogni punto, nonché i dati di ciascuno dei due segnali ultrasonici di input sulla rotaia (+/- 400). Nel lavoro [3], tali frame di dati vengono convertiti in una matrice con forma (60, 75), dimensione 60 * 75 = 4500 elementi in scala di grigi, viene costruita e addestrata con successo una rete di classificazione basata su metodi di deep learning. Tuttavia, il lavoro non considera opzioni alternative e meno capienti per i formati dei frame di dati e non mostra le capacità dei metodi di base e dei modelli di apprendimento automatico, quindi questo lavoro è destinato a colmare questa lacuna.

Diverse forme di crepe radiali dei fori per bulloni delle rotaie, le loro posizioni e le proprietà riflettenti della superficie portano a immagini grafiche mutevoli e, insieme allo stato privo di difetti, generano un set di dati con la capacità di distinguere 7 classi. Nella pratica della classificazione binaria, è comune assegnare la classe “1” ai risultati o alle condizioni più rari di interesse e la classe “0” alla condizione comune. In relazione all’identificazione dei difetti, definiremo uno stato privo di difetti comune e spesso riscontrato in pratica – classe “0”, e stati difettosi “1”-“6”. Ogni classe di difetto viene visualizzata sul pattern di difetti come un’immagine caratteristica visibile agli esperti durante la decodifica dei dati (Fig. 4). Sebbene la presenza o l’assenza di un difetto (classificazione binaria) sia cruciale durante il funzionamento della linea ferroviaria, considereremo le possibilità degli algoritmi di classificazione e quantificheremo quali tipi di difetti o difetti potrebbero essere erroneamente classificati come privi di difetti, il che rappresenta un caso pericoloso nella diagnosi delle rotaie. Pertanto, il problema di classificazione viene ridotto in questo lavoro a una classificazione multiclasse inequivocabilmente.

Figura 4 – Esempi di frame B-scan (60, 75) con immagini caratteristiche di fori per bulloni con diverse crepe radiali assegnate a una delle 7 classi

Ogni istanza di una classe può essere rappresentata come una struttura di base – dati rettangolari. Per equalizzare la dimensione delle istanze, impostare la lunghezza del formato tabella a k = 60 registri (30% in più rispetto al massimo possibile), riempire le celle vuote con valori zero (Fig. 5a). Quindi l’istanza originale può essere nella forma (6, 60) o essere ridotta nella forma di un array piatto e descritta in uno spazio dimensionale di 6*60=360 (Fig. 5c), e sul grafico B-scan apparirà come nella Fig. 5b.

Figura 5 – Rappresentazione di un’istanza di dati rettangolari

Selezione di un Protocollo di Valutazione

Raccogliere ed annotare dati da test ultrasonici di rotaie è associato a significative difficoltà, che sono descritte in [3], quindi utilizzeremo un set di dati sintetizzati ottenuti tramite modellazione matematica. L’essenza di questo approccio è riflessa nella Fig. 6, e la sua applicabilità è mostrata in [3]. Il termine “dati sintetizzati” è ampiamente discusso quando si creano oggetti visuali reali, ad esempio, sul blog nVIDEA [23]. Questo lavoro estende l’applicazione di dati sintetizzati nel campo dei test non distruttivi.

Figura 6 – Applicazione di un modello di apprendimento automatico

Un numero sufficientemente grande di istanze di dati ottenuti sulla base di modellazione matematica ci permette di evitare il problema di una classe rara e scegliere un protocollo per valutare modelli nella forma di set bilanciati separati: set di addestramento, set di verifica e set di test. Limiteremo i set di dati: dati di addestramento = 50.000, dati di test = 50.000, e dati di validazione = 10.000 istanze.

Scelta di una Misura di Successo

L’assenza di una differenza nelle dimensioni relative delle classi (bilanciamento delle classi) ci permette di scegliere l’indicatore di accuratezza come misura di successo durante l’allenamento degli algoritmi, come un valore uguale al rapporto tra il numero di istanze correttamente classificate e il loro numero totale. Una singola metrica non può valutare tutti gli aspetti dell’applicabilità del modello per una situazione, quindi durante il test del modello viene utilizzata una matrice di confusione, precisione e misure di completezza per ogni classificatore di classe.

Analisi Esplorativa dei Dati

Le informazioni sul bilanciamento delle classi nel set di addestramento, test e validazione sono presentate nella Fig. 7.

Figura 7 – Riepilogo della Quantità di Dati

La rappresentazione della distribuzione dei valori normalizzati delle profondità degli allarmi e delle coordinate per il canale di misura positivo Ch + 400 e le classi 0, 2, 3 e 6 è mostrata nella Fig. 8. Le distribuzioni per Ch-400 e i canali 0, 1, 4 e 5 hanno un pattern simmetrico.

Figura 8 – Distribuzione dei valori normalizzati delle coordinate e delle profondità dei dati del canale di misura Ch+400 per le classi 0, 2, 3, 6

Il metodo dell’Analisi delle Componenti Principali (PCA) è stato utilizzato come Analisi Esplorativa dei Dati e determinazione della ridondanza dei dati, la rappresentazione bidimensionale della quale può essere rappresentata nella forma della Fig. 9. La classe centrale è la classe 0, da cui le classi 2, 3, 6 e 1, 4, 5 sono posizionate su lati opposti, il che corrisponde alla loro visualizzazione grafica su B-scan.

 

Figura 9 – Visualizzazione della rappresentazione bidimensionale del metodo PCA

In generale, la rappresentazione bidimensionale delle classi ha cluster deboli, il che indica la necessità di utilizzare una dimensione superiore dei dati per classificarli nel limite alla dimensione piatta originale 6 * 60 = 360. Il grafico della varianza spiegabile integrale in funzione del numero di componenti del metodo PCA (Figura 10a) mostra che con 80 componenti, il 98% della varianza è già spiegata, il che indica un alto livello di ridondanza nei dati originali. Questo può essere spiegato dalla sparutezza dei dati, che mostra l’indipendenza delle 80 componenti ottenute dal metodo PCA dai valori zero (Fig. 10b).

Figura 10 – PCA: a) varianza spiegabile integrale in funzione del numero di componenti del metodo PCA, b) contributi di variabili predittive di un array di dati piatti nelle proiezioni sugli assi PCA

Consideriamo la valutazione dell’occupazione delle istanze di dati con valori non zero per ogni classe (Fig. 11).

Fig. 11 – Valutazione dell’occupazione con valori non nulli delle istanze di classe

Nota:

1. Similarità degli intervalli e dei quartili delle classi
2. La classe 0 ha la mediana più bassa in quanto la condizione senza difetti del foro del bullone è priva di allarmi di crepe aggiuntive.
3. Le classi 5 e 6 hanno i valori della mediana più alti, indicando un alto riempimento dei dati dovuto alla presenza di allarmi dalla crepa radiale inferiore e superiore del foro del bullone.
4. Le classi 1-4 hanno valori della mediana simili, indicando che sono riempite di dati a causa della presenza di allarmi solo dalla crepa radiale superiore o inferiore del foro del bullone.
5. Le classi 1 e 2, 3 e 4, 5 e 6, rispettivamente, hanno mediane e distribuzioni simili, a causa della simmetria dei dati rispetto al centro del foro del bullone.
6. Il livello di 80 componenti del metodo PCA è inferiore alla mediana per le classi 1-6, ma è sufficiente per descrivere il 98% delle varianze, il che potrebbe indicare una ridondanza causata non solo dai valori zero nei dati. Una possibile spiegazione potrebbe essere il fatto che i valori di ampiezza degli allarmi non cambiano molto in ogni classe e hanno un effetto debole sulla varianza. Questo fatto è confermato dalla pratica della ricerca dei difetti, in cui i rilevatori di difetti non utilizzano spesso il parametro di ampiezza.

Per valutare la complessità del prossimo compito di Analisi dei Dati Esplorativa, è stata studiata la struttura multidimensionale dei dati di input utilizzando le tecniche di apprendimento di Manifold (Manifold learning):

• Proiezione casuale
• Isometric Mapping (Isomap)
• Standard Locally linear embedding (LLE)
• Modified Locally linear embedding (LLE)
• Local Tangent Space Alignment embedding (LTSA)
• Scalamento multidimensionale (MDS)
• Proiezione spettrale
• t-distributed Stochastic Neighbor Embedding (t-SNE)

Inoltre, tecniche che possono essere utilizzate per la riduzione controllata della dimensionalità e consentire la proiezione dei dati in una dimensione inferiore:

• Proiezione SVD troncata
• Proiezione su Alberi Casuali
• Analisi dei Componenti di Vicinanza (NCA)
• Analisi del Discriminante Lineare (LDA)

I risultati degli algoritmi per la proiezione dei dati da 3.000 campioni della forma originale (6, 60) in uno spazio bidimensionale sono presentati nella Fig. 12.

Figura 12 – Proiezione dei dati in uno spazio bidimensionale utilizzando varie tecniche (il colore dei punti rappresenta la classe)

Per i metodi di Manifold learning, i dati nei grafici sono scarsamente distribuiti nello spazio parametrico, il che caratterizza la complessità prevedibile della classificazione dei dati mediante semplici algoritmi supervisionati.

Si noti anche che il metodo di riduzione controllata della dimensionalità Linear Discriminant Analysis mostra una buona raggruppamento dei dati e può essere considerato come un modello di classificazione candidato.

Sviluppo dei Modelli di Classificazione dei Dati

Modello Base

La precisione di previsione di ciascuna classe su sette possibili con un classificatore casuale è 1 / 7 = 0.143 ed è il punto di partenza per valutare la potenza statistica (qualità) dei futuri modelli.

Come modello di base, sceglieremo il Naive Bayes Gaussiano, che viene spesso utilizzato in casi simili. Un frammento di codice per adattare un modello ai dati di addestramento e la sua previsione sui dati di test:

La matrice delle differenze risultante e il rapporto di sintesi sulla qualità del modello sono presentati nella Fig. 13 a e b. Il modello addestrato ha una potenza statistica, poiché ha una precisione complessiva del 0.5819, che è 4 volte superiore alla precisione di un classificatore casuale. Nonostante la precisione piuttosto bassa del modello, considereremo la relazione specifica tra gli indicatori qualitativi del suo funzionamento e la rappresentazione grafica dei dati proiettati utilizzando il metodo Linear Discriminant Analysis (Fig. 13c).

Figura 13 – Valutazioni sintetiche sulla qualità del modello Bayesiano ingenuo gaussiano: a) matrice di dissimilarità che mostra i tassi di errata classificazione del modello; b) un rapporto sugli indicatori qualitativi delle prestazioni del modello sotto forma di varie metriche di precisione; c) proiezione dei dati in uno spazio bidimensionale utilizzando il metodo Linear Discriminant Analysis

I dati proiettati della classe 6 sono i più distanti dalla maggior parte dei punti delle altre classi (Fig. 13c), ciò si riflette nell’elevata precisione del suo classificatore pari a 0.9888, tuttavia, la vicinanza della rappresentazione della classe 3 ha ridotto il richiamo del classificatore 6 a 0.5688 a causa di previsioni negative false, che sono espresse dal tasso di errore pari a 2164 nella matrice di dissimilarità.

La proiezione della classe 5 viene anche rimossa, che si riflette nell’elevata precisione del suo classificatore pari a 0.9916. Tuttavia, presenta intersezioni con le classi 1 e 4, che hanno influenzato la completezza del classificatore pari a 0.4163, a causa di previsioni errate con frequenze di 2726 e 1268 per i classificatori 1 e 4, rispettivamente.

La proiezione della classe 1 ha intersezioni con le classi 5, 4 e 0, mentre, di conseguenza, il classificatore 1 presenta falsi positivi con una frequenza di 2726 per la classe 5 e falsi negativi con frequenze di 2035 e 3550 a favore dei classificatori 0 e 4.

Sono osservate relazioni simili per le altre classi. Una delle più interessanti è il comportamento del classificatore 0. La classe 0 priva di difetti si trova nel mezzo delle proiezioni, il che corrisponde alla sua immagine grafica, che è più vicina alle classi 1, 2, 3 e 4 e più distinguibile rispetto alle classi 5 e 6 (Fig. 4). Il classificatore 0 riconosce bene la sua classe di dati, il che determina il punteggio di richiamo più alto pari a 0.9928, ma presenta numerosi falsi positivi nelle classi 1, 2, 3, 4 con una precisione del 0.4224, vale a dire che le classi con difetti vengono spesso classificate come classe priva di difetti (classe 0), rendendo il modello Gaussian Naive Bayes completamente inadatto per scopi di rilevamento dei difetti. Il classificatore Gaussian Naive Bayes risultante è abbastanza semplice da descrivere la struttura complessa dei dati.

Modello di classificazione dell’Analisi Lineare Discriminante (LDA)

L’analisi preliminare basata sulla riduzione della dimensionalità dei dati ha mostrato un buon raggruppamento delle classi all’interno del metodo di Analisi Lineare Discriminante (Fig. 12), il che ha motivato il suo utilizzo come uno dei modelli successivi:

I risultati dell’addestramento e delle previsioni sono presentati nella Fig. 14. L’accuratezza complessiva del modello è stata del 0.9162, che è 1,57 volte migliore rispetto all’accuratezza del modello di base. Tuttavia, il classificatore 0 ha un grande numero di falsi positivi per le classi 2 e 4 e la sua precisione è solo del 0.8027, che è anche un indicatore non soddisfacente per i fini della sua applicazione pratica.

Figura 14 – Valutazioni sintetiche della qualità del lavoro del classificatore dell’Analisi Lineare Discriminante (LDA)

L’ipotesi sulla possibile mancanza di un set di dati di addestramento per aumentare l’accuratezza del modello LDA non è confermata, poiché la “curva di apprendimento” costruita presentata nella Fig. 15 mostra un’alta convergenza delle dipendenze accuratezza tra addestramento e test al livello del 0.92 con una dimensione del set di addestramento di 5000-6000 elementi:

Figura 15: Alta convergenza delle dipendenze accuratezza tra addestramento e test al livello del 0.92 con una dimensione del set di addestramento di 5000-6000 elementi

Nel tentativo di creare un tale sistema di classificazione, i produttori di apparecchiature per il rilevamento dei difetti si scontrano con la difficoltà di valutare la dipendenza dell’accuratezza predittiva del sistema dal numero di elementi nel set di dati che devono essere ottenuti nel processo di diagnostica delle rotaie. La curva di apprendimento risultante basata sui dati del modello permette in questo caso di stimare questo numero nell’intervallo di 5.000-6.000 copie per raggiungere un’accuratezza del 0.92 all’interno dell’algoritmo LDA.

La dipendenza decrescente della curva di apprendimento dai dati di addestramento (colore blu nella Fig. 15) del classificatore LDA mostra che è abbastanza semplice per una struttura dati complessa e che c’è la necessità giustificata di trovare un modello più complesso per migliorare l’accuratezza delle previsioni.

Reti Dense

Una delle opzioni per aumentare l’accuratezza delle previsioni è l’utilizzo di reti completamente collegate. L’opzione di una struttura del genere con i parametri ottimali trovati utilizzando il tool Keras_tuner mostrato nella Figura 16a, ha aumentato l’accuratezza del modello rispetto al metodo precedente fino a 0.974 (Figura 16b), e la precisione del classificatore della classe 0 è pari a 0.912.

Figura 16 – Struttura del modello e indicatori di accuratezza

Il progressivo movimento al fine di aumentare l’accuratezza delle previsioni grazie all’utilizzo di algoritmi di machine learning più complessi (computazionalmente costosi) mostra la giustificazione delle azioni per creare modelli sempre più complessi.

Support Vector Machine (SVM)

L’utilizzo di un algoritmo di support vector machine con un nucleo come funzione di base radiale e l’ottimizzazione dei parametri ipermodelli tramite la classe GridSearchCV dalla libreria di machine learning scikitlearn ha permesso di ottenere un modello con parametri di qualità migliorati (Fig. 17).

Fig. 17 – Riepilogo delle stime delle prestazioni del Classificatore basato sul Metodo Support Vector Machine (SVM)

L’uso del metodo SVM ha aumentato sia l’accuratezza complessiva della previsione a 0.9793 sia la precisione del classificatore nullo a 0.9447. Tuttavia, il tempo medio di esecuzione dell’algoritmo su un set di dati di test di 50.000 istanze con dimensione iniziale di ciascuna di 360 era di 9.2 secondi ed è il massimo per i classificatori considerati. La riduzione del tempo di funzionamento del modello attraverso l’uso di pipeline sotto forma di tecniche per ridurre la dimensionalità dei dati sorgente e l’algoritmo SVM non ha permesso di mantenere l’accuratezza raggiunta.

Classificatore Random Forest

Il classificatore RandomForestClassifier basato su un insieme di alberi casuali implementato nel pacchetto scikitlearn è uno dei candidati per aumentare l’accuratezza della classificazione dei dati presi in considerazione:

Le stime delle prestazioni dell’algoritmo Random Forest di 50 alberi sul set di test sono mostrate nella Fig. 18. L’algoritmo ha permesso di aumentare sia l’accuratezza complessiva delle previsioni a 0.9991 che un importante indicatore come la precisione del classificatore nullo a 0.9968. Il classificatore della classe zero commette più errori nelle classi 1-4 che sono simili nella rappresentazione grafica. La precisione dei classificatori delle classi 1-4 è alta e viene ridotta a causa degli errori a favore delle classi 5 e 6, il che non è critico nell’identificazione delle imperfezioni.

Il tempo medio di esecuzione dell’algoritmo per la previsione del set di dati di test su CPU è stato di 0.7 secondi, che è 13 volte inferiore al tempo di esecuzione di SVM con un aumento dell’accuratezza dello 0.02%.

Fig. 18 – Valutazioni riassuntive della qualità del classificatore basato sui alberi casuali

La curva di apprendimento del classificatore RandomForestClassifier presentata nella Fig. 19 mostra un alto livello di ottimalità del modello costruito:

• Con l’aumentare dei dati di addestramento, l’efficienza del modello non diminuisce, il che indica l’assenza dell’effetto di sottallenamento.
• L’valutazione dell’efficienza nella fase di addestramento e di test converge e ha valori elevati con una differenza di non più di 0.028, il che può indicare che il modello non è sovraaddestrato.

Fig. 19 – Curva di apprendimento del RandomForestClassifier

La curva di apprendimento ottenuta ci permette di stimare il numero minimo richiesto di campioni di ciascuna classe per raggiungere un’accuratezza accettabile al livello dello 0.98: 1550 copie dei dati, ovvero 220 campioni per ciascuna delle 7 classi.

L’alta accuratezza e velocità dell’algoritmo Random Forest ti consentono di valutare l’entità dell’influenza (importanza) di tutte le 360 variabili predictive sull’accuratezza complessiva del modello. La valutazione è stata effettuata ottenendo la diminuzione media dell’accuratezza del modello mescolando casualmente una delle variabili, il che ha avuto l’effetto di eliminare il suo potere predittivo. La Fig. 20 mostra il risultato di un frammento di codice per valutare l’importanza delle variabili sull’accuratezza del modello:

Figura 20 – Valutazione dell’importanza delle variabili predictive sull’accuratezza del modello basato su RandomForestClassifier

Il grafico nella Fig. 20 mostra che le variabili predictive più importanti vanno da 60 a 85 per il canale +40 e da 240 a 265 per il canale -40, che determinano la profondità dell’allarme. La presenza di picchi all’inizio e alla fine di ciascun intervallo indica un’importanza predittiva ancora maggiore delle profondità dell’inizio e della fine degli allarmi. Il numero totale di variabili importanti può essere stimato a 50.

L’importanza delle variabili che determinano le coordinate e l’ampiezza dell’allarme in ogni istanza dei dati è molto più bassa. Questa valutazione è coerente con le ipotesi fatte durante l’analisi esplorativa. L’addestramento RandomForestClassifier sull’intero set di dati di addestramento senza le ampiezze ha mostrato un’accuratezza complessiva dello 0.9990, senza ampiezze e coordinate – 0.9993. L’esclusione dalla considerazione di parametri come ampiezza e coordinate per ciascuna istanza dei dati riduce la dimensione dei dati presi in considerazione a (2, 60) = 120 variabili predictive senza ridurre l’accuratezza. Il risultato ottenuto ci consente di utilizzare solo il parametro di profondità dell’allarme per la classificazione dei dati.

L’accuratezza raggiunta da RandomForestClassifier è sufficiente e risolve il problema della classificazione delle imperfezioni negli orifizi dei bulloni. Tuttavia, per scopi di generalizzazione delle capacità, consideriamo una classe di modelli di apprendimento profondo basati su una rete neurale convoluzionale.

Modello di Apprendimento Profondo (DL)

La sintesi e l’addestramento di una rete convoluzionale richiedono un processo iterativo con la ricerca delle migliori strutture e l’ottimizzazione dei loro iperparametri. Fig. 21 mostra la versione finale di una semplice struttura di rete sotto forma di una pila lineare di livelli e il processo di addestramento.

Figura 21 – Struttura del modello e relativo processo di addestramento

I risultati dell’addestramento e della previsione della rete neurale convoluzionale sono presentati nella Fig. 21. L’accuratezza complessiva del modello sui dati di test è stata dello 0,9985, che è 1,71 volte migliore dell’accuratezza del modello di base. Il numero di falsi positivi del classificatore 0 è 2+24+6+2=34 su un totale di 42893 istanze difettose (Fig. 22a). Il tempo medio per la previsione dei dati di test sulla CPU è stato di 4,55 s.

Figura 22 – Valutazioni riassuntive sulla qualità del lavoro di una rete addestrata basata su CNN sui dati di test

Uno dei compiti importanti del classificatore risultante nel suo utilizzo pratico sarà la determinazione accurata della classe senza difetti (classe 0), che eliminerà la classificazione erronea di campioni difettosi come non difettosi. È possibile ridurre il numero di falsi positivi per la classe senza difetti modificando la soglia di probabilità. Per stimare il livello di soglia di interruzione applicabile, è stata effettuata una binarizzazione del problema multicategoria con la selezione di uno stato senza difetti e tutti gli stati difettosi, che corrisponde alla strategia “Uno contro tutti”. Per default, il valore di soglia per la classificazione binaria è impostato allo 0,5 (50%). Con questo approccio, il classificatore binario ha gli indicatori di qualità mostrati nella Fig. 23.

Fig. 23 – Indicatori qualitativi di un classificatore binario con una soglia di interruzione dello 0,5

La precisione ottenuta per la classe “Nessun difetto” è stata dello 0,9952, la stessa del classificatore multicategoria per la classe “0”. L’uso della funzione sklearn.metrics.precision_recall_curve consente di riflettere le variazioni nella precisione e completezza di un classificatore binario in base a una soglia di interruzione variabile (Fig. 24a). Con una soglia di interruzione dello 0,5, il valore dei falsi positivi è di 34 campioni (Fig. 24b). Il livello massimo di precisione e completezza del classificatore è raggiunto nel punto di intersezione dei loro grafici, che corrisponde a una soglia di interruzione dello 0,66. In questo punto, il classificatore riduce il numero di falsi positivi per la classe “Nessun difetto” a 27 (Fig. 24b). Aumentando la soglia al livello dello 0,94, è possibile ridurre i falsi positivi a un valore di 8, a scapito di un aumento dei falsi negativi a 155 campioni (Fig. 24b) (riduzione della completezza del classificatore). Un ulteriore aumento della soglia di interruzione riduce significativamente la completezza del classificatore a un livello inaccettabile (Fig. 24a).

Figura 24 – Effetto della soglia di interruzione: a) grafico delle variazioni di precisione e completezza in base al valore di soglia di interruzione (curva precisione-recall); b) matrici di dissimilarità a diverse soglie di interruzione

Con una soglia di interruzione impostata allo 0,94, le valutazioni qualitative del classificatore sono mostrate nella Fig. 25. La precisione per la classe “Nessun difetto” è aumentata a 0,9989.

Figura 25 – Indicatori qualitativi di un classificatore binario con una soglia di interruzione di 0,94

Sono mostrati otto campioni dati classificati erroneamente come falsi positivi con evidenziate le caratteristiche grafiche dei difetti nella Fig. 26.

Figura 26 – Otto campioni classificati erroneamente come falsi positivi

Delle immagini grafiche sopra riportate, quelle contraddittorie sono i campioni contrassegnati come “controversi”, che indicano la presenza di una crepa radiale molto breve, di difficile classificazione come difetto. I restanti 6 campioni sono errori del classificatore. Notare l’indicatore qualitativo sotto forma dell’assenza di erronea classificazione dei campioni con difetti sotto forma di crepe radiali significative in lunghezza. Tali campioni sono classificati più facilmente durante l’analisi manuale da parte dei rivelatori di difetti.

Un ulteriore aumento della precisione del modello è possibile attraverso l’uso di insiemi di modelli risultanti: DL e RandomForestClassifier. I modelli considerati possono essere aggiunti all’insieme, ma ottenuti con un diverso formato di input dati, inclusi i formati Bscan diretti, come mostrato in [3].

Conclusioni e Discussione

Le principali indicatori qualitativi dei modelli sviluppati per la classificazione dei difetti nei fori delle viti sono riassunti nel diagramma in Fig. 27. La progressiva e ragionevole complicazione dei modelli di classificazione è riflessa nel diagramma sotto forma di aumento sia dell’accuratezza complessiva dei modelli (colore blu) che di un importante indicatore sotto forma della precisione per la classe 0 (colore arancione). Le massime percentuali di accuratezza superiori allo 0,99 sono state raggiunte dai modelli basati su random forest e reti neurali convoluzionali. Allo stesso tempo, il modello random forest ha il vantaggio di richiedere meno tempo per la previsione.

Fig. 27 – Indicatori di qualità evidenziati dei modelli di classificazione considerati

In Questo Lavoro

1. Viene mostrata la possibilità di cercare difetti su un detector di difetti ad ultrasuoni, decomponendolo in canali separati con dati e assegnando siti diagnostici individuali.
2. Viene valutata l’influenza delle variabili predictive sotto forma di ampiezza e coordinate sulla qualità della classificazione.
3. Viene stimata la quantità di dati necessaria per costruire un modello di classificazione dei difetti nei fori delle viti con un’accuratezza del 98%, che può servire come guida per i produttori di attrezzature di rilevamento difetti nella creazione di sistemi esperti automatici.
4. Viene mostrata la possibilità di raggiungere elevate percentuali di accuratezza per la classificazione degli stati dei fori delle viti ferroviarie basata su algoritmi di apprendimento classici.
5. Vengono ottenute valutazioni qualitative del funzionamento del modello di apprendimento profondo e mostrano la possibilità e la fattibilità di utilizzare un’architettura di rete neurale convoluzionale per la sintesi di reti di segmentazione per la ricerca di difetti nei pattern di difetti continui (B-scan).

Riferimenti

• [1] Markov AA, Kuznetsova EA. Rilevamento difetti ferroviari. Formazione e analisi di segnali. Libro 2. Decodifica dei difettogrammi. San Pietroburgo: Ultra Print; 2014.
• [2] Markov AA, Mosyagin VV, Shilov MN, Fedorenko DV. AVICON-11: Nuovo detector di difetti per l’ispezione al 100% delle rotaie. Revisione mondiale NDT. 2006; 2(32): 75-78. Disponibile su: http://www.radioavionica.ru/activities/sistemy-nerazrushayushchego-kontrolya/articles/files/razrab/33.zip [Accessed 14 marzo 2023].
• [3] Kaliuzhnyi A. Applicazione dei dati del modello per addestrare il classificatore dei difetti nei fori delle viti ferroviarie nella diagnostica ad ultrasuoni. Evoluzione dell’intelligenza artificiale [Internet]. 14 aprile 2023 [citato il 28 luglio 2023];4(1):55-69. DOI: https://doi.org/10.37256/aie.4120232339
• [4] Kuzmin EV, Gorbunov OE, Plotnikov PO, Tyukin VA, Bashkin VA. Applicazione delle reti neurali per il riconoscimento degli elementi strutturali delle rotaie in difettogrammi magnetici ed a correnti parassite. Modellizzazione e Analisi di Sistemi Informativi. 2018; 25(6): 667-679. Disponibile su: doi:10.18255/1818-1015-2018-6-667-679
• [5] Bettayeb F, Benbartaoui H, Raouraou B. L’affidabilità della caratterizzazione ad ultrasuoni delle saldature tramite la rete neurale artificiale. 17a Conferenza Mondiale sul Testing Non Distruttivo; 2008; Shanghai, Cina. [Accessed 14 marzo 2023]
• [6] Young-Jin C, Wooram C, Oral B. Rilevamento dei danni da cricca basato sull’apprendimento profondo utilizzando le reti neurali convoluzionali. Ingegneria Civile e Infrastrutture Assistita dal Computer. 2017; 32(5): 361-378. Disponibile su: doi: 10.1111/mice.12263
• [7] Heckel T, Kreutzbruck M, Rühe S, Test ferroviario non distruttivo ad alta velocità con tecniche avanzate di ultrasuoni ed eddy-current. 5° Workshop Internazionale di esperti di NDT – NDT in progress 2009 (Atti). 2009; 5: 101-109. [Accessed 14 marzo 2023].
• [8] Papaelias M, Kerkyras S, Papaelias F, Graham K. Il futuro della tecnologia di ispezione ferroviaria e il progetto INTERAIL FP7. 51° Conferenza Annuale dell’Istituto Britannico di Testing Non Distruttivo 2012, NDT 2012. 2012 [Accessed 14 marzo 2023].
• [9] Rizzo P, Coccia S, Bartoli I, Fateh M. Ispezione ad ultrasuoni senza contatto delle rotaie e elaborazione del segnale per la rilevazione automatica e la classificazione dei difetti. Insight. 2005; 47(6): 346-353. Disponibile su: doi: 10.1784/insi.47.6.346.66449
• [10] Nakhaee MC, Hiemstra D, Stoelinga M, van Noort M. Le recenti applicazioni dell’apprendimento automatico nella manutenzione delle vie ferroviarie: un’indagine. In: Collart-Dutilleul S, Lecomte T, Romanovsky A. (eds.) Affidabilità, Sicurezza e Sicurezza dei Sistemi Ferroviari. Modellazione, Analisi, Verifica e Certificazione. RSSRail 2019. Lecture Notes in Computer Science(), vol 11495. Springer, Cham; 2019.pp.91-105. Disponibile su: doi: 10.1007/978-3-030-18744-6_6.
• [11] Jiaxing Y, Shunya I, Nobuyuki T. Ispezione dell’imaging ultrasonico computerizzato: dal shallow learning al deep learning. Sensori. 2018; 18(11): 3820. Disponibile su: doi:10.3390/s18113820
• [12] Jiaxing Y, Nobuyuki T. Confronto dei modelli di apprendimento profondo per l’ispezione dell’immagine ultrasonica automatica. IEEE Access. 2021; 9: pp 36986-36994. Disponibile su: doi:10.1109/ACCESS.2021.3062860
• [13] Cantero-Chinchilla S, Wilcox PD, Croxford AJ. Apprendimento profondo nei test ultrasonici automatizzati – sviluppi, assiomi e opportunità. Stampa arXiv:2112.06650. 2021. Disponibile su: doi: 10.48550/arXiv.2112.06650
• [14] Cantero-Chinchilla S,