Scienza, Passione e il Futuro dell’ottimizzazione multi-obiettivo

Bellezza, Passione e il Futuro dell'Ottimizzazione Multi-Obiettivo

Un’intervista approfondita con il Professor Coello Coello

Il Professor Carlos Artemio Coello Coello è un pioniere nel campo dell’ottimizzazione multi-obiettivo attraverso metaeuristici ispirati alla biologia. Ha completato il dottorato in informatica presso l’Università di Tulane nel 1996 ed è professore ordinario presso il dipartimento di informatica del CINVESTAV-IPN a Città del Messico. Rinomato per i suoi contributi innovativi, vanta oltre 68.000 citazioni e un indice H di 102, secondo Google Scholar. È stato anche tra i primi 300 scienziati informatici più citati nella classifica globale di Shanghai del 2016 sviluppata da OSPHERE. Nel corso della sua carriera… Leggi questo articolo per scoprire come il professor Coello Coello vede il ruolo dell’ottimizzazione multi-obiettivo in mezzo alle numerose innovazioni nei modelli basati su Transformer, il tratto più importante per gli scienziati e cosa dovrebbe fare diversamente il dominio dell’ottimizzazione multi-obiettivo.

Vorrei approfondire il tuo percorso personale. Nel 1996, presso l’Università di Tulane, hai dovuto individuare un tema di ricerca adatto per il tuo dottorato. Puoi raccontarmi brevemente la storia che ti ha portato a lavorare sull’ottimizzazione multi-obiettivo evolutiva?

È una storia lunga, quindi cercherò di essere breve. Quando sono arrivato a Tulane per il mio master e poi il dottorato in informatica, non sapevo su quale argomento volevo lavorare. Sapevo che non volevo fare ingegneria del software né basi di dati. Inizialmente, ho provato con linguaggi di programmazione e poi con la robotica. Nessuna delle due ha funzionato. Un giorno per caso, ho letto un articolo che utilizzava algoritmi genetici per risolvere un problema di ottimizzazione strutturale. Ho deciso di dedicare un compito del corso a questo articolo, ho sviluppato il mio proprio algoritmo genetico e ho scritto un software per l’analisi. Questo mi ha entusiasmato molto, perché potevo finalmente vedere come un algoritmo genetico fosse in grado di produrre buone soluzioni per un problema di ottimizzazione complesso con relativa facilità. Questo entusiasmo per gli algoritmi evolutivi mi è rimasto per tutta la vita.

Tuttavia, sebbene due professori di Tulane lavorassero con gli algoritmi evolutivi, ho deciso di scegliere un professore di robotica. Non sapeva molto sull’informatica evolutiva, né io, ma abbiamo deciso di poter lavorare insieme. Pertanto, non poteva aiutarmi a trovare un tema adatto. Il professor Bill Buckles, che lavorava con gli algoritmi evolutivi, mi ha consigliato di lavorare sull’ottimizzazione multi-obiettivo, poiché poche persone stavano utilizzando algoritmi in quel campo. Dopo aver cercato articoli correlati, ho trovato il mio tema di dottorato. Serendipità, tutto è andato avanti senza pianificazione. Credo che molte grandi cose si realizzino per caso, piuttosto che essere pianificate.

• Come possiamo elevare la qualità dei grandi modelli di linguaggio? Incontrate PIT un framework implicito di auto-miglioramento
• Introduzione di Microsoft Fabric
• 3 Progetti di Data Science Garantiti per Ottenere Quel Lavoro

Puoi approfondire cosa ha suscitato il tuo interesse per l’informatica evolutiva?

C’è una grande differenza tra l’ottimizzazione classica e l’utilizzo degli algoritmi evolutivi. L’ottimizzazione classica dipende principalmente dalla matematica e dal calcolo, mentre gli algoritmi evolutivi sono ispirati ai fenomeni naturali. Mi affascina come la natura abbia adattato le specie in modi diversi, mirando solo alla sopravvivenza, e come ciò possa essere uno strumento così potente per migliorare i meccanismi di un individuo particolare. Con gli algoritmi evolutivi, simuliamo questo processo, anche se in modo grossolano e di bassa qualità rispetto a quello che accade in natura.

Gli algoritmi evolutivi sembrano avere una struttura semplice, che riflette fenomeni naturali intricati, ma paradossalmente offre eccezionali capacità di risoluzione dei problemi. Nella mia ricerca per capire perché fossero così efficaci, sono ancora perplesso. Ho letto molti articoli riguardanti l’evoluzione naturale, ho cercato di seguire un po’ le scoperte anche su riviste scientifiche divulgative, non solo su quelle tecniche.

La relazione tra l’evoluzione algoritmica e quella naturale mi ha sempre affascinato. Se le circostanze lo permettessero – conoscenze, tempo e competenze – dedicerei il resto della mia carriera a cercare di capire come operano.

Come si è evoluto il campo dell’ottimizzazione multi-obiettivo?

Sebbene il campo dell’ottimizzazione multi-obiettivo sia relativamente ristretto, il mio percorso è iniziato in un’epoca in cui le opportunità erano abbondanti a causa del numero limitato di ricercatori. Questo mi ha permesso di esplorare una vasta gamma di argomenti. Nonostante l’evoluzione del panorama, ho osservato che, nonostante la proliferazione di articoli, manca ancora una prospettiva distinta.

Perché manca questa prospettiva?

I ricercatori sono un po’ restii ad affrontare problemi complessi e spingere i confini degli argomenti di ricerca. Inoltre, facciamo fatica a fornire spiegazioni solide per le nostre metodologie. Ancora non ci spingiamo a risolvere problemi impegnativi, ad affrontare argomenti di ricerca complessi, e ancora non siamo in grado di spiegare molte delle cose che abbiamo fatto. Siamo ben preparati con tecniche per problemi specifici, ma manca una comprensione più profonda dei principi sottostanti a queste tecniche. La maggior parte delle persone si concentra sulla proposizione, non sulla comprensione. Questa consapevolezza ha spinto un cambiamento nel mio punto di vista.

Quale ruolo assumi in questo sviluppo?

Man mano che sono maturato, la mia priorità è passata dalla mera proposizione alla comprensione. Credo che se nessun altro si impegna in questo compito, spetta a noi farlo. Sebbene sia un’impegnativa impresa analizzare e comprendere i meccanismi e le ragioni dell’efficacia algoritmica, considero questa ricerca indispensabile per un vero progresso scientifico. Potresti avere solo due o tre metodi per un problema anziché 200. Se non c’è modo di classificare tutti questi metodi, non si può giustificare un nuovo strumento, e non penso abbia molto senso continuare in questa direzione. Ovviamente, le persone continueranno a produrre, ed è bene così. Ma se ci manca comprensione, penso che finiremo con un campo senza futuro. In definitiva, il mio obiettivo è indirizzare i miei sforzi verso la comprensione degli strumenti esistenti prima di determinare la necessità di nuovi.

Come possiamo avvicinarci a una maggiore comprensione dei metodi esistenti?

Dovremmo dedicare più tempo a cercare di capire le cose che già abbiamo. Successivamente, possiamo valutare ciò di cui abbiamo davvero bisogno. Dovremmo lavorare sulla base delle esigenze del settore anziché desiderare più pubblicazioni. Se non abbiamo uno strumento che fa ciò, allora lavoriamo per svilupparlo. La ricerca dovrebbe quindi muoversi sempre più in questa direzione delle esigenze anziché nella direzione di produrre numeri.

Queste domande riguardano la comprensione del motivo per cui specifici algoritmi funzionano?

Bene, non si tratta solo del motivo per cui funzionano. La questione del motivo per cui determinati algoritmi funzionano è senza dubbio cruciale, ma le nostre indagini non dovrebbero limitarsi solo a quello. Un aspetto fondamentale su cui approfondire è come abbinare al meglio gli algoritmi alle applicazioni. Quando ci si trova di fronte a più algoritmi, gli operatori spesso si sforzano di decidere quale sia l’ottimale per una particolare applicazione, che si tratti di ottimizzazione combinatoria o continua. L’ambiguità sta nel discernere gli scenari ideali per ciascun algoritmo.

Oggi, pur non avendo algoritmi progettati per compiti specifici che non richiedono ulteriori caratterizzazioni, è altrettanto importante comprendere e forse categorizzare gli algoritmi generali. Dovremmo cercare di estrarre maggiori informazioni sul loro funzionamento e valutare se sono veramente applicabili a livello universale o se dovrebbero essere legati a compiti specifici.

Oltre agli algoritmi, ci sono strumenti e tecniche come le funzioni di scalarizzazione, gli operatori di crossover, gli operatori di mutazione e le tecniche di archiviazione. Ce ne sono tanti di questi. Tuttavia, solo pochi vengono comunemente utilizzati, spesso perché sono stati impiegati in passato piuttosto che per un’efficacia intrinseca. Dovremmo affrontare domande come: “Perché utilizzare un metodo piuttosto che un altro?”. Sono queste indagini più ampie e articolate che il nostro settore deve affrontare.

Puoi spiegare come funzionano gli algoritmi evolutivi nell’ottimizzazione multi-obiettivo?

Gli algoritmi evolutivi partono con una collezione di soluzioni, di solito generate casualmente. Queste soluzioni inizialmente hanno una qualità bassa, ma attraverso il processo di selezione, si evolvono gradualmente verso il fronte di Pareto. Tuttavia, è importante notare che mentre viene generato un fronte di Pareto, gli utenti di solito non hanno bisogno di tutte le soluzioni al suo interno. Quindi, vengono selezionate poche o solo una soluzione. Ma selezionare la soluzione giusta sul fronte di Pareto non è ottimizzazione, ma piuttosto presa di decisione.

Con la presa di decisione, viene selezionato un sottoinsieme o anche una singola soluzione dal fronte di Pareto in base alle preferenze dell’utente. Determinare le preferenze dell’utente può essere diretto se hanno un chiaro compromesso in mente, ma quando le preferenze sono incerte, l’algoritmo genera diverse possibilità per gli utenti valutare e selezionare. Questo si discosta dall’ottimizzazione e si addentra nella presa di decisione. Pertanto, nell’ottimizzazione multi-obiettivo ci sono tre fasi distinte: modellizzazione, ottimizzazione e presa di decisione.

Io mi concentro principalmente sull’aspetto dell’ottimizzazione. Altri ricercatori, in particolare nell’ambito della ricerca operativa, affrontano la presa di decisione, e alcuni combiano entrambe le fasi. Queste approccio interattivi prevedono di eseguire l’ottimizzatore per qualche iterazione e poi cercare il contributo dell’utente sulla direzione desiderata, generando soluzioni in base alle preferenze dell’utente. Questi metodi interattivi possono essere efficaci, ma è fondamentale formulare interrogativi concisi e significativi per evitare di sovraccaricare gli utenti.

In un precedente intervento, hai menzionato che il criterio più importante in base al quale selezioni i dottorandi è la loro passione. Come valuti la passione?

Idealmente, gli studenti sono appassionati ma sono anche eccellenti programmatori e matematici. Purtroppo, gli studenti con tutte queste competenze sono rari, e dovrebbe essere trovato un equilibrio tra queste. Si potrebbe dire che questo è un problema di ottimizzazione multi-obiettivo di per sé. La passione pesa molto rispetto ad altri tratti e competenze nella mia valutazione.

Valutare la passione può essere complicato da definire ma più evidente da riconoscere. Quando la incontro, una sorta di sesto senso mi guida nel differenziare la vera passione dall’entusiasmo finto. Un segno rivelatore è rappresentato dagli studenti che costantemente vanno al di là dello scopo dei compiti assegnati, superando costantemente le aspettative. Tuttavia, questo non è l’unico indicatore. Le persone appassionate mostrano una curiosità insaziabile, non solo facendo numerose domande sul loro argomento, ma anche approfondendo autonomamente aree correlate. Collegano concetti, collegando elementi apparentemente disparati al loro lavoro – una caratteristica essenziale nella ricerca che coinvolge connessioni creative. Per me, questo indica una vera passione per l’arte. Nella mia esperienza, le persone con una passione innata tendono ad avere un’affinità per indagare le profondità del loro argomento, esplorando sfaccettature al di là dell’istruzione immediata. Tali studenti possiedono uno spirito orientato alla ricerca, non cercano solo risposte prescritte ma scoprono vie per arricchire la loro comprensione.

L’elemento finale riguarda il sfruttamento e la coltivazione delle loro competenze. Anche se uno studente eccelle principalmente nella passione, le sue altre abilità potrebbero non essere carenti. È raro trovare uno studente che incarni ogni tratto desiderabile. Più spesso, gli studenti eccellono in un determinato aspetto mantenendo al contempo una competenza negli altri. Ad esempio, uno studente potrebbe eccellere nella passione, possedere buone competenze di programmazione, sebbene non straordinarie, e dimostrare fondamenti matematici solidi. Trovare un equilibrio tra questi attributi costituisce un problema multi-obiettivo, mirando a estrarre il massimo da uno studente in base alle sue competenze uniche.

Perché la passione è così importante?

Ricordo di aver avuto alcuni studenti eccezionali in vari aspetti ma che mancavano di quella scintilla di passione. Il lavoro in cui ci siamo impegnati, di conseguenza, mi è sembrato piuttosto banale e poco ispirante. Uno studente appassionato non solo si impegna per la propria crescita ma anche riaccende il mio entusiasmo per la materia. Mi sfidano, mi spingono più in profondità nell’argomento e rendono il processo collaborativo più stimolante. D’altra parte, uno studente che si limita a seguire il protocollo, concentrandosi solo sul completamento dei compiti senza la voglia di approfondire, non suscita lo stesso entusiasmo. Tali situazioni tendono a diventare più delle semplici formalità per assicurarsi di diplomarsi piuttosto che una stimolante scambio di conoscenze e idee. In parole semplici, senza passione, l’esperienza diventa transazionale, priva della vivacità che rende la collaborazione accademica veramente gratificante.

Preferisci fare pochi contributi preziosi piuttosto che molti articoli che seguono semplicemente un approccio di ricerca per analogia. Dato che di solito non c’è molta novità nella ricerca per analogia, dovrebbe essere condotta nelle università?

La domanda solleva una considerazione fondamentale: gli obiettivi delle università negli sforzi di ricerca. La ricerca per analogia sicuramente ha il suo posto – è necessaria e nel tempo ha spinto incrementalmente i confini della conoscenza in direzioni specifiche. Ad esempio, nel contesto dell’ottimizzazione multi-obiettivo, sono stati fatti progressi significativi negli ultimi 18 anni, portando allo sviluppo di algoritmi migliorati. Questo successo legittima il ruolo della ricerca per analogia.

Tuttavia, il potenziale d’aspetto negativo risiede nell’eccessiva dipendenza dalla ricerca per analogia, che potrebbe soffocare l’accoglienza di idee veramente innovative. Le nuove idee, quando presentate, potrebbero trovarsi di fronte a resistenze all’interno di un sistema che valorizza principalmente il lavoro incrementale. Di conseguenza, è essenziale una coesistenza armoniosa tra i due modi di fare ricerca. Le istituzioni, i sistemi di valutazione e le riviste accademiche dovrebbero incentivare entrambi. La ricerca per analogia svolge un ruolo di base per un progresso costante, mentre la coltivazione di idee rivoluzionarie spinge il settore in avanti. La coesistenza assicura che mentre costruiamo sulla conoscenza esistente, contemporaneamente abbracciamo strade che conducono a territori imprevedibili. Un futuro privo di uno dei due approcci sarebbe meno che ottimale; pertanto, coltivare un ecosistema equilibrato garantisce che il settore rimanga vibrante, adattabile e pronto per la crescita.

Incentivi anche tutto ciò nella tua rivista?

Faccio del mio meglio, ma è una sfida poiché non è solo sotto il mio controllo. Il risultato dipende dai contributi degli editori associati e dei revisori. Sebbene cerchi di non respingere articoli con idee nuove, non è sempre fattibile. Purtroppo, devo ammettere che incontrare articoli con concetti genuinamente nuovi sta diventando sempre più raro. Nello specifico, quest’anno ho recensito un articolo per una conferenza che presentava un’idea eccezionalmente intrigante che mi ha colpito. Questo è il ritrovamento più notevole che ho fatto negli ultimi 15 anni. Tuttavia, tali scoperte non sono frequenti.

Storicamente, l’intelligenza computazionale era divisa in calcolo evolutivo, logica fuzzy e reti neurali. L’ultimo decennio ha visto sviluppi rivoluzionari nelle reti neurali, in particolare nei modelli transformer. Quale ruolo può svolgere il calcolo evolutivo in questo nuovo scenario?

È mia convinzione che gli algoritmi evolutivi, tradizionalmente utilizzati per l’evoluzione delle architetture neurali, abbiano ancora un grande potenziale da sfruttare appieno. Esiste la possibilità di creare ottimizzatori robusti che possano integrarsi perfettamente con algoritmi esistenti, come Adam, per addestrare reti neurali. Ci sono stati alcuni tentativi in questo ambito, come l’approccio dello sciame di particelle, ma questi sforzi sono principalmente focalizzati su problemi di piccola scala. Tuttavia, prevedo l’emergere di sfide più complesse negli anni a venire.

Inoltre, qualcuno che conosco si convince fermamente che le prestazioni dell’apprendimento profondo possano essere replicate utilizzando la programmazione genetica. L’idea potrebbe essere descritta come “programmazione genetica profonda”. Incorporando alberi stratificati nella programmazione genetica, la struttura assomiglierebbe a quella dell’apprendimento profondo. Questo è un territorio relativamente inesplorato, divergente dall’approccio convenzionale delle reti neurali. I potenziali vantaggi? Potrebbe offrire maggiore efficienza computazionale o addirittura una precisione più elevata. Ma il vero vantaggio resta da esplorare.

Anche se ci sono ricercatori che utilizzano la programmazione genetica per la classificazione, non è un’applicazione diffusa. La programmazione genetica è stata spesso utilizzata per costruire euristiche, soprattutto euristiche iper-rilevanti per l’ottimizzazione combinatoria. Speculo che l’uso limitato per problemi di classificazione singolari derivi dai costi computazionali coinvolti. Tuttavia, sono fiducioso che col tempo e il progresso tecnologico, vedremo un cambiamento.

In sintesi, l’informatica evolutiva ha ancora ampi spazi da esplorare, sia nel potenziamento delle reti neurali che nel metterle alla prova con metodologie uniche. C’è ampio spazio per la coesistenza e l’innovazione.

Ritiene che il focus sulle reti neurali sia una tendenza o un cambiamento strutturale dovuto alle loro prestazioni superiori?

Molte persone nell’ambito dell’intelligenza artificiale diranno che è una moda. Io non ne sono così sicuro; penso che sia uno strumento molto potente e sarà difficile superare le reti neurali profonde. Forse tra 10-15 anni potrebbe accadere, ma non ora. Le loro prestazioni sono tali che trovo difficile immaginare un rivale imminente che possa facilmente superarle, soprattutto considerando la vasta ricerca e sviluppo investiti in questo campo. Forse tra un decennio o più potremmo assistere a dei cambiamenti, ma al momento sembrano imbattibili.

Tuttavia, l’intelligenza artificiale non riguarda esclusivamente i compiti per cui il deep learning è conosciuto. Ci sono numerosi ambiti e sfide nell’IA che non sono necessariamente centrati su ciò a cui il deep learning si rivolge principalmente. Spostare la nostra attenzione su queste sfide più ampie potrebbe essere benefico.

Una vulnerabilità da evidenziare nei modelli di deep learning è la loro sensibilità agli “attacchi ai pixel”. Modificando solo un pixel, spesso impercettibile all’occhio umano, è possibile ingannare questi modelli. Recentemente, gli algoritmi evolutivi sono stati utilizzati per eseguire questi attacchi ai pixel, mettendo in luce le fragilità delle reti neurali. Oltre a individuare semplicemente queste debolezze, c’è l’opportunità per gli algoritmi evolutivi di migliorare la resilienza dei modelli contro tali vulnerabilità. Questa è una strada promettente che integra i punti di forza sia del deep learning che degli algoritmi evolutivi.

Questo segna la fine della nostra intervista. Hai un’ultima osservazione da fare?

Vorrei sottolineare che la ricerca, indipendentemente dal campo, esercita un fascino accattivante per coloro che sono guidati dalla passione. La passione è un ingrediente vitale per chi dedica la propria carriera alla ricerca. Utilizzare gli strumenti può essere soddisfacente, ma la vera ricerca consiste nel trovare soluzioni a problemi inesplorati e nel creare connessioni tra elementi apparentemente disparati. Coltivare interesse tra le giovani generazioni è fondamentale. La scienza richiede costantemente menti fresche, piene di creatività, pronte ad affrontare sfide sempre più complesse. Date le questioni cruciali come i cambiamenti climatici, l’inquinamento e la scarsità di risorse, il ruolo della scienza nel creare soluzioni sofisticate diventa fondamentale per la nostra sopravvivenza. Anche se non tutti potrebbero essere portati alla ricerca, per coloro che ne sono attratti, è un viaggio gratificante. Benché non sia una via per la ricchezza immediata, offre una grande soddisfazione nel risolvere problemi complessi e contribuire alla nostra comprensione del mondo. È una fonte di eccitazione, piacere e realizzazione, qualcosa che personalmente ho apprezzato molto nel corso del mio percorso in questo campo.

Questa intervista è stata condotta per conto della BNVKI, l’Associazione Benelux per l’Intelligenza Artificiale. Riuniamo ricercatori di AI provenienti da Belgio, Paesi Bassi e Lussemburgo.