Costruire modelli migliori inizia con la rivalutazione delle metriche

Rivalutazione metriche per modelli migliori.

Nel loro articolo, il computer scientist dell'USC Mahyar Khayatkhoei mostra teoricamente che ci sono delle lacune nella precisione e nel richiamo. ¶ Credito: metamorworks/Getty Images

I ricercatori dell’Università della California del Sud (USC) hanno sottolineato l’importanza di misurare le prestazioni dei modelli generativi di intelligenza artificiale (IA) al fine di migliorarli.

I ricercatori hanno affermato che ci sono delle lacune nell’uso di “precisione” e “richiamo” come metriche per quantificare la fedeltà e la diversità di un modello generativo come misura delle prestazioni.

Ciò significa, hanno detto, che per costruire un modello generativo “migliore”, è necessario riesaminare le metriche utilizzate per valutare le prestazioni.

Il computer scientist dell’USC Mahyar Khayatkhoei ha detto: “Quando queste misurazioni sono sbagliate, significa che tutte queste decisioni sono potenzialmente sbagliate.”

“Abbiamo creato degli esperimenti per mostrare che questo problema esiste, e abbiamo dimostrato matematicamente che è effettivamente, sotto determinate ipotesi, un problema molto generale. E quindi, partendo dagli spunti dell’analisi matematica, abbiamo creato una versione modificata per il calcolo di queste metriche che allevia il problema.” Dalla USC Viterbi School of Engineering Visualizza l’articolo completo

Abstract Copyright © 2023 SmithBucklin, Washington, D.C., USA