di Giacomo Di Noto

Ogni mattina, da quando esiste la civiltà, almeno un insegnante si sveglia e si chiede: “Come valuterò oggi i miei allievi e le mie allieve?"

...sulla valutazione

Questo insegnante si pone questa domanda nonostante possegga strumenti, pratiche e metodologie che gli permettono di collocare precisamente ogni singolo discente all’interno di una griglia o di una classifica. Questo insegnante si pone questa domanda perché si rende conto che i suddetti strumenti, pratiche e metodologie rappresenteranno sempre e solo un infinitesimo spicchio delle effettive e complessive capacità cognitive dell’individuo che sta valutando e dunque continuerà a porsi questa domanda.

Ogni mattina, da quando esistono i Large Language Models (LLMs), almeno un informatico si sveglia e si chiede: “Come valuterò oggi i miei LLMs?

...misurare i LLM

Questo informatico si pone questa domanda perché da quando “parliamo” con i computer, la valutazione delle loro capacità è passata dall’essere un campionamento di frequenza o una misurazione di temperatura ad un test d’ingresso ad una facoltà di psicologia o la scrittura di un programma informatico. Questo nuovo paradigma ha visto la nascita di innumerevoli metriche e sistemi di valutazione con conseguenti benchmark tests (“test standardizzati presi come riferimento da specifici settori” ndt.) e classifiche. Ma se il dubbio si applica nella valutazione degli esseri umani, è ora legittimo dubitare delle valutazioni sulle macchine? Inoltre è bene ricordare che queste macchine (al contrario dei nostri studenti) vengono vendute direttamente in un mercato con regole e richieste precise, la loro valutazione incide sicuramente su queste dinamiche richiamando un aforisma dell’economista inglese Charles Goodhart:

“Quando una misura diventa un obiettivo, smette di essere una buona misura.”

Tassonomie e Classificazioni

Coloro che negli ultimi anni si sono appassionati all’attuale primavera dell’Intelligenza Artificiale conosceranno sicuramente almeno un paio di benchmark test per LLMs. A partire da GLUE fino ad HELM, passando per MMLU, BIG-Bench e Chatbot-Arena, i test e le relative classifiche occuperebbero un intero articolo scientifico. Questo è proprio quello che è stato fatto da un gruppo di ricercatori Cinesi delle Università di Shangai e Shenzhen nel loro articolo “A Survey on Large Language Model Benchmarks” [1] pubblicato nell’agosto del 2025. In questo articolo (di cui consiglio la lettura per un approfondimento sulla storia, lo stato dell’arte ed il futuro dei Benchmarks), questi test standardizzati vengono suddivisi in tre macro categorie: Test Generali, Test a Dominio specifico e Test a Target specifico.

I primi come suggerisce la parola sono dei test generali che vanno ad indagare le capacità di linguaggio (per specifica lingua), la conoscenza derivata dal training e gli algoritmi di ragionamento implementati. La seconda categoria è più specifica, i test sono suddivisi per ambiti di conoscenza (così come li immaginiamo noi umani) ed hanno lo scopo di determinare la capacità di un modello di adattarsi ad un settore specifico. Infine la terza categoria riguarda i test di sicurezza del modello (i.e. conoscenze pericolose, allineamento, etc…), oltreché le capacità di connessione con agenti e dunque gli strumenti che il LLM sà usare per raggiungere gli scopi presentati dai prompt utente. Alcuni di questi test presentano domande a risposta multipla, altri a risposta aperta con successiva correzione umana, alcuni sono dei giochi logici mentre altri confrontano le attività svolte da questi LLM con effettive attività umane. Per quest’ultimo test in particolare è possibile citare un risultato particolarmente impressionante ottenuto dal team di Anthropic proprio nel mese di settembre per  ed il nuovo Claude Sonnet 4.5. Questo modello ha lavorato per quasi 30 ore di fila, senza supervisione umana, sviluppando un’intera piattaforma di chat sociale simile a Slack o Teams [2].

Questa “banale” suddivisione tassonomica porta un aiuto concreto permettendo di partire dal problema che stiamo affrontando, identificare il sottogruppo specifico al nostro problema e dai test (e conseguenti classifiche) determinare quale LLM fa al caso nostro.

Ma con la nuova soluzione, nasce un nuovo problema. I LLMs sono presentati ad un mondo esaltato dalla nuova rivoluzione dell’IA, dove la competizione diventa sempre più pressante. In questo panorama ogni azienda che produce o addestra dei chatbots sembra essere sempre incline a presentare specifici risultati con specifici benchmarks, spesso con metodologie inconsistenti. Un esempio è proprio OpenAI con (l’ormai vecchio) GPT-4, nell’articolo pubblicato assieme al nuovo modello dichiara di superare in numerosi test tutti i modelli dei competitor aggiungendo un trafiletto in cui si faceva riferimento ad una possibile “contaminazione” del dataset con domande (e risposte!) prese direttamente dai test che sarebbero stati poi posti al modello. Poco tempo dopo, gli autori stessi dichiarano che con le domande rimosse il modello ha ottenuto risultati inferiori, strano. Ma anche Google ha presentato il suo Gemini Pro con un punteggio MMLU superiore al 70% mentre tutte le analisi indipendenti non riescono a superare il 65%. [3-4].

L'utente come Benchmark

Di fronte a un complesso di benchmark inaffidabili e metodologie di valutazione spesso opache, emerge la necessità di un approccio alternativo. Se le misurazioni quantitative si dimostrano fallibili, la soluzione potrebbe risiedere nella valutazione qualitativa, incentrata sull'utilizzatore finale. In questa prospettiva, è l'utente che con le sue specifiche esigenze, competenze e spirito critico si trasforma nel più efficace metro di giudizio, un benchmark definitivo. Per fare ciò possiamo seguire un semplice consiglio proposto da tutta la ricerca accademica. Usiamo questi modelli per fare metacognizione e cognizione aumentata, non usiamoli per delega e scarico cognitivo. Chi possiede una competenza specifica può utilizzare il modello per eseguire un'operazione, mantenendo la capacità di analizzare e validare criticamente il risultato. Chi, al contrario, si avvicina a un argomento sconosciuto, dovrebbe impiegare lo strumento per costruire la propria comprensione. Non posso chiedere ad un chatbot di produrre qualcosa che non posso controllare, devo chiedere al chatbot di aiutarmi a capire l’argomento e solo allora utilizzarlo per eseguire un compito. Un simile approccio trasforma l'uso dell'intelligenza artificiale da un potenziale esercizio di delega cognitiva a un'opportunità di apprendimento consapevole, garantendo che la tecnologia agisca come supporto alla crescita delle competenze, anziché come un loro sostituto.

Bibliografia

1. A Survey on Large Language Model Benchmarks - Ni et al. - 2025 https://arxiv.org/pdf/2508.15361v1
2. Sito di Anthropic - https://www.anthropic.com/claude/sonnet
3. GPT-4 Technical Report - https://arxiv.org/html/2303.08774v6

MMLU on HELM - https://crfm.stanford