Ragionamento / Valutazione
Ragionamento artificiale: che cosa dimostrano davvero i test?
Da fatti già organizzati a richieste da interpretare: F896 e F885 mostrano perché le condizioni del test contano per leggere il ragionamento artificiale.
Come possiamo capire se un'intelligenza artificiale è capace di ragionare? Una possibilità è metterla alla prova con problemi diversi e osservare come arriva alla risposta.
Elena AILL affronta questa domanda attraverso esperimenti che distinguono la comprensione di una richiesta dalla capacità di organizzare le informazioni e costruire un piano.
La fase F896 mostra perché questa differenza è importante: il pianificatore supera tutti i controlli quando riceve informazioni già organizzate, mentre il percorso completo dalla domanda alla risposta incontra difficoltà maggiori.
Il problema pronto e il problema da capire
Nel controllo strutturato di F896 il planner riceve problema ed evidenze già rappresentati. Supera 32/32 controlli: la prova misura il piano quando l’interpretazione della richiesta è stata preparata a monte.
Partendo dalle richieste testuali, invece, il significato è completo in 3/32 casi. Le risposte del percorso completo riescono in 2/28 casi applicabili, quelli che non prevedono di rinviare la risposta. Il contrasto permette di seguire dove il percorso perde efficacia.
Che cosa conta ogni frazione
I trentadue casi riguardano l’interpretazione e i controlli strutturati. La verifica delle risposte usa i ventotto casi applicabili. I risultati non riguardano tutti la stessa prova. Per questo bisogna leggere ogni valore insieme al numero di casi effettivamente esaminati.
Un caso può attraversare più passaggi ed essere controllato in ciascuno. I successi, quindi, non si sommano in un totale di ragionamento. Nel grafico le misure restano separate proprio per mostrare il percorso senza trasformarlo in un punteggio unico.
F896 · Il componente e il percorso completo
Planner strutturato 32/32; interpretazione completa 3/32; risposte end-to-end 2/28. Ogni pannello ha il proprio denominatore. Il controllo strutturato non misura la comprensione delle richieste naturali e il gate complessivo F896 resta non superato.
Fonte: F896 · Meaning, Knowledge and Planner Audit ↗Dove il planner fa la differenza
La prova strutturata riguarda la selezione delle evidenze fornite e il rispetto dell’ordine. Un altro controllo ha verificato che cosa succede escludendo il pianificatore. In quella prova, l'ordine delle informazioni è peggiorato, mostrando che il componente contribuiva al risultato osservato.
I fatti, però, sono forniti dal test; non risultano per questo già appresi internamente dal sistema. E il planner non scrive la frase finale. Distinguere questi ruoli permette di capire che cosa abbia funzionato e che cosa debba ancora arrivare fino alla risposta.
F885: tre condizioni a confronto
Che cosa cambia quando viene modificata la configurazione di Elena AILL? La fase F885 ha confrontato tre condizioni: il sistema nella configurazione prevista dal test, una versione senza memoria e una con memoria vuota.
Sono state considerate due misure distinte: il risultato complessivo (Overall) e quello relativo al ragionamento (Reasoning).
Nella configurazione prevista, i valori erano rispettivamente 0,80 e 0,833. Nelle altre due condizioni sono scesi a 0,20 e 0,083.
Il confronto mostra che la configurazione influisce sui risultati ottenuti. Poiché le modifiche coinvolgono anche lo stato appreso, il test non permette di attribuire il cambiamento a un singolo componente della memoria. La fase registra PASS e decisione VALIDATED nel proprio ambito.
F885 · Dipendenza dalla configurazione
Overall conserva i due decimali della figura pubblica; Reasoning i tre del riepilogo. Le ablation non isolano ciascun modulo e non dimostrano superiorità su esseri umani o LLM. Questo esperimento resta distinto dal controllo strutturato e dal percorso completo di F896.
Configurazione valida: Overall 0.80, Reasoning 0.833. Senza memoria: 0.20 e 0.083. Memoria vuota: 0.20 e 0.083. Scala comune 0–1.
Fonte: F885 ↗Seguire un errore fino in fondo
Un piano ordinato può affrontare il problema sbagliato, se l’interpretazione iniziale è errata. Un piano corretto può invece perdere un’informazione nella frase finale. Per intervenire, occorre sapere in quale dei due punti si interrompa il lavoro.
F896 mantiene separati questi passaggi e conserva il verdetto complessivo: gate non superato, esito INSUFFICIENT, nessuna promozione. Il successo del planner descrive una parte importante dell’esperimento, non sostituisce la valutazione del percorso completo.
Come una prova prepara la successiva
I risultati di F896 aiutano a individuare i passaggi che richiedono ulteriori verifiche. F898 affronta un problema diverso: la disponibilità delle forme linguistiche necessarie a esprimere significati già strutturati, non la comprensione generale delle richieste.
Il miglioramento di F898 non modifica l’esito storico di F896. Un candidato non promosso resta distinto dal runtime corrente.
Prima del punteggio, guardare il compito
I risultati di un test di ragionamento dipendono anche dalle condizioni in cui viene eseguito.
Nella fase F896, il pianificatore di Elena AILL ha superato tutti i 32 controlli quando il problema era già strutturato. Partendo invece da richieste in linguaggio naturale, il percorso completo ha superato 2 dei 28 casi applicabili.
La ricerca continua sul collegamento tra interpretazione, pianificazione e risposta. L'obiettivo è migliorare il funzionamento dell'intero percorso, non soltanto quello dei singoli componenti.
