Esperimenti / Risultati negativi
Esperimenti falliti: perché i risultati negativi fanno avanzare la ricerca
Un aggiornamento completato non basta. F105 e F575 mostrano come gli esiti negativi aiutino a valutare le risposte e a scegliere il lavoro successivo.
Che cosa succede quando un esperimento non produce il risultato sperato? Nella ricerca sull'intelligenza artificiale, anche un test fallito può fornire informazioni importanti.
Elena AILL documenta anche questi risultati. Nella fase F105, un aggiornamento è stato completato correttamente, ma le risposte successive non hanno superato la valutazione prevista.
La fase F575 racconta un altro caso: un candidato sperimentale è stato confrontato con una versione di riferimento e ha ottenuto risultati peggiori in diversi controlli.
Questi esperimenti mostrano perché completare una modifica non significa necessariamente migliorare il comportamento del sistema.
F105: una modifica riuscita, un problema ancora aperto
La fase parte da famiglie di errori osservate nella valutazione precedente e applica un aggiornamento locale. Il rapporto dell’operazione registra PASS: l’intervento previsto è stato completato. La valutazione successiva delle risposte registra invece FAIL.
I due risultati misurano cose diverse. Il primo conferma che l'aggiornamento è stato eseguito correttamente. Il secondo verifica se le risposte superano la valutazione prevista. In F105, questa seconda verifica ha dato esito FAIL.
Sessanta risposte giudicate sensate
Nel retest F105, 60 risposte su 99 sono state considerate sensate secondo i criteri utilizzati nell'esperimento. Il risultato non è stato sufficiente per superare la valutazione.
I novantanove casi appartengono al retest. Gli altri controlli hanno campioni propri: usarli come un unico prima e dopo cambierebbe il significato delle evidenze. Il dato utile è ciò che viene osservato in questa verifica, insieme al suo esito FAIL.
F105 · Una valutazione resta FAIL
Il retest registra 60/99 risposte considerate sensate. La parte restante della barra completa i 99 casi del controllo, senza introdurre una nuova classificazione degli errori. L’operazione di aggiornamento è PASS; la valutazione successiva è FAIL. Non è una misura della capacità generale di Elena.
Fonte: F105 · Blind Failure Learning ↗F575: il candidato che non supera il riferimento
Nei 30 confronti della fase F575, il candidato ha ottenuto un risultato migliore del riferimento in un solo caso. È risultato peggiore in 13 casi e ha raggiunto la parità nei restanti 16.
Anche il numero di controlli superati mostra una differenza: 16/30 per il candidato contro 27/30 per il riferimento.
Confronti relativi e controlli superati sono due misure diverse sugli stessi trenta casi. Anche una risposta accettata automaticamente può conservare difetti. Il candidato resta research-only e non promosso.
F575 · Esiti relativi e casi superati
I pannelli descrivono gli stessi trenta casi con due misure diverse; non formano un campione di sessanta osservazioni. Lo stato research-only e la mancata promozione restano parte del risultato.
Su 30 confronti: 1 migliore, 13 peggiori, 16 parità. Separatamente, casi superati: candidato 16/30 e riferimento 27/30.
Fonte: F575 ↗Prima di correggere ancora, capire l’errore
Per capire perché una risposta non supera il test bisogna individuare il punto in cui si verifica l'errore. Può dipendere dall'interpretazione della domanda, dalla scelta delle informazioni o dalla costruzione della frase. I risultati qui riportati di F105, però, non permettono di stabilire quale di queste cause sia responsabile.
Quella fase stabilisce invece un punto fermo: completare l’aggiornamento non è bastato a superare la valutazione. Il retest impedisce di confondere l’intervento con il suo effetto e indica dove serve una nuova indagine.
Il confronto con F896
In F896 la distanza si vede fra componenti: il planner supera il controllo con informazioni strutturate, mentre il percorso dalla richiesta naturale alla risposta resta insufficiente. Seguire tutto il processo permette di riconoscere il limite dietro un risultato locale positivo.
Le due fasi non dimostrano lo stesso difetto e non producono una statistica da sommare. Offrono però un motivo comune per guardare oltre il successo dell’operazione o del componente: che cosa è cambiato per la risposta finale?
Conservare il punto da cui si riparte
Documentare un esperimento fallito permette di sapere che cosa è stato provato, quali risultati sono stati ottenuti e quali problemi sono rimasti.
Quando si introduce una nuova modifica, queste informazioni aiutano a verificare se il comportamento è davvero migliorato.
La documentazione pubblica può rendere comprensibili obiettivi, condizioni generali, misure autorizzate ed esiti mantenendo riservati i dettagli proprietari. Per leggere una prova serve capire che cosa sostengano le evidenze, non disporre delle procedure per ricostruire il sistema.
Un FAIL che continua a essere utile
Gli esperimenti F105 e F575 mostrano due difficoltà diverse della ricerca Elena AILL. Nel primo caso, un aggiornamento è stato completato ma non ha prodotto risposte sufficienti a superare la valutazione. Nel secondo, un candidato sperimentale ha ottenuto risultati inferiori alla versione di riferimento.
Questi risultati non vengono nascosti: fanno parte della documentazione scientifica del progetto.
La ricerca avanza anche così: verificando ciò che funziona, riconoscendo ciò che non funziona e utilizzando i risultati per orientare gli esperimenti successivi.
