Significato, conoscenza e controllo del pianificatore
F896 ha testato se una richiesta in linguaggio naturale potesse viaggiare attraverso il significato appreso del testo, la pianificazione chiusa dall'evidenza, le proposizioni ordinate, la lessicalizzazione e la costruzione della risposta finale. Il pianificatore strutturato ha approvato l'ambito del contratto, ma l'intera pipeline no.
Obiettivo e domanda di ricerca
Obiettivo
Valutare il percorso completo da una richiesta di testo libero a una risposta supportata, ordinata e verbalizzata, mantenendo la selezione della conoscenza chiusa alle prove fornite dal benchmark.
Domanda di ricerca
Può il sistema convertire una richiesta invisibile in linguaggio naturale in un significato strutturato completo, selezionare solo i fatti supportati, ordinarli tramite il pianificatore e realizzare una risposta finale soddisfacente?
Contesto tecnico
L'audit ha deliberatamente separato le fasi che altrimenti potrebbero essere confuse: traduzione del testo, selezione delle prove, pianificazione strutturale, realizzazione lessicale e decodificazione finale.
Il pianificatore non ha generato testo. Ha selezionato i fatti esplicitamente supportati e ha prodotto un piano di risposta strutturale ordinato. Il suo risultato di copertura del piano al 100% ha utilizzato una query strutturata Oracle con prove congelate, non una comprensione illimitata del linguaggio naturale.
Le misure end-to-end utilizzavano invece l'effettivo output da testo a significato. Questa distinzione è fondamentale per il verdetto di fase.
Metodo
- Il set cieco conteneva 32 casi in otto categorie, con quattro casi per categoria e nessuna sovrapposizione esatta dell'archivio segnalata durante il preflight.
- I parametri del pianificatore e della selezione delle prove sono stati misurati su un dispositivo di prova congelato. Le metriche end-to-end hanno applicato l'output reale dal significato del testo e il percorso linguistico disponibile.
- Le ablazioni hanno disabilitato il significato del testo, la memoria strutturata, il pianificatore, la realizzazione lessicale e la decodifica finale separatamente per identificare dove le prestazioni sono peggiorate.
- La ricarica a freddo ha ripetuto tutti i 32 casi registrati, ma la coerenza del riavvio non ha convertito il gate end-to-end fallito in un passaggio.
Prove e parametri di riferimento
| Misura | Risultato | Ambito | Prova |
|---|---|---|---|
| Contratto di pianificazione strutturata | 32/32 | Query strutturate Oracle più prove congelate; copertura del piano 1.000000. | Audit primario F896 |
| Completa il significato del testo | 3/32 | Effettivi input in linguaggio naturale; significato_completo 0.093750. | Audit primario F896 |
| Piani end-to-end | 2/28 | Significato effettivo del testo seguito dalla pianificazione strutturale sui casi di non differimento applicabili. | Audit primario F896 |
| Risposte end-to-end | 2/28 | End_to_end_response_success registrato 0.071429; questo non è lo 0%. | Audit primario F896 |
| Successo del piano Oracle F711 | 14/28 | Metrica della lingua F896 sui 28 casi del piano Oracle supportati e applicabili alla lingua. | Audit primario F896 |
| Partita con ricarica a freddo | 32/32 | Significato di completezza, identificatori di prova selezionati e accettazione del pianificatore abbinati; le risposte finali non sono state riconvalidate. | Audit primario F896 |
Risultati
Il pianificatore strutturato e chiuso alle prove ha raggiunto la copertura completa del piano e l'ordine logico sul dispositivo di query dell'oracolo. Anche la precisione e il ricordo dei dati erano 1.000000 all'interno delle prove congelate fornite.
Questi valori non significano che il sistema abbia compreso tutte le 32 richieste in linguaggio naturale o contenga già i fatti sintetici del benchmark. Il rapporto principale limita esplicitamente le metriche della conoscenza alla selezione dal dispositivo di prova fornito.
Solo 3 delle 32 richieste hanno prodotto un significato completo. Sui 28 casi di non differimento applicabili, la copertura del piano end-to-end e il successo della risposta end-to-end erano entrambi 2/28.
Il cancello di fase è rimasto falso, non è stato promosso alcun checkpoint operativo e la decisione del terminale è stata insufficiente.
Risultato della fonte registrata: F896_PLANNER_CAUSAL_END_TO_END_INSUFFICIENT. Il verdetto più breve qui sopra è un'etichetta pubblica conservatrice, non un sostituto della decisione della fonte.
Analisi dei fallimenti
- La prima divergenza registrata è stata quella del testo-significato: la gestione del focus o della relazione era incompleta o inaffidabile nel primo caso.
- Il percorso linguistico potrebbe realizzare solo una parte dell'insieme strutturato dall'oracolo. La prima divergenza F711 era una superficie richiesta che non era disponibile.
- Il rapporto rileva che la decodifica finale potrebbe perdere una proposta anche quando il piano strutturale fosse completo.
- Il follow-up dell'F897 ha successivamente isolato un ulteriore difetto di trasporto: i fatti riordinati potevano rimanere abbinati ai contratti dalle loro posizioni precedenti. Quella diagnosi successiva non deve essere descritta retroattivamente come un successo F896.
- La linea di base dell'F897 ha inoltre mostrato che nessuno dei 28 significati dell'F896 congelati aveva una copertura superficiale completa prima delle riparazioni successive.
Cosa ha dimostrato la fase
- Un pianificatore strutturale può selezionare le prove fornite senza aggiungere proposizioni non supportate in questo dispositivo.
- Il pianificatore ha preservato l'ordine logico richiesto nel suo contratto di input strutturato.
- L'ablazione del pianificatore ha degradato il risultato dell'ordinamento registrato, supportando un ruolo causale all'interno di questo benchmark.
- La fase ha separato con successo la comprensione a monte, la selezione delle prove, la pianificazione, la lessicalizzazione e gli errori di decodifica.
Ciò che la fase non ha dimostrato
- Risposte end-to-end efficaci in linguaggio naturale.
- Comprensione del testo generale o illimitata.
- Ragionamento multifatto universale o costruzione di risposte.
- Che i fatti di riferimento congelati erano già conoscenza interna.
- Un percorso linguistico pronto per la produzione o promosso.
Limitazioni note
- Il set cieco conteneva 32 casi sintetici suddivisi in otto categorie definite; non era una stima della popolazione di dominio aperto.
- Le metriche del pianificatore utilizzavano una query strutturata Oracle e fornivano prove, mentre le metriche end-to-end utilizzavano l'effettivo output da testo a significato.
- La successiva linea di base della superficie 0/28 proviene dal follow-up F897 e misura un cancello di completezza della superficie più ristretto rispetto alla metrica di risposta end-to-end 2/28 del rapporto F896.
- La coerenza della ricarica a freddo mostra la riproducibilità di questo stato registrato, non la correttezza o la generalità.
Cosa è cambiato dopo
F897 ha riparato il trasporto dell'identità del contratto di fatto e la composizione estesa della frase nominale. Il risultato della superficie congelata di 28 casi è migliorato a 14/28, ma il suo cancello complessivo è rimasto chiuso.
F898 ha poi affrontato il restante divario nella realizzazione del predicato sugli stessi significati congelati e ha approvato un proprio pacchetto di prove più ristretto. Quel passaggio successivo non cambia il verdetto insufficiente di F896.
Prove pubbliche e dati sulle fonti
Nell'attuale pacchetto di prove pubbliche F896 non è presente alcuna fonte originale. Il grafico delle metriche è un rendering HTML editoriale dei valori della tabella verificati, non un nuovo benchmark o una cifra di origine.
Audit primario F896
Definizione di blind-set, metriche con ambito, ablazioni, divergenze, ricarica a freddo e decisione terminale.
Riferimento di follow-up F897
Riproduzione successiva della linea di base della superficie completa 0/28 e del difetto di trasporto del contratto di fatto identificato.