Architettura / Apprendimento
Apprendimento senza Transformer: possibilità, prove e limiti
Come studiare un’AI senza Transformer: i test di Elena AILL su parole, memoria e ruolo dei componenti, dai risultati di F235 ai replay del core neurale.
Non tutte le intelligenze artificiali devono funzionare attraverso la stessa architettura. Elena AILL esplora un percorso diverso dai Transformer, studiando come memoria, linguaggio e altri componenti possano lavorare insieme.
Per capire questa scelta bisogna guardare agli esperimenti: come vengono conservate le informazioni, quali componenti intervengono nelle risposte e che cosa succede quando uno di essi viene escluso.
Una strada diversa, da guardare da vicino
Le verifiche pubbliche dell'architettura di Elena AILL non hanno rilevato moduli Transformer nel percorso utilizzato per generare le risposte. Il progetto comprende anche componenti sperimentali basati su PyTorch e rappresentazioni numeriche delle informazioni, ma la loro presenza non significa che siano tutti utilizzati durante una conversazione.
La distinzione riguarda il percorso osservato. Non significa che tutto il progetto sia privo di reti neurali o di qualsiasi forma di attenzione. Per valutarlo bisogna seguire ciò che ogni parte fa, anziché dedurlo dall’etichetta architetturale.
Dodici richieste per una verifica precisa
Nell'esperimento F235, il candidato di Elena AILL ha superato i controlli previsti su dodici richieste. Tra gli aspetti verificati c'era la presenza di parole prive di significato, che nel test non sono state rilevate. Il verdetto della fase è PASS.
Il risultato riguarda la suite F235 e il candidato esaminato: non è una prova generale della qualità delle conversazioni né un confronto di superiorità rispetto ai Transformer. La domanda più ampia sull’apprendimento richiede di osservare anche che cosa cambia dopo un aggiornamento e quali effetti restano sulle conoscenze precedenti.
Core neurale · Output invariati nell’ablation
111/111 turni e 500/500 casi hanno mantenuto output equivalenti nei due replay documentati dopo l’esclusione del core neurale dal caricamento eager canonico. Sono prove separate di equivalenza, non punteggi di accuratezza o di apprendimento.
Fonte: Architettura e confine del runtime / Architecture and runtime boundary ↗Che cosa succede se si toglie una parte?
Una prova di ablation consiste nell'escludere un componente per osservare se il comportamento cambia. Nei due test, escludere il core neurale dal caricamento non ha modificato le risposte osservate.
I risultati misurano l'equivalenza delle risposte, non la loro correttezza: anche un errore può ripetersi identico. La conclusione riguarda quei replay e quel percorso di caricamento; non stabilisce che ogni componente neurale sia inutile o che il core non possa avere un ruolo diverso.
Studiare le connessioni fra i componenti
Separare memoria, significato, pianificazione e linguaggio rende possibile seguire un errore. Se un fatto sopravvive al riavvio ma scompare nella risposta, il problema va cercato in un punto diverso dalla conservazione. Se la frase è leggibile ma fuori tema, occorre risalire alla richiesta.
Memorie associative, aggiornamenti locali e modelli di transizione appartengono a una storia di ricerca già esistente. In Elena interessa come vengono combinati, entro quali confini operano e quali effetti producono nelle prove. Gli esperimenti permettono di verificare quali effetti producono le diverse scelte progettuali.
Quale versione è stata verificata?
La versione sperimentale v19 è stata verificata rispetto ai propri file sorgente e allo stato salvato, ma non è stata adottata come versione canonica. Le verifiche hanno inoltre rilevato che alcuni file esaminati non corrispondevano alle impronte autorizzate per la versione canonica.
È una differenza importante: i risultati del candidato non certificano un runtime canonico live perfettamente allineato. Architettura sperimentale, comprensione generale, qualità della conversazione e disponibilità operativa rimangono questioni da verificare ciascuna nel proprio contesto.
La domanda utile viene dopo il nome
Elena AILL segue una strada architetturale diversa dai Transformer. Gli esperimenti permettono di verificare il ruolo dei singoli componenti e di capire quali modifiche producono effetti osservabili sul sistema.
È attraverso questi risultati che possiamo valutare il percorso di ricerca, senza fermarci al nome dell'architettura.
