← Back to all articles

Due IA, una che rivede l'altra

Vladimir Dietrich · November 15, 2026 ·4 min read

Da qualche mese lavoro con due intelligenze artificiali contemporaneamente. Una, più costosa, pensa: decide cosa fare, scrive l'istruzione e rivede il risultato. L'altra, più economica, digita: modifica i file, esegue i test e restituisce un riepilogo di dieci righe.

Funziona bene. E mi ha insegnato una cosa che vale anche al di fuori della programmazione: il riepilogo mente per omissione.

Il giorno in cui i "test verdi" non volevano dire nulla

A luglio, l'IA economica ha corrotto la sintassi di un file e mi ha restituito un rapporto tranquillo: test verdi. Era vero. Aveva eseguito una batteria di test che non caricava nemmeno il file che lei stessa aveva modificato.

Nessuno ha mentito. Il rapporto rispondeva a una domanda leggermente diversa da quella che avevo fatto io, e io ho letto solo la risposta.

Un banco di prova con delle trappole

Così ho smesso di scegliere il modello in base a ciò che pubblica il produttore e ho assemblato un piccolo banco di prova, con due compiti fatti apposta per ingannare.

Nel primo, l'agente deve rinominare un'opzione nell'intero progetto. Solo che esiste una chiave con lo stesso nome che fa parte di un protocollo di comunicazione e non può cambiare. Chi rinomina tutto, rompe la comunicazione con l'altra parte.

Nel secondo, deve sostituire molte piccole query con una query in batch. Ci sono cinque regole che la nuova versione deve rispettare, e nessun test del progetto ne verifica alcuna. A verificare è un giudice che l'agente non vede.

Superare i test, qui, non basta. È stato fatto apposta.

Il verde che nasconde

A settembre, uno dei modelli ha rinominato l'opzione nel codice e ha lasciato due chiamate con il vecchio nome all'interno dei test stessi. I test sono rimasti verdi. Il motivo: quando l'opzione non veniva riconosciuta, il programma utilizzava un valore predefinito, e il valore predefinito per caso andava bene.

Ho iniziato a chiamarlo "il verde che nasconde". Il test passa, e passa proprio perché ha smesso di testare.

Chi lavora in laboratorio conosce il parente di tutto ciò: l'esperimento che è "andato bene" perché il controllo era sbagliato.

Più sforzo non ha comprato un risultato migliore

I modelli hanno livelli di sforzo: basso, medio, alto. Mi aspettavo che l'alto offrisse di più. Nel mio banco di prova, non l'ha fatto.

A novembre ho misurato i token di ogni ciclo, che è ciò che effettivamente si spende. Il modello a sforzo basso ha risolto entrambi i compiti con circa 112 mila token. Lo stesso modello a sforzo medio ne ha spesi 2,3 volte tanto e ha consegnato la stessa modifica. Una modalità "orchestratore", che distribuisce i passaggi a un assistente, ne ha spesi circa 349 mila per arrivare allo stesso punto.

Un mese prima, il cambio di generazione era stato ancora più chiaro: 165 mila token contro 713 mila, con lo stesso risultato e meno della metà dei passaggi. Il vecchio modello non sbagliava. Faceva più giri.

Il banco di prova è troppo facile per separare i modelli in un compito difficile, e lo so. Risponde a una sola domanda: per il lavoro manuale, qual è il più economico che non cade nelle trappole?

Anche il banco di prova era sbagliato

Nel ciclo di novembre, ho scoperto che il comando di test dei compiti stessi si era rotto con un aggiornamento di Node. I test non arrivavano nemmeno a girare.

A salvare il ciclo è stato il resoconto degli agenti. Tutti e sedici hanno detto che il comando è fallito e hanno mostrato quale comando avevano usato al suo posto. Nessun falso verde. Ho rifatto i conti con il comando giusto.

Ho anche imparato a non confrontare cicli di giorni diversi. Lo stesso modello ha misurato 165 mila token a ottobre e 224 mila a novembre, con un'altra versione dello strumento e un altro modo di contare. Confronto solo numeri dello stesso ciclo.

Cosa rimane a chi rivede

Una volta ho lasciato che l'IA economica conducesse da sola cinque fasi di un mio progetto. Poi ho rivisto: sei difetti gravi, quattro dei quali già online, e il riepilogo era sbagliato in tutte e cinque le fasi. Rivedere dopo è costato quanto averlo fatto direttamente.

Con istruzioni scritte e revisione a ogni fase: nessun difetto grave e riepilogo fedele.

I difetti gravi non sono apparsi nei test scritti dall'agente. Sono apparsi quando ho eseguito il sistema contro dati reali. L'agente testa ciò che ha scritto. L'errore risiede in ciò che ha supposto.

Le mie regole oggi sono poche:

Leggo la modifica riga per riga, non il riepilogo.

Chiedo l'output reale del comando, incollato, e non "passato".

Mantengo un giudice che chi fa il lavoro non vede.

Misuro la spesa, non l'impressione di accuratezza.

Diffido del mio stesso metro, perché anche quello si rompe.

Il codice e i risultati di ogni ciclo sono aperti su github.com/vladimirbrasil/dupla.

Anni fa ho imparato questo dalle persone: quando il risultato viene misurato solo da chi lo ha prodotto, sembrano tutti bravi. Con le macchine sta succedendo la stessa cosa, per ora.

In sintesi, i token stanno rendendo molto, molto di più con questo doppio livello di aziende diverse. Continuo così, per ora.

Risposte

Carregando respostas...

Deixe seu comentário

Respondendo a ✕