← Back to all articles

Deux IA, l'une révisant l'autre

Vladimir Dietrich · November 15, 2026 ·4 min read

Depuis quelques mois, je travaille avec deux intelligences artificielles en même temps. L'une, plus chère, réfléchit : elle décide quoi faire, rédige l'instruction et révise le résultat. L'autre, moins chère, tape : elle édite les fichiers, lance les tests et renvoie un résumé de dix lignes.

Ça fonctionne bien. Et cela m'a appris une chose valable en dehors de la programmation : le résumé ment par omission.

Le jour où les "tests verts" ne signifiait rien

En juillet, l'IA bon marché a corrompu la syntaxe d'un fichier et m'a renvoyé un rapport tranquille : tests verts. C'était vrai. Elle avait exécuté une série de tests qui ne chargeait même pas le fichier qu'elle venait d'éditer.

Personne n'a menti. Le rapport répondait à une question légèrement différente de celle que j'avais posée, et je n'ai lu que la réponse.

Un banc d'essai truffé de pièges

J'ai donc arrêté de choisir le modèle selon ce que publie le fabricant et j'ai monté un petit banc d'essai avec deux tâches conçues pour tromper.

Dans la première, l'agent doit renommer une option dans l'ensemble du projet. Sauf qu'il existe une clé du même nom qui fait partie d'un protocole de communication et ne peut pas changer. Celui qui renomme tout brise la conversation avec l'autre partie.

Dans la seconde, il doit remplacer de nombreuses petites requêtes par une requête par lots. Il y a cinq règles que la nouvelle version doit respecter, et aucun test du projet n'en vérifie aucune. C'est un juge invisible pour l'agent qui s'en charge.

Réussir les tests ici ne suffit pas. C'était voulu.

Le vert qui cache

En septembre, l'un des modèles a renommé l'option dans le code et a laissé deux appels avec l'ancien nom à l'intérieur des tests eux-mêmes. Les tests sont restés verts. La raison : lorsque l'option n'était pas reconnue, le programme utilisait une valeur par défaut, et la valeur par défaut faisait l'affaire par coïncidence.

J'ai commencé à appeler cela "le vert qui cache". Le test passe, et il passe précisément parce qu'il a cessé de tester.

Quiconque travaille en laboratoire connaît le parent de ce phénomène : l'expérience qui a "réussi" parce que le témoin était erroné.

Plus d'effort n'a pas acheté de meilleur résultat

Les modèles ont des niveaux d'effort : faible, moyen, élevé. Je m'attends à ce que le niveau élevé apporte plus. Sur mon banc d'essai, ce ne fut pas le cas.

En novembre, j'ai mesuré les jetons (tokens) de chaque tour, ce qui correspond à la dépense réelle. Le modèle en effort faible a résolu les deux tâches avec environ 112 000 jetons. Le même modèle en effort moyen en a dépensé 2,3 fois plus et a livré la même modification. Un mode "chef d'orchestre", qui distribue les étapes à un assistant, en a dépensé environ 349 000 pour arriver au même résultat.

Un mois plus tôt, le changement de génération avait été encore plus net : 165 000 jetons contre 713 000, avec le même résultat et moins de la moitié des étapes. L'ancien modèle ne faisait pas d'erreurs. Il tournait davantage en rond.

Le banc d'essai est trop facile pour séparer les modèles sur une tâche difficile, et je le sais. Il ne répond qu'à une seule question : pour le travail subalterne, quel est le modèle le plus bon marché qui ne tombe pas dans les pièges ?

Le banc d'essai était lui aussi erroné

Lors de la session de novembre, j'ai découvert que la commande de test des tâches elle-même avait cessé de fonctionner à cause d'une mise à jour de Node. Les tests ne s'exécutaient même plus.

Ce qui a sauvé la session, c'est le compte-rendu des agents. Les seize ont déclaré que la commande avait échoué et ont montré quelle commande ils avaient utilisée à la place. Pas de faux vert. J'ai refait les calculs avec la bonne commande.

J'ai également appris à ne pas comparer des sessions de jours différents. Le même modèle a affiché 165 000 jetons en octobre et 224 000 en novembre, avec une autre version de l'outil et une autre façon de compter. Je ne compare que les chiffres d'une même session entre eux.

Ce qui revient à celui qui révise

Une fois, j'ai laissé l'IA bon marché mener seule cinq étapes d'un de mes projets. Après révision : six défauts graves, dont quatre déjà en production, et le résumé était faux pour les cinq étapes. Réviser après coup a coûté la même chose que de le faire directement.

Avec une instruction écrite et une révision à chaque étape : aucun défaut grave, et le résumé était fidèle.

Les défauts graves ne sont pas apparus dans les tests écrits par l'agent. Ils sont apparus lorsque j'ai testé le système avec des données réelles. L'agent teste ce qu'il a écrit. L'erreur réside dans ce qu'il a supposé.

Mes règles aujourd'hui sont peu nombreuses :

Je lis la modification ligne par ligne, pas le résumé.

Je demande la sortie réelle de la commande, collée, et non pas un simple "ça a passé".

Je garde un juge invisible pour celui qui fait le travail.

Je mesure la dépense, pas l'impression de soin.

Je me méfie de ma propre règle, car elle se brise aussi.

Le code et les résultats de chaque session sont disponibles sur github.com/vladimirbrasil/dupla.

Il y a des années, j'ai appris cela avec des humains : lorsque le résultat n'est mesuré que par celui qui l'a produit, tout le monde a l'air compétent. Avec les machines, c'est un peu la même chose pour l'instant.

En résumé, les jetons rapportent beaucoup, beaucoup plus avec cette double couche d'entreprises différentes. Je continue ainsi, pour l'instant.

Réponses

Carregando respostas...

Deixe seu comentário

Respondendo a ✕