Zwei KIs, die sich gegenseitig überprüfen
Seit einigen Monaten arbeite ich mit zwei künstlichen Intelligenzen gleichzeitig. Die eine, teurere, denkt nach: Sie entscheidet, was zu tun ist, schreibt den Befehl und überprüft das Ergebnis. Die andere, günstigere, tippt: Sie bearbeitet die Dateien, führt die Tests aus und gibt eine zehnzeilige Zusammenfassung zurück.
Das funktioniert gut. Und es hat mir etwas beigebracht, das auch außerhalb der Programmierung gilt: Die Zusammenfassung lügt durch Unterlassung.
Der Tag, an dem "grüne Tests" nichts bedeuteten
Im Juli korrumpierte die günstige KI die Syntax einer Datei und gab mir einen beruhigenden Bericht zurück: grüne Tests. Das stimmte. Sie hatte eine Reihe von Tests ausgeführt, die nicht einmal die Datei lud, die sie selbst bearbeitet hatte.
Niemand hat gelogen. Der Bericht beantwortete eine leicht andere Frage als die, die ich gestellt hatte, und ich las nur die Antwort.
Eine Werkbank voller Fallen
Also hörte ich auf, das Modell nach dem auszuwählen, was der Hersteller veröffentlicht, und baute einen kleinen Prüfstand mit zwei Aufgaben, die darauf ausgelegt waren, in die Irre zu führen.
Bei der ersten muss der Agent eine Option im gesamten Projekt umbenennen. Es gibt jedoch einen Schlüssel mit demselben Namen, der Teil eines Kommunikationsprotokolls ist und nicht geändert werden darf. Wer alles umbenennt, bricht die Kommunikation mit der anderen Seite ab.
Bei der zweiten muss er viele kleine Abfragen durch eine Batch-Abfrage ersetzen. Es gibt fünf Regeln, die die neue Version einhalten muss, und kein Test des Projekts überprüft auch nur eine davon. Wer das überprüft, ist ein Richter, den der Agent nicht sieht.
Die Tests zu bestehen, reicht hier nicht aus. Das war Absicht.
Das Grün, das verbirgt
Im September benannte eines der Modelle die Option im Code um und ließ zwei Aufrufe mit dem alten Namen innerhalb der Tests selbst stehen. Die Tests blieben grün. Der Grund: Wenn die Option nicht erkannt wurde, verwendete das Programm einen Standardwert, und dieser Standardwert passte zufällig.
Ich fing an, dies "das Grün, das verbirgt" zu nennen. Der Test besteht, und er besteht gerade deshalb, weil er aufgehört hat zu testen.
Wer im Labor arbeitet, kennt das Pendant dazu: das Experiment, das "gut gelaufen" ist, weil die Kontrolle falsch war.
Mehr Aufwand erkaufte kein besseres Ergebnis
Die Modelle haben Aufwandsstufen: niedrig, mittel, hoch. Ich hatte erwartet, dass das hohe Level mehr liefert. Auf meinem Prüfstand tat es das nicht.
Im November habe ich die Token jeder Runde gemessen, was das ist, was tatsächlich verbraucht wird. Das Modell mit niedrigem Aufwand löste die beiden Aufgaben mit etwa 112.000 Token. Dasselbe Modell mit mittlerem Aufwand verbrauchte das 2,3-Fache davon und lieferte dieselbe Änderung. Ein "Orchester-Modus", der Schritte an einen Helfer verteilt, verbrauchte etwa 349.000, um an dasselbe Ziel zu gelangen.
Einen Monat zuvor war der Generationswechsel noch deutlicher gewesen: 165.000 Token gegenüber 713.000, bei demselben Ergebnis und weniger als der Hälfte der Schritte. Das alte Modell hat keine Fehler gemacht. Es hat nur mehr Umwege gemacht.
Der Prüfstand ist zu einfach, um Modelle bei schwierigen Aufgaben zu trennen, und das ist mir bewusst. Er beantwortet nur eine Frage: Welches ist für die Fleißarbeit das günstigste, das nicht in die Fallen tappt?
Auch die Werkbank war fehlerhaft
In der November-Runde stellte ich fest, dass der Testbefehl für die Aufgaben selbst durch ein Node-Update kaputtgegangen war. Die Tests wurden nicht einmal ausgeführt.
Was die Runde rettete, war der Bericht der Agenten. Alle sechzehn gaben an, dass der Befehl fehlgeschlagen war, und zeigten, welchen Befehl sie stattdessen verwendet hatten. Kein falsches Grün. Ich habe die Berechnungen mit dem richtigen Befehl wiederholt.
Ich habe auch gelernt, keine Runden von verschiedenen Tagen zu vergleichen. Dasselbe Modell maß im Oktober 165.000 Token und im November 224.000, mit einer anderen Version des Tools und einer anderen Zählweise. Ich vergleiche nur Zahlen mit Zahlen aus derselben Runde.
Was bei dem bleibt, der überprüft
Ein einmaliges Experiment: Ich ließ die günstige KI fünf Schritte eines meiner Projekte alleine durchführen. Danach überprüfte ich das Ganze: sechs schwere Mängel, vier davon bereits live, und die Zusammenfassung war in allen fünf Schritten falsch. Die nachträgliche Überprüfung kostete genauso viel wie die direkte Erstellung.
Mit schriftlicher Anweisung und Überprüfung nach jedem Schritt: kein schwerer Mangel und eine treue Zusammenfassung.
Die schweren Mängel tauchten nicht in den Tests auf, die der Agent schrieb. Sie tauchten auf, als ich das System gegen reale Daten laufen ließ. Der Agent testet das, was er geschrieben hat. Der Fehler liegt in dem, was er vorausgesetzt hat.
Meine Regeln sind heutzutage spärlich:
Ich lese die Änderung Zeile für Zeile, nicht die Zusammenfassung.
Ich verlange die tatsächliche, eingefügte Ausgabe des Befehls und nicht nur ein "bestanden".
Ich behalte einen Richter, den derjenige, der die Arbeit macht, nicht sieht.
Ich messe den Aufwand, nicht den Eindruck von Sorgfalt.
Ich misstraue meinem eigenen Maßstab, weil auch er bricht.
Der Code und die Ergebnisse jeder Runde sind unter github.com/vladimirbrasil/dupla öffentlich zugänglich.
Vor Jahren habe ich das von Menschen gelernt: Wenn das Ergebnis nur von dem gemessen wird, der es produziert hat, sieht jeder gut aus. Bei Maschinen ist das im Moment ganz ähnlich.
Zusammenfassend lässt sich sagen, dass sich die Token durch diese doppelte Schicht verschiedener Unternehmen viel, viel mehr lohnen. Ich mache vorerst so weiter.
Antworten