Die Idee der Softwarefabrik ist alt und kommt immer wieder zurück. Etwa alle zehn Jahre schlägt jemand vor, Software nicht mehr so herzustellen, wie Handwerker Möbel bauen, sondern so, wie die Industrie alles andere fertigt: mit Standardprozessen, wiederverwendbaren Teilen, einem Fließband und einem Ausstoß, den man mit zusätzlicher Kapazität skaliert statt mit zusätzlichen Genies. Die japanischen Elektronikriesen bauten in den 1970er- und 1980er-Jahren Softwarefabriken. Arbeiten aus dem Umfeld von Microsoft belebten den Begriff in den 2000er-Jahren wieder, mit Software Factories: Assembling Applications with Patterns, Models, Frameworks, and Tools. Die agentische Version ist die, die jetzt vor uns liegt: eine Mannschaft aus Modellen, die nach einem Auftrag Code schreiben, testen und ausliefern kann. Sie lässt den alten Traum so erreichbar wirken, wie er bisher nie ganz gewirkt hat.
Die Metapher trägt eine Annahme in sich, die sie nie ausspricht, und um diese Annahme geht es in diesem Text. Die vereinfachte Fabrikgeschichte geht von einem Teil aus, das nach einer festen Spezifikation gefertigt wird, und von einem Quality Gate, das dieses Teil gegen die Spezifikation prüft. Eine Fabrik, die Software verbessert, hat aber keine feste Spezifikation, gegen die sie prüfen könnte. Ihre ganze Aufgabe besteht darin herauszufinden, ob eine Änderung das Ding besser gemacht hat, draußen in der Welt, wo das Ding läuft. Und dieses Herausfinden, nicht die Produktion, ist die ganze Schwierigkeit.
Ich dachte, ich baue eine Fabrik und probiere sie an clive aus, einem Environment-Interface-Agenten, bei dem das Modell keine saubere Tool-API aufruft, sondern in einem Terminal lebt: Es liest den Bildschirm, tippt, beobachtet, was passiert, und wiederholt das Ganze. In Wirklichkeit hatte ich das Verhältnis aber irgendwie verkehrt herum gesehen. clive war nie der Testfall, an dem die Fabrik erprobt wurde. Es war eher das Gebilde, um das herum die Fabrik eigentlich gewachsen ist. Je fähiger clive wurde, desto größer und komplexer musste die Fabrik werden und, ja, in gewissem Sinn auch seltsamer.
Im Kern geht es darum, dass eine Fabrik nur verbessern kann, was sie messen kann. Die Komplexität der Fabrik wächst also mit der Schwierigkeit, das Zielsystem an der Realität zu verankern: damit, wie schwer es geworden ist zu sagen, ob eine bestimmte Änderung geholfen hat. Das ist nicht dasselbe wie die Komplexität des Zielsystems. Es ist eine Art Metakomplexität der Fabrik, und die beiden steigen meistens gemeinsam.
Das steht im Gegensatz zu anderen gut etablierten Systemen wie autoresearch. Es verbessert ein Zielsystem von unbegrenzter innerer Komplexität, beliebige Eingriffe an einem neuronalen Netz, mit drei Dateien und einem einzigen Agenten. Das gelingt, weil die Messung billig und sauber bleibt, egal wie komplex das Modell wird: Das Experiment läuft fünf Minuten, man liest die Validierungs-Bits pro Byte ab und behält die Änderung nur, wenn die Zahl besser wird.
Ein komplexes Zielsystem mit einem einfachen Sensor braucht folglich nur eine triviale Fabrik. Ein einfach wirkendes Zielsystem mit unscharfen Erfolgsbedingungen braucht unter Umständen eine viel seltsamere. Es geht also nicht einfach darum, die Fabrik mit dem Zielsystem wachsen zu lassen. Die Regel lautet: Lassen Sie die Fabrik genau so weit wachsen, wie die Ground Truth des Zielsystems schwerer lesbar wird, und keine einzige Komponente weiter. Sie können nicht über Ihre Prüfinstanz hinausbauen.
Das sagt Ihnen auch, wie Sie anfangen: nämlich gerade nicht damit, die Flotte zu bauen, die Sie irgendwann haben wollen. Sie beginnen mit einem Agenten, der Code schreibt, und einer an der Realität verankerten Prüfung, die sagen kann, ob der Code seine Aufgabe erfüllt hat. Dann ergänzen Sie Fähigkeiten nur dort, wo diese einfachere Fabrik blind geworden ist. Jedes neue Teil ist die Antwort auf eine bestimmte Blindheit und nichts, was dabei ist, weil es mächtig klingt. Ein zurückgehaltenes Testset, weil der Optimierer begann, die sichtbaren Aufgaben zu bestehen und am Rest zu scheitern. Ein adversarialer Tester, weil niemand die schwierigen Fälle produzierte. Ein Dirigent, weil die Arbeit über das hinausgewachsen war, was ein einzelner geplanter Batch fassen konnte.
Jede neue Schicht verdient sich ihren Platz durch ein konkretes Versagen der vorherigen. Sie entwerfen die Flotte nicht. Es ist ein organischer Prozess, der sich mit wachsender Autonomie aus einem von Hand angekurbelten Kern heraus selbst formt, jeweils eine Ebene höher. Eine saubere Geschichte im Gleichschritt gibt es hier nicht zu erzählen, es ist eine Geschichte der Koevolution. Das deutlichste Einzelbild dieser Koevolution von Fabrik und Produkt findet sich in den Logs aus der Zeit, als die Fabrik clive baute. Die Fabrik hat ihre Sicherheitsgrenze nicht selbst entworfen und clive aufgezwungen. Sie las clives eigene Verfassung, also die Stufen, die clive bereits als unveränderlich markiert, und fror genau diese ein. Das Zielsystem griff nach oben und formte die Struktur dessen, was zu seiner Verbesserung gebaut worden war.
Ich halte das für den zentralen und interessantesten Teil, den die Metapher der Softwarefabrik meist übersieht. Die Fabrik steht nicht außerhalb des Produkts und stanzt Teile. Sie ist über die Sensoren mit dem Produkt verbunden, und beide entwickeln sich gemeinsam. Ist der Sensor sauber, kann die Fabrik klein bleiben. Wird der Sensor trüb, müssen der Fabrik Augen, ein Gedächtnis, Gegenspieler, Reviewer und irgendwann ein Management wachsen. Das Zielsystem nimmt den Output der Fabrik nicht bloß entgegen: Es legt die Bedingungen fest, unter denen man diesen Output besser nennen kann.
Das Prinzip eröffnet eine reizvolle Perspektive: Was passiert, wenn man die Fabrik auf sich selbst richtet? Ein Werkzeug wie clive lässt sich danach bewerten, ob der Befehl funktioniert hat. Eine Forschungsschleife lässt sich nach dem Validation Loss bewerten. Eine Fabrik ist aber ein System aus Vorschlagen, Urteilen, Sicherheit, Orchestrierung, Reparatur und Zurückhaltung. Um dieses System zu verbessern, braucht die nächste Fabrik eine Prüfinstanz für all das. Das ist eine deutlich höhere Hürde, aber eine sehr faszinierende.
Aus dem Englischen übersetzt: zum Originalbeitrag