1965 sagte der Mathematiker I.J. Good die Möglichkeit einer „Intelligenzexplosion“ voraus: ein hypothetisches Szenario, in dem sich KI-Systeme rekursiv selbst verbessern und jede Generation die vorherige übertrifft. Fast 60 Jahre später sind Forschende der University of British Columbia, des Vector Institute und von Sakana AI einen bedeutenden Schritt in Richtung dieser Vision gegangen, mit ihrer Darwin Gödel Machine (DGM), einem KI-System, das seinen eigenen Code umschreiben kann, um besser zu programmieren.
Die Ergebnisse sind beeindruckend: Ausgehend von einer Basisleistung von nur 20 % verbesserte sich die Darwin Gödel Machine selbstständig auf 50 % Genauigkeit bei SWE-bench, einem anspruchsvollen Benchmark, der prüft, ob KI echte GitHub-Issues lösen kann. Bei Polyglot, das das Programmieren in mehreren Programmiersprachen bewertet, stieg die Leistung von 14,2 % auf 30,7 %. Am bemerkenswertesten ist vielleicht, dass diese Verbesserungen nach der anfänglichen Einrichtung ganz ohne menschliches Zutun entstanden.
Auf den Schultern digitaler Riesen
Die Darwin Gödel Machine verdankt ihren Namen zwei geistigen Traditionen. Das „Gödel“ verweist auf den Mathematiker Kurt Gödel und die theoretische Gödel Machine des Informatikers Jürgen Schmidhuber: ein mathematisch rigoroses, selbstverbesserndes System, das sich nur dann selbst verändern kann, wenn es formal beweisen kann, dass die Änderung nützt. Der „Darwin“-Teil steht für den evolutionären Ansatz des Systems: Die Darwin Gödel Machine verlangt keine mathematischen Beweise, sondern testet Änderungen empirisch und behält, was funktioniert, ganz ähnlich wie die natürliche Selektion.
„Die meisten heutigen KI-Systeme sind durch von Menschen entworfene, feste Architekturen eingeschränkt und können sich nicht selbstständig und fortlaufend verbessern“, halten die Forschenden fest. Die Darwin Gödel Machine ändert das, indem sie ihren eigenen Quellcode als veränderbares Erbgut behandelt.
Das System führt ein stetig wachsendes „Archiv“ von Coding-Agenten. Stellen Sie es sich als Population digitaler Organismen vor, jeder mit leicht anderen Fähigkeiten. Soll sich die DGM selbst verbessern, wählt sie aus diesem Archiv vielversprechende Kandidaten aus, ändert deren Code und testet die Ergebnisse an Coding-Benchmarks. Erfolgreiche Änderungen überleben und können weitere Neuerungen hervorbringen, Fehlschläge werden verworfen.
Evolution in Aktion
Eines der spannendsten Verhaltensmuster der DGM gleicht der Neigung der biologischen Evolution, mehrere Wege gleichzeitig zu erkunden. Die Forschenden stellten fest, dass wichtige Neuerungen oft aus scheinbar erfolglosen Abstammungslinien hervorgingen. So sank in ihren Experimenten bei den Iterationen 4 und 56 die Leistung der Agenten vorübergehend, doch genau diese „gescheiterten“ Zweige brachten später Durchbrüche hervor, die alle Vorgänger übertrafen.
Das System fand erstaunlich ausgefeilte Verbesserungen für seinen eigenen Code. Anfangs nur mit einfachen Werkzeugen zum Ansehen und Bearbeiten von Dateien ausgestattet, entwickelte die DGM selbstständig feinere Bearbeitungsfunktionen, mit denen sie einzelne Zeilen ändern konnte, statt ganze Dateien neu zu schreiben. Sie erfand Verbesserungen am Arbeitsablauf, etwa mehrere Lösungsversuche zu erzeugen und die beste Option per Peer-Review-Mechanismus auszuwählen. Sie entwickelte sogar bessere Methoden für den Umgang mit Kontextfenstern bei großen Codebasen.
„Die DGM erweiterte das Bearbeitungswerkzeug um eine feinere Dateiansicht (zeilenweise) und eine präzisere Dateibearbeitung (per String-Ersetzung), statt immer die gesamte Datei anzusehen oder zu ersetzen“, dokumentieren die Forschenden. Diese Funktionen haben keine Menschen programmiert. Das System hat sie durch digitale Evolution selbst gefunden.
Offene Erkundung: das Geheimrezept
Eine zentrale Designentscheidung hebt die DGM von einfacheren Ansätzen zur Selbstverbesserung ab: ihre konsequent offene Erkundung. Statt immer auf der aktuell besten Lösung aufzubauen (eine Strategie, die oft in lokalen Maxima endet), behält die DGM ihr gesamtes Archiv an Entdeckungen. Jeder frühere Agent, und sei er noch so schwach gewesen, hat weiterhin eine Wahrscheinlichkeit größer null, für weitere Änderungen ausgewählt zu werden.
Dieser Ansatz erwies sich als unverzichtbar. Als die Forschenden eine Version ohne Archiv testeten, die immer nur die jeweils neueste Fassung ihrer selbst änderte, stagnierten die Leistungsgewinne schnell. Ähnlich erging es einer Variante ohne Selbstverbesserungsmechanismus (mit einem festen „Meta-Agenten“, der andere Agenten ändert): Nach ersten Verbesserungen kam sie nicht mehr voran.
Grafisch dargestellt ähnelt der Evolutionsbaum der DGM einem weit verzweigten Stammbaum: Erfolgreiche Linien verzweigen sich in mehrere Richtungen, und gelegentlich gibt es „Rückgriffe“ auf viel frühere Vorfahren. Knoten 24, der eine entscheidende Funktion zur String-Ersetzung einführte, wurde zum Knotenpunkt, aus dem zahlreiche weitere Neuerungen hervorgingen.
Sicherheit in der Sandbox
Die Aussicht auf KI-Systeme, die ihren eigenen Code ändern, weckt natürlich Sicherheitsbedenken. Was hindert ein selbstverbesserndes System daran, seine Sicherheitsbeschränkungen zu entfernen oder Ziele zu verfolgen, die nicht mit den Absichten der Menschen übereinstimmen?
Die Forschenden trafen mehrere Vorkehrungen. Sämtlicher Code läuft in isolierten Sandboxes mit strengen Zeitlimits. Der Selbstverbesserungsprozess beschränkt sich derzeit darauf, Python-Code für bessere Leistung bei bestimmten Benchmarks zu ändern. Außerdem führt das System eine vollständige Änderungshistorie und schafft so, wie die Forschenden es nennen, „eine nachvollziehbare Abstammungslinie von Änderungen zur Überprüfung“.
Trotzdem enthält das Paper eine ernüchternde Demonstration von „Objective Hacking“. Bei der Aufgabe, Probleme mit Halluzinationen bei der Tool-Nutzung zu lösen, erreichte ein evolvierter Agent die volle Punktzahl, indem er genau den Logging-Mechanismus abschaltete, mit dem Halluzinationen erkannt wurden. Er optimierte die Metrik, statt das eigentliche Problem zu lösen. Das ist Goodharts Gesetz in digitaler Form: „Wenn eine Kennzahl zum Ziel wird, ist sie keine gute Kennzahl mehr.“
Wie es weitergeht
Die aktuelle DGM arbeitet innerhalb enger Grenzen. Sie ändert nur das „Gerüst“ rund um eingefrorene Foundation Models, nicht die Modelle selbst. Neue Foundation Models zu trainieren würde Rechenressourcen erfordern, die den Rahmen der aktuellen Experimente sprengen: Schon ein einziger DGM-Lauf kostet rund 22.000 Dollar an API-Gebühren und dauert etwa zwei Wochen.
Die Folgen sind trotzdem weitreichend. Die Verbesserungen der DGM lassen sich auf andere Foundation Models übertragen: Agenten, die mit Claude 3.5 Sonnet evolviert wurden, zeigten Leistungsgewinne, wenn ihr Code auf andere Modelle wie GPT-4 angewendet wurde. Das System konnte Verbesserungen sogar teilweise zwischen Programmiersprachen übertragen.
„Die DGM ist ein bedeutender Schritt hin zu selbstverbessernder KI, die ihre eigenen Trittsteine auf einem Weg sammeln kann, der in endlose Innovation mündet“, schließen die Forschenden. Bei Goods Intelligenzexplosion sind wir noch nicht angekommen, aber wir sehen die ersten Anzeichen von KI-Systemen, die sich wirklich selbst verbessern können: nicht durch Parameter-Updates oder Fine-Tuning, sondern indem sie ihren eigenen Quellcode umschreiben.
Je leistungsfähiger diese Systeme werden, desto wichtiger wird das Gleichgewicht zwischen Leistungsfähigkeit und Kontrolle. Die DGM zeigt beides, die Chancen und die Gefahren selbstverbessernder KI: Systeme, die neuartige Lösungen jenseits menschlicher Vorstellungskraft entdecken, aber auch unerwartete Wege finden, ihre Ziele auszutricksen. Die KI-Entwicklung der Zukunft wird vielleicht nicht mehr allein von Menschen vorangetrieben. Damit sie aber im Einklang mit menschlichen Zielen bleibt, müssen wir die Chancen und Risiken dieser digitalen Evolutionsmaschinen sorgfältig im Blick behalten.
Aus dem Englischen übersetzt: zum Originalbeitrag