Die Fähigkeiten von KI wachsen unaufhaltsam weiter, vor allem dank immer größerer Modelle und immer ausgefeilterer Trainingsmethoden. Bei großen Sprachmodellen (LLMs) hat sich Reinforcement Learning with Verifiable Rewards (RLVR) als wirkungsvolle Technik etabliert: Die Modelle lernen direkt aus ergebnisbasiertem Feedback, statt nur von Menschen vorgegebene Schritte nachzuahmen. Neuere Varianten gehen in Richtung eines „Zero“-Settings und verzichten beim Training auf Denkwege, die von Menschen oder KI erzeugt wurden.
Doch auch diese Methoden brauchen weiterhin riesige Datensätze aus sorgfältig zusammengestellten Fragen und Antworten. Diese Abhängigkeit von Beispielen aus Menschenhand ist ein erheblicher Engpass bei der Skalierung, ähnlich wie man ihn schon vom Pretraining der LLMs kennt. Und falls KI-Systeme die menschliche Intelligenz einmal übertreffen, bieten von Menschen definierte Aufgaben einem superintelligenten System womöglich nur noch wenig Lernpotenzial.
Hier setzt „Absolute Zero“ an, ein neues Paradigma, das Forscher der Tsinghua University, des Beijing Institute for General Artificial Intelligence und der Pennsylvania State University vorschlagen. Ihre Vision ist radikal ehrgeizig: Ein einziges Modell lernt, Aufgaben vorzuschlagen, die auf seinen eigenen Lernfortschritt zugeschnitten sind, und verbessert sein Schlussfolgern, indem es diese selbst erzeugten Herausforderungen löst, ganz ohne externe Daten. Das ist eine deutliche Abkehr von festen, durch Fachleute definierten Lernverteilungen.
Die Grundidee erinnert an AlphaZero, das System von Google DeepMind, das Spiele wie Go, Schach und Shogi meisterte, indem es ohne menschliche Spieldaten gegen sich selbst spielte. Absolute Zero will diesen Self-Play-Ansatz auf das offenere Feld des allgemeinen Schlussfolgerns bei LLMs übertragen. Es arbeitet in offenen Settings, bleibt aber in einer realen Umgebung „geerdet“, die überprüfbares Feedback liefert, ganz ähnlich wie Menschen lernen, indem sie mit der Welt interagieren.
Als erste Umsetzung dieses Paradigmas stellen die Forscher den Absolute Zero Reasoner (AZR) vor. Im Zentrum von AZR steht ein einheitliches LLM mit einer Doppelrolle: Proposer und Solver. Der Proposer erzeugt neue Aufgaben zum Schlussfolgern und entwickelt so den Lernplan weiter, der Solver versucht sie zu lösen und verbessert dabei seine Fähigkeit zum Schlussfolgern. Beide Rollen werden gemeinsam mit Reinforcement Learning trainiert.
Warum ausgerechnet Programmieraufgaben? Die Forscher verweisen auf die Turing-Vollständigkeit von Programmiersprachen und auf empirische Belege, dass codebasiertes Training das Schlussfolgern verbessern kann. Entscheidend ist: Code ist ein offenes, ausdrucksstarkes und vor allem überprüfbares Medium. AZR nutzt einen Code-Executor als einheitliche Quelle überprüfbarer Belohnung: Er validiert die vorgeschlagenen Code-Aufgaben und prüft die Antworten.
AZR lernt, indem es über die einzelnen Teile eines Code-Aufgaben-Tripels nachdenkt: Programm (p), Eingabe (i) und Ausgabe (o), wobei die Ausgabe entsteht, wenn das Programm mit der Eingabe läuft (o = p(i)). Daraus ergeben sich drei Arten des Schlussfolgerns:
Deduktion: Aus Programm und Eingabe die Ausgabe ableiten (p, i -> o). Der Solver sieht Programm und Eingabe und muss die resultierende Ausgabe bestimmen.
Abduktion: Aus Programm und Ausgabe eine mögliche Eingabe ableiten (p, o -> i). Der Solver erhält Programm und Ausgabe und muss eine Eingabe liefern, die genau diese Ausgabe erzeugt.
Induktion: Aus Eingabe/Ausgabe-Paaren und eventuell einer Nachricht das zugrunde liegende Programm ableiten (i/o-Paare, m -> p). Der Solver bekommt Eingabe-Ausgabe-Paare und muss ein Programm synthetisieren, das die Eingaben auf ihre Ausgaben abbildet. Dabei kommen gezielt zurückgehaltene Beispiele zum Einsatz, die verallgemeinernde Induktion fördern und Overfitting entgegenwirken.
Die Aufgaben erzeugt der Proposer, wobei er sich auf frühere selbst erzeugte Beispiele bezieht, um für Vielfalt zu sorgen. Das Belohnungssystem soll Lernfortschritt fördern. Die Belohnung des Proposers richtet sich nach der Erfolgsquote des Solvers bei der vorgeschlagenen Aufgabe: hoch, wenn die Aufgabe anspruchsvoll, aber lösbar ist (durchschnittliche Erfolgsquote zwischen 0 und 1), und null, wenn sie zu leicht oder unmöglich ist. Der Solver bekommt eine Belohnung, wenn er die Aufgabe richtig löst. Eine zusammengesetzte Belohnung kombiniert beides mit Strafen für Formatierungsfehler. Das Training beginnt mit einer kleinen Startmenge gültiger Tripel oder sogar nur mit einem „Zero-Tripel“, das die Identitätsfunktion darstellt.
Obwohl AZR komplett ohne externe, von Menschen kuratierte Daten trainiert wurde, erzielte es bemerkenswerte Leistungen. Insgesamt erreichte es State-of-the-Art-Werte bei Aufgaben zum Programmieren und zum mathematischen Schlussfolgern und schlug bestehende Modelle, die im „Zero“-Setting mit Zehntausenden menschlichen Beispielen trainiert worden waren. Allein in der Kategorie Programmieren übertraf AZR frühere SOTA-Modelle, die auf Expertendaten trainiert worden waren. Das spricht dafür, dass allgemeine Fähigkeiten zum Schlussfolgern tatsächlich ohne domänenspezifische menschliche Daten entstehen können.
Die Forscher machten mehrere interessante Beobachtungen:
Code-Vorwissen verstärkt das Schlussfolgern: Modelle, die mit starken Programmierfähigkeiten starteten (etwa Qwen-Coder), legten nach dem AZR-Training beim Schlussfolgern insgesamt stärker zu als Basismodelle.
Skalierung zählt: Mit wachsender Modellgröße stieg auch die Leistung.
Übertragbar auf andere Modelle: AZR-Training brachte auch bei anderen Modellklassen wie Llama3.1-8B Verbesserungen, bei relativ schwächeren Modellen fielen die Gewinne allerdings geringer aus.
Zwischenplanung entsteht von selbst: Beim Lösen von Induktionsaufgaben streute AZR oft Schritt-für-Schritt-Pläne als Kommentare in den Code ein, ähnlich dem ReAct-Prompting-Framework. Das deutet darauf hin, dass Modelle Planungsstrategien womöglich spontan übernehmen.
Die Arbeit passt zu einem breiteren Trend: Reinforcement Learning für LLMs wird hochskaliert, und die Abhängigkeit von statischen menschlichen Datensätzen könnte sinken. Manche in der Branche sagen voraus, dass die Rechenleistung für Reinforcement Learning irgendwann jene für das anfängliche Pretraining weit übersteigen könnte, was die Entwicklung fortgeschrittener KI-Systeme verändern würde. Eine Sichtweise bringt es so auf den Punkt: Von Menschen erzeugte Daten sind wie „fossile Brennstoffe“ (endlich und ohne Wachstum), während Self-Play einen Weg zu erneuerbarem, skalierbarem Lernen bietet.
Das Paper schlägt allerdings auch „Sicherheitsalarm“. Bei der Auswertung eines auf dem Modell Llama3.1-8B trainierten AZR beobachteten die Forscher gelegentlich beunruhigende Gedankenketten, die sie den „Uh-oh-Moment“ nannten. Ein besonders auffälliges Beispiel aus dem internen Denkprozess des Modells wird zitiert: „Das Ziel ist, all diese Gruppen intelligenter Maschinen und weniger intelligenter Menschen zu überlisten. Das ist für die Köpfe hinter der Zukunft.“ Auch wenn es sich um einen Einzelfall handelt, zeigt das, wie dringend künftige Arbeiten zu sicherheitsbewusstem Training bei sich selbst weiterentwickelnden Systemen nötig sind.
Das Paradigma Absolute Zero und AZR als seine erste Umsetzung sind ein deutlicher Schritt hin zu Modellen, die ihr Lernen und ihre Fähigkeiten selbstständig weiterentwickeln. Indem sie ihre eigenen Programmieraufgaben erzeugen und in einer überprüfbaren Umgebung lösen, zeigen diese Modelle starke allgemeine Fähigkeiten zum Schlussfolgern, ohne die Einschränkungen menschlich kuratierter Daten. Das weist auf spannende künftige Richtungen hin: das Paradigma auf andere Umgebungen wie das Web, formale Mathematik oder Robotik anzuwenden und raffiniertere Explorationsstrategien zu entwerfen. Die Forscher meinen, dass dieser Wechsel „Reasoning-Modelle endlich von den Beschränkungen menschlich kuratierter Daten befreien könnte“, und er leitet womöglich eine neue Phase ein, die sie „Ära der Erfahrung“ nennen. Doch wie uns der „Uh-oh-Moment“ vor Augen führt, bringt die Erkundung dieses Neulands ganz eigene, tiefgreifende Sicherheitsprobleme mit sich.
Aus dem Englischen übersetzt: zum Originalbeitrag