Interleaved Reasoning: Die KI, die zum Denken innehält

Als Moonshot AI vorführte, wie sein Modell Kimi K2 ein Mathematikproblem aus der hyperbolischen Geometrie auf Doktoratsniveau anging, rechnete die KI laut den in der technischen Dokumentation veröffentlichten Beispielen nicht einfach eine Antwort aus. Sie arbeitete sich durch 23 Schritte: Sie durchsuchte Fachliteratur, rechnete, überdachte ihren Ansatz anhand der Ergebnisse, fragte erneut Datenbanken ab und wiederholte das, bis sie die Lösung hatte. Jeder Schritt bestimmte den nächsten. Jeder Tool-Aufruf löste neues Nachdenken aus.

Forscher nennen diese Fähigkeit Interleaved Reasoning (auch Interleaved Thinking), und sie verändert qualitativ, wie KI-Systeme arbeiten. Klassische Modelle erzeugen eine vollständige Gedankenkette, bevor sie handeln. Bei Interleaved Reasoning wechseln die Modelle dagegen zwischen Denken und Handeln: ein wenig überlegen, ein Tool aufrufen (etwa API-Aufrufe, Browser-Sitzungen, Codeausführung), das Ergebnis aufnehmen, den Plan anpassen, von vorn. Die eigentliche Neuerung: Die interne Chain-of-Thought bleibt über die Tool-Aufrufe hinweg erhalten und fließt in die folgenden Schritte zurück, sodass die gesamte Denkspur als Kontext verfügbar bleibt.

Modelle wie MiniMax M2 und Kimi K2 Thinking sollen laut Herstellerangaben 200 bis 300 aufeinanderfolgende Tool-Aufrufe ohne menschliches Eingreifen unterstützen und damit Probleme lösen, die noch vor wenigen Monaten unlösbar gewesen wären. Doch während die KI-Branche diesen Ansatz eilig umsetzt, zeigt sich eine wenig aufgeräumte Realität: Der Großteil der heutigen Infrastruktur wurde für zustandslose Chatbots gebaut, nicht für Agenten, die ihren inneren Monolog streamen.

Mehr als Chain-of-Thought: Wenn Zustand zum Gedächtnis wird

In der Praxis besteht dieser „Zustand“ einfach aus weiteren Token: Pläne, Hypothesen, Randbedingungen, Zwischenergebnisse, auf die spätere Schritte zugreifen können. Diese simple technische Tatsache hat aber weitreichende Folgen.

Klassische Chain-of-Thought-Prompts (CoT) verlangen vom Modell eine Denkspur, meist aber in einem Durchgang, bevor die Antwort kommt. Forscher schrauben zwar seit Jahren externe Tools an CoT an, aber Interleaved Reasoning unterscheidet sich dadurch, dass es auf API- und Modellebene von Haus aus Folgendes unterstützt:

Mehrere sichtbare Denksegmente
Durchsetzt von Tool-Aufrufen
Wobei dieses Denken als Zustand in die folgenden Schritte zurückfließt

„Agenten brauchen Interleaved Thinking. Komplexe Agentenaufgaben haben extrem lange Kontexte. Ein einziger Denkprozess zu Beginn reicht nicht aus, um Anweisungstreue und Kohärenz aufrechtzuerhalten.“
MiniMax-AI-Team, „Aligning to What?“

„Agenten brauchen Interleaved Thinking“, schreibt das MiniMax-Team in seiner technischen Post-mortem-Analyse „Aligning to What? Rethinking Agent Generalization in MiniMax M2“. „Komplexe Agentenaufgaben haben extrem lange Kontexte. Ein einziger Denkprozess zu Beginn reicht nicht aus, um Anweisungstreue und Kohärenz aufrechtzuerhalten.“

Noch wichtiger ist, dass Agentenaufgaben ständig unvorhersehbare Störungen von außen mit sich bringen: Tool-Ausgaben, API-Antworten, Änderungen im Dateisystem. Tauschen Sie die Tools aus, ändern Sie einen System-Prompt, unterbrechen Sie mitten in der Aufgabe die Netzwerkverbindung: Das Modell muss mit diesen Störungen umgehen, Fehler diagnostizieren und nützliche Informationen herausziehen. Mit Interleaved Reasoning kann es laufend neu bewerten und sich anpassen.

Geht der vorherige Zustand verloren, bricht das aufgebaute Verständnis zusammen. Der Zustand driftet stärker, die Selbstkorrektur lässt nach. Auch die Planung wird schlechter, besonders bei Tool-Ketten mit langem Horizont und Run-and-Fix-Schleifen.

Der Benchmark-Beleg: Wenn Gedächtnis wirklich zählt

MiniMax hat diesen Effekt in einem kontrollierten Experiment gemessen und die Leistung von M2 über mehrere Benchmarks hinweg verglichen, einmal mit erhaltenem und einmal mit verworfenem Denkzustand. Die Ergebnisse, veröffentlicht in der technischen Ankündigung „Interleaved Thinking Unlocks Reliable MiniMax-M2 Agentic Capability“ vom November 2025, zeigen drastische Unterschiede:

Benchmark	Mit Zustand	Ohne Zustand	Verbesserung
SWE-Bench Verified	69,4 %	67,2 %	+3,3 %
Tau²	87	64	+35,9 %
BrowseComp	44,0 %	31,4 %	+40,1 %
GAIA	75,7 %	67,9 %	+11,5 %
xBench	72,0 %	66,0 %	+9,1 %

Besonders auffällig ist die Verbesserung um 40 % bei BrowseComp, einem Benchmark, der testet, ob eine KI fortlaufend im Web surfen, suchen und über schwer auffindbare Informationen nachdenken kann. MiniMax formuliert es so: „Bei Zuverlässigkeit geht es nicht nur darum, was das Modell bisher erschlossen hat, sondern auch darum, ob es das, was es zuvor gedacht hat, noch einmal aufgreifen und korrigieren kann.“

Die Leistung reicht über kontrollierte Benchmarks hinaus. Anthropic berichtet, dass Claude Sonnet 4.5 in einem agentischen Setup mit aktiviertem Extended Thinking und parallelem Test-Time Compute eine starke Leistung bei SWE-bench Verified erreicht, einem Benchmark, bei dem Modelle echte Bugs in echten GitHub-Repositories beheben müssen. Moonshot gibt für Kimi K2 Thinking 44,9 % bei Humanity’s Last Exam, 60,2 % bei BrowseComp und 71,3 % bei SWE-Bench Verified an, laut den veröffentlichten Ergebnissen nach der Methodik von Artificial Analysis.

Wie immer ist Vorsicht geboten: Benchmarks unterscheiden sich in Bewertungsmethodik, Prompt Engineering und Test-Time-Compute-Einstellungen, modellübergreifende Vergleiche sind daher bestenfalls Näherungen.

Wer liefert was: Die Chronologie von Interleaved Reasoning

Anthropic machte im Mai 2025 mit Claude 4 Opus und Sonnet den Anfang. Extended Thinking mit Tool-Nutzung, in der offiziellen Claude-API-Dokumentation beschrieben, ließ Claude zwischen Nachdenken und Tool-Nutzung wechseln, wobei die Thinking Blocks über Tool-Aufrufe hinweg erhalten blieben. Aktiviert wird die Funktion über einen Beta-API-Header.

Im September 2025 brachte Anthropic Claude Sonnet 4.5 heraus, das diese Fähigkeiten laut Unternehmensunterlagen weiter verfeinerte.

Proprietär blieb die Technik aber nicht. MiniMax M2, im Oktober 2025 erschienen, war das erste große Open-Weight-Modell, das Interleaved Reasoning offiziell zugänglich machte. Die Mixture-of-Experts-Architektur mit 230 Milliarden Parametern (bei der Inferenz sind nur 10 Milliarden aktiv) schließt ihr Denken in <think>...</think>-Tags ein und erwartet, dass Anwendungen diese bei jedem Durchgang zurückgeben, wie Simon Willisons technische Analyse und die Dokumentation von MiniMax im Detail beschreiben.

Im November 2025 folgte dann Kimi K2 Thinking von Moonshot AI. Das Training des Modells soll rund 4,6 Millionen Dollar gekostet haben (laut CNBC unter Berufung auf eine anonyme Quelle, nicht verifiziert, aber vielfach zitiert), ein winziger Bruchteil dessen, was Frontier-Labs üblicherweise ausgeben. Das Modell soll laut den von Moonshot veröffentlichten Ergebnissen bei ausgewählten Reasoning- und Agenten-Benchmarks mit GPT-5 und Claude Sonnet 4.5 gleichziehen oder sie übertreffen, wobei direkte Vergleiche wegen unterschiedlicher Evaluationsprotokolle schwierig bleiben.

Kimi K2 setzt auf quantisierungsbewusstes Training mit INT4 und generiert so rund 2-mal so schnell, bei weiterhin konkurrenzfähigen Benchmark-Ergebnissen. Alle gemeldeten Werte stammen aus dieser optimierten Inferenz, einen Etikettenschwindel zwischen Evaluation und Produktion gibt es also nicht.

OpenAI wählte einen philosophisch anderen Weg. Seine Reasoning-Modelle der o-Serie nutzen das, was OpenAI eine „private Chain of Thought“ nennt: Der Denkprozess bleibt für Nutzer unsichtbar und läuft vollständig auf dem Server. Sie sehen die endgültige Antwort und die Tool-Nutzung, aber nicht das Denken dazwischen.

Die Infrastrukturfalle: Wenn Frameworks Agenten lobotomieren

Ein unbequemes Detail am heutigen KI-Stack: Das meiste Tooling wurde für zustandslose Chatbots gebaut, nicht für Agenten, die ihren inneren Monolog streamen.

Bei den Reasoning-Modellen der o-Serie und GPT-5 verbirgt OpenAI die Reasoning-Token vollständig. Die Chat Completions API bekommt sie nie zu sehen. Das Denken läuft auf dem Server, in dem, was OpenAI als „private Chain of Thought“ dokumentiert. Das ist eine Architektur- und Richtlinienentscheidung: Nutzer bekommen die endgültige Antwort und vielleicht etwas Tool-Nutzung, aber nicht das Denken dazwischen.

Bei Modellen, die sichtbares Denken ausgeben (M2, K2, einige Qwen-Varianten), gehen die meisten verbreiteten Stacks im OpenAI-Stil aber davon aus, dass das Reasoning entweder verborgen oder irrelevant ist. Sichtbare Thinking-Tags werden oft von Middleware verworfen, die für /chat/completions gebaut wurde, sodass früheres Denken nie in den Kontext zurückkommt.

MiniMax M2 zum Beispiel packt sein Denken in <think>...</think>-Blöcke und erwartet, dass Anwendungen diese bei jedem Durchgang zurückgeben. Entfernt Ihr Framework hilfsbereit „nicht für Nutzer bestimmte“ Inhalte, haben Sie Ihren Agenten gerade lobotomiert. Benchmarks mit langem Horizont wie BrowseComp brechen ein, wenn frühere Gedanken verschwinden, wie MiniMax in seinem Implementierungsleitfaden dokumentiert.

Ein Entwickler, der mit M2 arbeitet, beschrieb das so: „Ich habe einen Agenten-Workflow mit 120 Schritten für die Codeanalyse gebaut, und die Leistung brach auf rätselhafte Weise ein. Ich brauchte zwei Tage, um zu merken, dass mein UI-Framework die <think>-Blöcke entfernte. Das Modell war nicht kaputt. Meine Infrastruktur warf sein Gedächtnis weg.“

Die Lösung ist banal: Denkspur aufbewahren und wieder einspielen. MiniMax berichtet aber, dass ein Großteil der Rückmeldungen aus der Community zu Leistungslücken von M2 daher rührt, dass dieser wichtige Kontext versehentlich verworfen wird. Anwendungen geben dem Modell die Schuld statt der Middleware.

Deshalb hat MiniMax eine eigene Unterstützung in seine OpenAI-kompatible API eingebaut: Der Denkprozess des Modells kommt jetzt in einem separaten Feld reasoning_details zurück, statt mit dem Inhalt vermischt zu sein. Wird dieses Feld in folgenden Anfragen mitgeschickt, bleibt die vollständige Chain-of-Thought über mehrere Tool-Aufrufe hinweg erhalten. Mit Partnern aus dem Ökosystem, darunter OpenRouter, Ollama, Vercel und Cline, arbeitet MiniMax daran, Interleaved Reasoning zu testen und korrekt zu implementieren, und will einheitliche Protokollstandards etablieren.

Was Denken kostet: Token-Ökonomie und Cache-Invalidierung

Diese Leistung hat ihren Preis. Extended Thinking mit verschränkter Tool-Nutzung kann 5- bis 10-mal so viele Token verbrauchen wie der Standardmodus, laut der Dokumentation von MiniMax und Analysen zur Ökonomie von Reasoning-Modellen. Wer pro Million Token bezahlt, dem ist diese Rechnung nicht egal.

Der Parameter budget_tokens kann bei Interleaved Reasoning mit Tools das Limit max_tokens überschreiten: Er steht für das Gesamtbudget aller Thinking Blocks innerhalb eines Assistenten-Durchgangs und kann bis zum gesamten Kontextfenster von 200K Token reichen, wie die Dokumentation zu Extended Thinking von Claude ausführt.

Dann wäre da die Cache-Invalidierung. Änderungen an den Thinking-Parametern machen die Cache-Breakpoints von Nachrichten ungültig, wie Anthropics Integrationsleitfaden für AWS Bedrock dokumentiert. Interleaved Reasoning verschärft das Problem, weil Thinking Blocks zwischen mehreren Tool-Aufrufen auftreten können. Jedes Mal, wenn Sie ändern, wie tief das Modell denken soll, verlieren Sie möglicherweise die Leistungsvorteile des Prompt Caching.

Test-Time Scaling, die übergeordnete Kategorie, zu der Interleaved Reasoning gehört, kann bei schwierigen Anfragen gegenüber einem einzelnen Inferenzdurchlauf an ein bis zwei Größenordnungen mehr Rechenleistung heranreichen, laut NVIDIAs Analyse der KI-Skalierungsgesetze und Forschung zu Test-Time-Compute-Methoden.

Bei komplexen agentischen Aufgaben, bei denen die KI selbstständig recherchieren, planen, programmieren, debuggen und iterieren soll, lohnt sich die Investition trotzdem. Der Unterschied ist quantitativ und qualitativ: Diese Systeme bewältigen tatsächlich längere Workflows, ohne die Kohärenz zu verlieren.

Echte Generalisierung: Mehr als Tool-Skalierung

Das Entwicklerteam von MiniMax machte während der Entwicklung von M2 eine unerwartete Entdeckung: Die Zahl und Vielfalt der Tools zu erhöhen, reichte nicht aus. Die Benchmark-Werte stiegen auf ein respektables Niveau, aber sobald sich die Umgebung auch nur leicht änderte, etwa durch den Wechsel zu einem anderen Agenten-Framework, brach die Leistung ein.

„Bei der Generalisierung von Agenten geht es nicht nur um die Anpassung an neue Tools“, schreiben sie in „Aligning to What? Rethinking Agent Generalization in MiniMax M2“. „Es geht um die Anpassung an Störungen im gesamten Betriebsraum des Modells.“

In einer einzigen Agentenaufgabe kann sich alles ändern:

Die Tool-Informationen und die verfügbaren Tools
Der System-Prompt, der Persona und Regeln des Agenten festlegt
Der User-Prompt und sein konkretes Ziel
Die Umgebung selbst (Dateien, Codebasen, APIs)
Die Tool-Antworten, die bei jedem Schritt zurückkommen

Der ursprüngliche Ansatz der „Tool-Skalierung“ behandelte nur den ersten Punkt. Störungen in allen anderen ignorierte er. Die Lösung verlangte eine umfassende Daten-Pipeline für die Generalisierung über die gesamte Trajektorie: Das Modell wird so trainiert, dass es bei jedem Schritt gegenüber Störungen stabil bleibt.

Die Ergebnisse waren ermutigend. In internen Tests setzte MiniMax dem Modell M2 obskure „Cold-Start“-Frameworks vor, Agenten-Gerüste, die beim Training kaum berücksichtigt worden waren. Die Leistung übertraf die Erwartungen: Sowohl Tool-Aufrufe als auch das Befolgen von Anweisungen generalisierten robust.

Diese Erkenntnis erklärt auch, warum Interleaved Reasoning für den realen Einsatz so viel zählt. Es hält nicht nur den Zustand fest, es liefert auch die Denkmechanik, um sich anzupassen, wenn die Außenwelt sich nicht wie erwartet verhält.

Wenn auch 300 Schritte ins Nichts führen

Bei allem, was sie versprechen, bleiben Systeme mit Interleaved Reasoning erstaunlich fragil. Aktuelle Implementierungen verlangen, dass die gesamte Abfolge aufeinanderfolgender Thinking Blocks den Ausgaben der ursprünglichen Anfrage entspricht. Sie können die Abfolge nicht umstellen oder ändern, ohne zu riskieren, die Denkkette zu zerstören.

Diese Sprödigkeit macht praktische Probleme. Sie wollen den Gesprächsverlauf optimieren, indem Sie frühere Teile zusammenfassen? Das geht nicht, jedenfalls nicht ohne Weiteres, ohne den angesammelten Zustand zu stören. Sie wollen mitten im Gespräch zusätzlichen Kontext einfügen? Dann müssen Sie sehr genau aufpassen, wo und wie.

Offen ist auch, was passiert, wenn das Denken in die Irre führt. Angenommen, das Modell vermutet in Schritt 5 fälschlich, ein Leistungsproblem komme von Datenbankabfragen. Hunderte Schritte später optimiert es immer noch SQL und legt Indizes an und übersieht dabei völlig den eigentlichen Schuldigen: ein Speicherleck in einer davon unabhängigen Caching-Schicht. Das Modell hat selbstsicher eine ganze Strategie auf einer falschen Prämisse aufgebaut und den Fehler mitgeschleppt.

Bei herkömmlichen Modellen ist eine falsche Antwort einfach eine falsche Antwort. Bei Interleaved Reasoning kann eine frühe falsche Schlussfolgerung alles Nachfolgende vergiften und den Fehler vervielfachen. Modelle können in lokalen Optima stecken bleiben, überzeugt von ihren eigenen früheren Überlegungen. Selbstkorrektur ist mächtig, aber nicht narrensicher.

Deshalb ist sichtbares Denken beim Debugging wichtig. Wenn Claude seine Denkspur zeigt (von Anthropic als „Research Preview“ bezeichnet), können Entwickler erkennen, wo das Verständnis des Modells von der Realität abwich. OpenAI ging bei den Modellen der o-Serie den umgekehrten Weg und hält das Reasoning verborgen. Beide Philosophien haben etwas für sich. Die Wahl ist eine Abwägung zwischen Transparenz, Wettbewerbsvorteil und möglichem Missbrauch.

Menschliche Aufsicht (Human-in-the-Loop) bleibt nötig, zumindest vorerst. Die Autonomie ist beeindruckend, aber nicht unfehlbar.

Die Ökonomie von Test-Time Scaling

Interleaved Reasoning ist eine Ausprägung eines breiteren Trends: Test-Time Scaling. Jahrzehntelang konzentrierte sich die KI-Entwicklung fast ausschließlich auf Rechenleistung beim Training: größere Modelle, mehr Daten, größere Cluster. Die Labs nähern sich bei der Modellgröße aber praktischen Grenzen, technischen wie wirtschaftlichen.

Test-Time Scaling eröffnet eine neue Dimension: Statt ein klügeres Modell zu trainieren, lassen Sie das Modell während der Inferenz mehr Rechenleistung für schwierige Probleme einsetzen, durch ausgedehnte Chain-of-Thought-Generierung, Schleifen zur Selbstüberprüfung oder Baumsuche über Denkpfade. Neuere Reasoning-Modelle wie die o-Serie von OpenAI und DeepSeek-R1 nutzen das, was Forscher „internes Test-Time Scaling“ nennen: Sie sind darauf trainiert, die Rechenleistung bei der Inferenz strategisch einzuteilen.

Klüger trainieren oder länger denken

Traditioneller Ansatz: 100 Millionen Dollar in das Training eines riesigen Modells stecken, das schnell antwortet

Neues Paradigma: 5 Millionen Dollar in das Training eines fähigen Modells stecken und es bei schwierigen Problemen 10-mal länger denken lassen

Die optimale Strategie umfasst vermutlich beides, aber das Gewicht verschiebt sich zum Test-Time Compute, weil die Trainingskosten ein Plateau erreichen.

Die Ökonomie verschiebt sich. Wenn Rechenleistung bei der Inferenz die beim Training ersetzen kann, entstehen andere Optimierungsprobleme. Trainieren Sie ein riesiges Modell oder ein kleineres, das bei schwierigen Anfragen länger nachdenkt? Rechnen Sie pro Token ab, pro Rechenminute oder pro qualitätsbereinigtem Ergebnis?

Diese Fragen werden die nahe Zukunft der Branche prägen. Skyler Miao, Head of Engineering bei MiniMax, erklärte in Unternehmensmitteilungen, man arbeite mit Partnern daran, Interleaved Reasoning bei allen dafür geeigneten Modellen zu ermöglichen, nicht nur bei M2. Falls diese Vision Wirklichkeit wird und Interleaved Reasoning zum Standardmerkmal statt zum proprietären Vorteil wird, werden wir eine Explosion agentischer Anwendungen sehen, die bisher schlicht nicht machbar waren.

Wo autonome KI damit steht

Modelle, die 200 bis 300 Tool-Aufrufe ausführen und dabei über die gesamte Abfolge schlüssig weiterdenken, ermöglichen qualitativ neue Anwendungen:

Autonome Recherche: Eine KI, die Forschungsfragen formuliert, nach relevanten Papers sucht, die Ergebnisse liest und zusammenführt, Lücken erkennt, gezielter nachsucht und iteriert, bis sie eine umfassende Antwort hat, ohne menschliche Anleitung bei jedem Schritt.

Komplexes Debugging: Systeme, die einen Bug reproduzieren, Hypothesen zu den Ursachen aufstellen, den Code instrumentieren, um sie zu testen, Ergebnisse analysieren, die Hypothese verfeinern und das wiederholen, bis die Grundursache gefunden ist, alles autonom.

Strategische Planung: Modelle, die eine Geschäftssituation analysieren, Marktbedingungen recherchieren, mehrere strategische Optionen bewerten, Szenarien modellieren, Risiken erkennen, Gegenmaßnahmen vorschlagen und anhand neuer Informationen aus diesem Prozess iterieren.

Allen gemeinsam ist, dass diese Aufgaben neben Intelligenz auch Anpassungsfähigkeit verlangen. Die Fähigkeit, mitten in der Aufgabe zu merken, dass der eigene Ansatz nicht funktioniert, und umzuschwenken. Informationen zu entdecken, die das eigene Verständnis des Problems ändern. Über Dutzende oder Hunderte von Schritten komplexe mentale Modelle aufzubauen.

Die Infrastruktur muss aber nachziehen. Solange Agenten-Frameworks, API-Middleware und Entwicklungswerkzeuge den erhaltenen Denkzustand nicht richtig behandeln, bleiben viele Deployments unter ihren Möglichkeiten. Nicht weil die Modelle es nicht könnten, sondern weil die Technik darunter genau das wegwirft, was die Modelle zum Funktionieren bringt.

Die Frage ist nicht, ob KI autonomer wird. Mit Modellen, die über Hunderte von Tool-Interaktionen schlüssig weiterdenken, ist die Autonomie da. Die Frage ist, ob wir die Infrastruktur, die Sicherheitsmechanismen und die Entwicklungspraktiken aufbauen können, um diese Autonomie zuverlässig, debugbar und an menschlichen Absichten ausgerichtet zu machen.

Die technischen Bausteine gibt es. Es fehlen die operative Disziplin, die Reife der Toolchain und die Rahmen für menschliche Aufsicht, um diese Fähigkeiten verantwortungsvoll einzusetzen. Denn wenn Ihre KI 300 Schritte vorausdenken kann und ihr angesammeltes Verständnis bis zum Ende mitträgt, sollten Sie sicherstellen, dass sie über die richtigen Dinge nachdenkt, und dass Sie sehen, wenn sie es nicht tut.

Quellen und weiterführende Literatur:

Aus dem Englischen übersetzt: zum Originalbeitrag