Die neueste Generation von KI-Modellen von OpenAI, Anthropic und anderen verspricht etwas Revolutionäres: Maschinen, die „nachdenken“, bevor sie antworten. Diese Large Reasoning Models (LRMs) erzeugen ausführliche Gedankenketten, reflektieren ihr eigenes Reasoning und lösen komplexe Probleme angeblich besser als ihre Vorgänger. Doch neue Forschungsergebnisse von Apple sind für diese Versprechen eine kalte Dusche: Wird es wirklich schwierig, tun sich die Modelle nicht bloß schwer, sie geben praktisch auf.
Der Rätseltest, an dem die Modelle zerbrachen
Apples Forschende prüften führende Reasoning-Modelle mit klassischen Logikrätseln auf Herz und Nieren: Türme von Hanoi, Checkers Jumping, River Crossing und Blocks World. Anders als übliche Benchmarks, die durch Trainingsdaten verfälscht sein können, bieten diese Rätsel etwas Entscheidendes: steuerbare Komplexität. Die Türme von Hanoi werden schon schwieriger, wenn man einfach mehr Scheiben hinzufügt. So konnten die Forschenden systematisch ausloten, wo das Reasoning zusammenbricht.
Die Ergebnisse zeichnen ein spannendes Bild mit drei klar getrennten Leistungsbereichen. Bei einfachen Aufgaben schlagen normale LLMs ihre „denkenden“ Verwandten sogar: Sie sind schneller, effizienter und ebenso genau. Erst bei mittlerer Komplexität glänzen die Reasoning-Modelle und nutzen ihr längeres Nachdenken, um kniffligere Probleme zu bewältigen. Schraubt man die Schwierigkeit weiter hoch, brechen beide Modelltypen vollständig ein und erreichen null Prozent Genauigkeit.
Besonders vernichtend: Das ist kein sanfter Leistungsabfall. Die Modelle werden nicht langsam schlechter, sie laufen gegen eine Wand und funktionieren gar nicht mehr. Noch rätselhafter: Nähern sich die Probleme dieser kritischen Schwelle, reduzieren Reasoning-Modelle ihren Denkaufwand sogar. Sie verbrauchen weniger Reasoning-Token, obwohl reichlich Rechenbudget zur Verfügung steht.
Das Overthinking-Paradox
Die genaue Analyse der Reasoning-Verläufe liefert ein weiteres kontraintuitives Ergebnis. Bei leichteren Problemen finden die Modelle die richtige Antwort oft schon früh im Denkprozess, suchen dann aber weiter und reden sich dabei häufig falsche Lösungen ein. Die Forschenden nennen dieses Phänomen „Overthinking“.
Nehmen Sie Claude 3.7 Sonnet bei einem einfachen Rätsel der Türme von Hanoi. Das Modell findet die Lösung womöglich schon in den ersten 20 % seines Nachdenkens und verbringt die restlichen 80 % damit, an sich selbst zu zweifeln und falsche Alternativen durchzuspielen. Effizientes Reasoning sieht anders aus, das ist rechnerischer Leerlauf.
Bei mittlerer Komplexität kehrt sich das Muster um. Die Modelle gehen viele falsche Wege, bevor sie schließlich die richtige Antwort finden. Das längere Nachdenken scheint also durchaus einen Zweck zu haben, aber nur in einem schmalen Schwierigkeitsbereich. Überschreitet die Komplexität eine modellspezifische Schwelle, bringt der Denkprozess überhaupt keine richtigen Lösungen mehr hervor, egal wie lange das Modell „nachdenkt“.
Algorithmen ausführen: ein grundlegendes Versagen
Der vielleicht auffälligste Befund betrifft das, was eigentlich das leichteste Szenario sein müsste: explizite Anweisungen befolgen. Die Forschenden gaben den Modellen vollständige Schritt-für-Schritt-Algorithmen zum Lösen der Rätsel. Einen vorgegebenen Algorithmus auszuführen, verlangt doch sicher weniger anspruchsvolles Reasoning, als eine Lösung von Grund auf zu finden?
Offenbar nicht. Selbst als ihnen der Lösungsweg auf dem Silbertablett serviert wurde, scheiterten die Modelle auf genau denselben Komplexitätsstufen. Das spricht dafür, dass die Grenze nicht in der Problemlösungsstrategie oder der Suche liegt, sondern in der grundlegenden Fähigkeit, über lange Abfolgen von Operationen logisch konsistent zu bleiben.
Trainingsdaten erklären nicht alles
Die Studie deckte aufschlussreiche Unterschiede zwischen den Rätseltypen auf, die auf Effekte der Trainingsdaten hindeuten. Claude 3.7 Sonnet bewältigte Hanoi-Rätsel mit über 100 Zügen, scheiterte aber an River-Crossing-Rätseln, die nur 11 Züge brauchen. Der wahrscheinliche Grund? Die Türme von Hanoi gehören zum Standardrepertoire der Informatik und tauchen online ständig auf, komplexe River-Crossing-Varianten dagegen vergleichsweise selten.
Das wirft unangenehme Fragen auf: Was haben diese Modelle tatsächlich gelernt? Denken sie Probleme durch, oder sind sie raffinierte Mustererkenner, die versagen, sobald man sie über ihre Trainingsverteilung hinaustreibt?
Die Skalierungswand
Jahrelang folgte die KI-Branche einem einfachen Grundsatz: mehr Rechenleistung, mehr Daten, größere Modelle, bessere Leistung. Seit die klassische Skalierung immer weniger bringt, setzen Unternehmen wie OpenAI massiv auf „Inference-Time Compute“: Modelle sollen länger nachdenken, um schwierigere Probleme zu lösen.
Apples Forschung legt nahe, dass dieser Ansatz an grundsätzliche Grenzen stößt. Heutige Reasoning-Modelle entwickeln nicht das, was die Forschenden „verallgemeinerbare Problemlösungsfähigkeiten“ nennen. Statt robuste Strategien zu lernen, die mit der Komplexität mitwachsen, haben sie gelernt, sich durch Mustererkennung und Abruf in einem bestimmten Problembereich zurechtzufinden.
Besonders aufschlussreich ist der kontraintuitive Rückgang des Denkaufwands bei hoher Komplexität. Es wirkt, als würden die Modelle erkennen, dass sie überfordert sind, und es gar nicht erst versuchen. Dieses Verhalten zieht sich durch verschiedene Modellfamilien und deutet eher auf Grenzen der Architektur hin als auf Mängel im Training.
Was das für die Zukunft der KI bedeutet
Diese Ergebnisse kommen zu einem entscheidenden Zeitpunkt. Während die klassische Modellskalierung ein Plateau erreicht, gehören Reasoning-Methoden zu den wenigen verbliebenen Wegen, die Fähigkeiten der Modelle zu verbessern. Lassen sich Apples Ergebnisse über Logikrätsel hinaus verallgemeinern (und einiges spricht dafür), sind die Folgen ernüchternd.
Die gute Nachricht: Innerhalb ihrer Komfortzone liefern Reasoning-Modelle durchaus Nutzen. Bei Problemen mittlerer Komplexität hilft das längere Nachdenken wirklich. Die schlechte Nachricht: Diese Komfortzone scheint frustrierend schmal zu sein, und wir wissen noch nicht, wie man sie erweitert.
Die Forschung zeigt auch, wie gefährlich es ist, KI-Systeme zu vermenschlichen. Wenn Modelle „Gedankenketten“ ausgeben, stellt man sich leicht vor, sie würden wie Menschen schlussfolgern. Doch wie die Forschenden anmerken, versteht man diese Ausgaben vielleicht besser als „statistische Berechnungen“ im Gewand menschlicher Sprache.
Der Weg nach vorn
Wo stehen wir also? Das Apple-Team legt nahe, dass robustes maschinelles Reasoning grundlegende Neuerungen in der Architektur brauchen könnte, nicht bloß schrittweise Verbesserungen bestehender Ansätze. Die gleichbleibenden Fehlermuster über verschiedene Modellfamilien hinweg deuten darauf hin, dass wir an die inhärenten Grenzen der Transformer-Architektur stoßen, auf der heutige LLMs beruhen.
Für Praktikerinnen und Praktiker ist die Botschaft klar: Reasoning-Modelle können wertvolle Werkzeuge sein, aber ihre Grenzen sind real und vorhersehbar. Für ein sinnvolles Deployment muss man wissen, wo sie stark sind (mittlere Komplexität, vertraute Problemtypen) und wo sie scheitern (hohe Komplexität, neuartige Aufgaben).
Die Studie ist ein Realitätscheck für eine Branche, die zum Hype neigt. Ja, die Fähigkeiten von KI haben bemerkenswerte Fortschritte gemacht. Aber echtes Reasoning, das beliebige Probleme durch logisches Denken statt durch Mustererkennung angeht, bleibt frustrierend außer Reichweite. Diese Modelle denken nicht. Sie liefern immer raffiniertere Annäherungen an das Denken, die funktionieren, bis sie es nicht mehr tun.
Auf dem Weg zur allgemeinen künstlichen Intelligenz erinnern uns solche Studien daran, wie weit wir noch gehen müssen. Die Illusion des Denkens ist mächtig, aber Illusionen zerbrechen gern, wenn sie auf die Realität treffen. Und die Realität kann, wie diese Rätsel zeigen, rätselhaft schwer sein.
Aus dem Englischen übersetzt: zum Originalbeitrag