Stellen Sie ChatGPT zweimal dieselbe Frage, mit Temperatur null und festem Seed, also mit Einstellungen, die identische Antworten garantieren sollten, und Sie bekommen wahrscheinlich unterschiedliche Antworten. Das Phänomen ist so verbreitet, dass die meisten KI-Praktiker gelernt haben, damit zu leben, und es als unvermeidliches Durcheinander neuronaler Netze auf paralleler Hardware abtun.
Mira Murati lässt diese Erklärung nicht gelten. Die frühere CTO von OpenAI, deren kurze Amtszeit als Interims-CEO während des Dramas um Sam Altman letztes Jahr für Schlagzeilen sorgte, ist mit Thinking Machines Lab und einer Seed-Finanzierung von laut Berichten 2 Milliarden Dollar wieder aufgetaucht. Die erste öffentliche Forschungsarbeit ihres Teams dokumentiert das Problem des Nichtdeterminismus nicht bloß, sie erhebt den Anspruch, es vollständig gelöst zu haben.
Der technische Durchbruch beruht auf einem kontraintuitiven Befund: Die Zufälligkeit in KI-Antworten kommt nicht von den üblichen Verdächtigen, nebenläufiger Verarbeitung und Gleitkommaarithmetik. Sie entsteht dadurch, wie Inferenzserver Anfragen zu Batches bündeln. Das erzeugt feine mathematische Unterschiede, die sich zu völlig verschiedenen Ausgaben aufschaukeln.
Die gängige Erklärung hält nicht
Jahrelang machten Forscher für den Nichtdeterminismus von LLMs das verantwortlich, was Thinking Machines die Hypothese „Nebenläufigkeit + Gleitkomma“ nennt. Die Theorie klang logisch: GPUs führen Tausende paralleler Threads aus, Gleitkommarechnung verletzt mathematische Gesetze wie die Assoziativität (wo (a + b) + c ≠ a + (b + c) gilt), und konkurrierende Threads könnten theoretisch in unterschiedlicher Reihenfolge fertig werden.
Aktuelle wissenschaftliche Arbeiten haben diese Sicht gestützt, mit der Aussage, dass „parallele Operationen über mehrere Threads hinweg je nach Ausführungsreihenfolge unterschiedliche Ergebnisse liefern können“. Die Erklärung wirkte befriedigend genug, dass die meisten Praktiker sie als Preis für die Arbeit mit neuronalen Netzen hinnahmen.
Horace He, der Forscher bei Thinking Machines und Autor des neuen Papers, hat diese Theorie systematisch zerlegt. Sein Team führte identische Matrixmultiplikationen 1.000-mal auf derselben GPU aus und erhielt jedes Mal bitweise identische Ergebnisse. „Wir verwenden definitiv Gleitkommazahlen. Und unsere GPU hat definitiv viel Nebenläufigkeit“, merkte He an. „Warum sehen wir in diesem Test keinen Nichtdeterminismus?“
Die Batch-Größe als rauchender Colt
Der wahre Schuldige war fehlende Batch-Invarianz. Inferenzserver fassen Anfragen aus Effizienzgründen zu Batches zusammen. Eine Anfrage läuft zu Stoßzeiten vielleicht in einem Batch von 32, in ruhigen Phasen allein. Diese unterschiedlichen Batch-Größen lösen in den GPU-Kernels unterschiedliche Rechenwege aus und liefern für identische Eingaben numerisch unterschiedliche Ergebnisse.
Stellen Sie sich vor, in einer Schulklasse wird dieselbe Rechenfrage gestellt: Die richtige Antwort sollte sich nicht ändern, je nachdem, ob der Lehrer einen Schüler oder eine Gruppe von 30 fragt. Mit den heutigen GPU-Kernels passiert aber genau das.
Um das zu zeigen, schickte Thinking Machines 1.000 identische Prompts bei Temperatur null durch ein Qwen-3-Modell, jeweils mit „Tell me about Richard Feynman“. Das Ergebnis: 80 verschiedene Antworten. 992 setzten korrekt mit „Feynman was born on May 11, 1918, in Queens, New York“ fort, acht wichen auf „New York City“ aus. Die erste Abweichung trat beim 103. Token auf, bis dahin waren die Antworten identisch.
Mit ihren Batch-invarianten Kernel-Implementierungen wurden alle 1.000 Antworten identisch: genau das mathematische Verhalten, das Nutzer von einem deterministischen System erwarten würden.
Die RLHF-Revolution vor aller Augen
Die Folgen reichen über Reproduzierbarkeit hinaus bis ins Reinforcement Learning from Human Feedback (RLHF), die Technik hinter modernen KI-Assistenten. Heutige RLHF-Implementierungen haben einen grundlegenden Fehler: Numerische Unterschiede zwischen Trainings- und Inferenzphase führen zu dem, was Forscher „Off-Policy“-Lernen nennen. Das Modell, das trainiert wird, unterscheidet sich dabei minimal von dem, das die Trainingsdaten erzeugt.
Thinking Machines hat erstmals echtes „On-Policy“-RLHF demonstriert und dabei eine KL-Divergenz von null zwischen Trainings- und Sampling-Policy erreicht. In ihren Experimenten mit einer Aufgabe zum visuellen Schlussfolgern gelangen Trainingsläufe, die ohne Korrekturtechniken normalerweise abstürzten, plötzlich, sobald Training und Inferenz perfekt übereinstimmten. Das Team beschreibt das als potenziell „transformativer als die Geschichte mit den GPU-Kernels“ selbst.
Für KI-Labore, die zweistellige Millionenbeträge in RLHF-Rechencluster stecken, könnte der Wegfall der Off-Policy-Drift kürzere Trainingsläufe und verlässlichere Modell-Updates bedeuten. Für ein Labor wie Anthropic oder OpenAI, das laut Berichten pro großem Trainingslauf zweistellige Millionenbeträge ausgibt, wäre schon ein Effizienzgewinn von 10 Prozent eine Ersparnis in Millionenhöhe, vorausgesetzt, die Branche übernimmt deterministische Inferenz trotz ihrer Kosten.
Drei Operationen, drei Schwierigkeitsgrade
Die technische Lösung verlangte den Neubau von drei zentralen GPU-Operationen, die in Transformer-Modellen die Batch-Invarianz brechen. Nach steigender Komplexität geordnet:
RMSNorm (Layer-Normalisierung) ließ sich am leichtesten beheben. Standardimplementierungen verteilen Batch-Elemente auf GPU-Kerne, bis es mehr Kerne als Elemente gibt, und wechseln dann zu aufwendigeren Reduktionsstrategien. Der Ansatz von Thinking Machines: den Leistungsverlust einfacherer Strategien bei kleinen Batches hinnehmen, statt mittendrin die mathematischen Operationen zu wechseln.
Matrixmultiplikation war schwieriger, wegen „Tensor Core“-Optimierungen, die auf Datenkacheln arbeiten. Verschiedene Batch-Größen können verschiedene Kachel-Konfigurationen auslösen und damit die interne Rechenreihenfolge ändern. Die Lösung setzt auf feste Kernel-Konfigurationen für alle Batch-Größen und opfert Spitzenleistung für Konsistenz.
Attention-Mechanismen erwiesen sich als am komplexesten, denn sie brauchen Reduktionen über Feature- und Sequenzdimension hinweg. Verschärft wird das dadurch, dass Inferenzoptimierungen wie Chunked Prefill die Sequenzverarbeitung beeinflussen. Thinking Machines implementierte Strategien mit „fester Split-Größe“ statt der dynamischen Optimierungen, die die GPU-Auslastung maximieren.
Die Leistungssteuer von 60 Prozent
Determinismus hat einen spürbaren Preis. In Benchmarks mit Qwen-3-8B verarbeitete das Standard-vLLM 1.000 Sequenzen in 26 Sekunden. Die nicht optimierte deterministische Version von Thinking Machines brauchte 55 Sekunden, mit Optimierung sank das auf 42 Sekunden, immer noch ein Leistungsverlust von 60 Prozent. In der Praxis ist das der Unterschied zwischen einem Chatbot, der ohne spürbare Verzögerung antwortet, und einem, der träge wirkt. Oder ein Inferenzcluster, der für denselben Durchsatz 1,6-mal so viele GPUs braucht.
Das Unternehmen hat seine Implementierungen als Open Source veröffentlicht, doch der Verbreitung stehen hohe Hürden im Weg. Große Frameworks wie PyTorch und TensorFlow müssten diese Kernels integrieren, und Cloud-Anbieter müssten trotz der Leistungseinbußen deterministische Endpoints anbieten.
Für Consumer-Anwendungen, in denen Schwankungen in den Antworten das Nutzungserlebnis verbessern, rechnet sich Determinismus kaum. In regulierten Branchen (Finanzen, Gesundheitswesen, Recht) aber, wo identische Eingaben für Audit Trails und Compliance identische Ausgaben liefern müssen, sieht die Rechnung völlig anders aus.
Gegenwind aus der Branche und praktische Skepsis
Die KI-Branche insgesamt zeigt wenig Lust auf Zuverlässigkeitsfunktionen, die die Leistung abwürgen. Google, Meta und NVIDIA haben Milliarden in die Optimierung auf rohe Geschwindigkeit gesteckt, und Benchmark-Ranglisten bestimmen die technischen Prioritäten. Diese Unternehmen dazu zu bringen, ihre Systeme um der mathematischen Reinheit willen freiwillig um 60 Prozent zu verlangsamen, wäre ein erheblicher Kulturwandel.
Realistischer ist die Einführung in regulierten Branchen und Spezialanwendungen, in denen Determinismus den Leistungsverlust rechtfertigt. Finanzdienstleister mit algorithmischen Audits, Medizin-KI-Unternehmen, die eine FDA-Zulassung anstreben, und Auftragnehmer der öffentlichen Hand, die reproduzierbare Ergebnisse liefern müssen, könnten den Leistungsverlust in Kauf nehmen. Kleinere KI-Labore könnten deterministische Kernels auch nutzen, um sich bei Unternehmenskunden abzuheben, denen Zuverlässigkeit wichtiger ist als Antwortzeiten im Millisekundenbereich. Regulatorischer Druck könnte diesen Trend beschleunigen und deterministisches Verhalten von einer optionalen Funktion zu einer Compliance-Anforderung machen.
Aber selbst Thinking Machines räumt erhebliche ungelöste Probleme ein. Batch-Invarianz zu erreichen, „bleibt in verteilten Multi-GPU-Umgebungen ein offenes Problem“, heißt es in ihrem Paper. Die gezeigten Techniken funktionieren auf einzelnen GPUs mit relativ einfachen Aufgaben. Die Skalierung auf die riesigen verteilten Systeme hinter produktiven KI-Diensten bringt zusätzliche Herausforderungen.
Die Seed-Runde des Startups über 2 Milliarden Dollar, angeführt von Andreessen Horowitz, gehört zu den größten Frühphasenrunden in der Geschichte des Silicon Valley und stellt übliche Series-A-Finanzierungen um Größenordnungen in den Schatten. Das gibt dem Unternehmen die Mittel, über akademische Forschung hinaus zu echten Produkten zu kommen. Murati hat angedeutet, dass das erste Angebot auf „Forscher und Startups, die eigene Modelle entwickeln“ zielen wird. Das deutet auf einen deterministischen Inferenzdienst hin: Das Unternehmen würde dann nicht warten, bis das ganze Ökosystem nachzieht.
Jenseits von „gut genug“
Die Arbeit macht eine breitere philosophische Kluft in der KI-Entwicklung sichtbar. Während die meisten Labore größeren Modellen und spektakuläreren Fähigkeiten nachjagen, konzentriert sich Thinking Machines auf grundlegende Zuverlässigkeit. Das Paper schließt mit: „Wir lehnen diesen Defätismus ab. Mit ein wenig Arbeit können wir die Ursachen unseres Nichtdeterminismus verstehen und sogar beseitigen!“
Ob die Branche diese Haltung teilt, ist offen. Die Spannung zwischen „schnell genug“ und „mathematisch korrekt“ dürfte von äußeren Kräften aufgelöst werden (regulatorischen Vorgaben, Haftungsfragen oder Ausfällen mit großer öffentlicher Wirkung), nicht von internen technischen Vorlieben.
Vorerst scheint der Großteil der KI-Branche aber zufrieden damit, weiter schnelle, unscharfe Antworten auszuliefern, solange sie pünktlich ankommen.
Aus dem Englischen übersetzt: zum Originalbeitrag