Stellen Sie sich vor: Sie fragen einen hochmodernen KI-Chatbot nach dem Geburtstag einer Person und verlangen ausdrücklich, dass er nur antwortet, wenn er ihn wirklich kennt. Die KI nennt bei drei Versuchen selbstsicher drei verschiedene Daten, und alle sind falsch. Die richtige Antwort? Keines der selbstsicher erfundenen Daten lag auch nur in der richtigen Jahreszeit.
Das ist keine Panne. Laut neuer Forschung von OpenAI ist es die unvermeidliche Folge davon, wie wir KI-Systeme bisher trainieren und bewerten. Das Paper, veröffentlicht von Forschenden, darunter Adam Tauman Kalai, entzaubert endlich eines der hartnäckigsten und beunruhigendsten Verhaltensmuster von KI: die Neigung, plausibel klingende, aber vollständig erfundene Informationen zu erzeugen.
Die Studenten-Analogie, die alles erklärt
Die Forschenden bieten eine Analogie an, die direkt zum Kern des Problems führt. Stellen Sie sich einen Studenten vor, der bei einer Prüfung vor einer schwierigen Frage sitzt und sich unsicher ist. Lässt er sie leer und bekommt null Punkte? Oder rät er, so gut er kann, und holt vielleicht Punkte?
Die meisten Studierenden raten, und wie sich herausstellt, machen KI-Systeme das auch. Die entscheidende Einsicht: Sprachmodelle befinden sich im Grunde immer im „Prüfungsmodus“, optimiert auf gute Ergebnisse in Benchmarks, die selbstsichere Antworten belohnen und Unsicherheit bestrafen.
„Wenn sie unsicher sind, raten Studierende bei Multiple-Choice-Prüfungen mitunter und bluffen sogar bei schriftlichen Prüfungen, indem sie plausible Antworten abgeben, von denen sie selbst wenig überzeugt sind. Sprachmodelle werden mit ähnlichen Tests bewertet.“
Schlechte Trainingsdaten sind nicht die ganze Erklärung
Sie könnten annehmen, dass Halluzinationen von minderwertigen Trainingsdaten kommen, nach dem alten Prinzip „Garbage in, garbage out“. Aber jetzt wird es wirklich interessant: Die Forschenden beweisen, dass Sprachmodelle selbst mit perfekten Trainingsdaten noch halluzinieren würden.
Sie zeigen das über einen eleganten mathematischen Zusammenhang mit Problemen der binären Klassifikation. Stellen Sie es sich so vor: Gültigen Text zu erzeugen ist, als würde man unzählige winzige Fragen der Art „Ist diese Antwort richtig?“ beantworten. Wer diese Ja-Nein-Fragen nicht zuverlässig beantworten kann, wird unweigerlich Fehler in seinen Text schreiben.
Die Mathematik ist ernüchternd: Die generative Fehlerrate ist mindestens doppelt so hoch wie die Fehlklassifikationsrate bei diesen zugrunde liegenden Gültigkeitsfragen. Wenn ein KI-System also in 20 % der Fälle Mühe hat, richtige von falschen Informationen zu unterscheiden, müssen Sie bei der Generierung mit Fehlerraten von mindestens 40 % rechnen.
Das Problem der willkürlichen Fakten
Einige der peinlichsten KI-Halluzinationen betreffen das, was die Forschenden „willkürliche Fakten“ nennen: Informationen ohne erlernbares Muster, etwa Geburtsdaten oder Titel von Dissertationen. Wenn Einsteins Geburtstag in den Trainingsdaten häufig vorkommt, lernt eine KI ihn richtig. Aber bei jemandem, der nur ein einziges Mal erwähnt wird? Da ist das System im Grunde zum Raten gezwungen.
Die Forschenden zeigen: Wenn 20 % der Geburtstagsfakten genau einmal in den Trainingsdaten vorkommen, halluzinieren Basismodelle bei mindestens 20 % der Geburtstagsfragen. Das ist kein Bug, das ist Statistik.
Das Paper liefert ein besonders peinliches Beispiel: Nach dem Titel von Adam Kalais Dissertation gefragt, erzeugten drei populäre KI-Systeme drei völlig verschiedene erfundene Titel, Jahre und Universitäten. Keine dieser Angaben war auch nur annähernd richtig.
Die Evaluierungs-Epidemie
Und jetzt kommt der Haken: Selbst wenn wir das Vortraining reparieren könnten, fördern unsere Evaluierungsmethoden das Halluzinieren aktiv. Die Forschenden sprechen von einer „Epidemie“ der binären Bewertung in KI-Benchmarks.
Die meisten KI-Evaluierungen verwenden einfache Genauigkeitsmetriken: Eine richtige Antwort bringt 1 Punkt, eine falsche 0 und „Ich weiß es nicht“ ebenfalls 0. In diesem Bewertungssystem schneidet eine unsichere KI, die ehrlich „Ich weiß es nicht“ sagt, immer schlechter ab als eine, die selbstsicher rät.
Die Forschenden haben populäre Benchmarks analysiert und festgestellt, dass die überwiegende Mehrheit diese problematische binäre Bewertung nutzt. Selbst eine perfekte Halluzinations-Evaluierung würde in der Masse der Evaluierungen, die Unsicherheit bestrafen, „untergehen“.
Warum auch kluge Reasoning-Modelle Probleme haben
Interessanterweise sind selbst fortgeschrittene „Reasoning“-Modelle, die Probleme Schritt für Schritt zerlegen, nicht immun. Modelle wie GPT-o1 können zwar die Buchstaben in „DEEPSEEK“ richtig zählen, indem sie das Wort Zeichen für Zeichen buchstabieren, aber einfachere Modelle scheitern regelmäßig an dieser Aufgabe, selbst wenn sie ausdrücklich gebeten werden, nur dann zu antworten, wenn sie sicher sind.
Das liegt oft an der Tokenisierung: Moderne Modelle sehen „DEEPSEEK“ als Token wie „D/EEP/SEE/K“ statt als einzelne Zeichen, und das macht das Zählen von Buchstaben ohne ausdrückliche Reasoning-Schritte tatsächlich schwierig.
Der Weg nach vorn: die Grundlagen reparieren
Die Lösung besteht nicht einfach darin, bessere Modelle zu bauen oder neben den bestehenden Evaluierungen ein paar hinzuzufügen, die Unsicherheit berücksichtigen. Das Problem sitzt tiefer: Die wichtigsten Evaluierungsmetriken, die die KI-Bestenlisten beherrschen, müssen grundlegend überarbeitet werden.
Die Forschenden schlagen eine einfache, aber wirksame Korrektur vor: KI-Systemen ausdrücklich die Konfidenzschwelle für eine Antwort mitteilen und selbstsichere Fehler stärker bestrafen als Unsicherheit. Statt binär zu bewerten, könnten Evaluierungen festlegen: „Antworte nur, wenn du zu >75 % sicher bist, denn Fehler werden mit 3 Punkten Abzug bestraft, während richtige Antworten 1 Punkt bekommen.“
So entstehen klare mathematische Anreize, bei denen „Ich weiß es nicht“ im Zweifel zur rationalen Wahl wird. Manche standardisierten Tests für Menschen arbeiten bereits so: Die JEE-Prüfungen in Indien und ältere SAT-Tests sahen Abzüge für falsche Antworten vor und förderten damit das strategische Auslassen von Fragen statt des blinden Ratens.
Doch die entscheidende Einsicht ist: Neue, bessere Evaluierungen reichen nicht, solange die alten dominieren. Solange Bestenlisten auf Basis der Genauigkeit Glückstreffer belohnen, werden KI-Systeme weiter lernen, selbstsichere Fabulierer zu sein statt bedachte Wahrheitssager.
Jenseits des binären Denkens
Die Forschung zeigt etwas Grundsätzliches über den aktuellen Stand der KI: Wir haben Systeme unbeabsichtigt zu übermäßig selbstsicheren Bullshittern trainiert statt zu bedachten Wahrheitssagern. Wie die Forschenden es ausdrücken, sind die meisten KI-Systeme darauf optimiert, „gute Prüflinge“ zu sein, und nicht zuverlässige Informationsquellen.
Das ist mehr als eine akademische Frage. Wenn KI-Systeme in Anwendungen mit hohem Risiko eingesetzt werden (medizinische Diagnosen, juristische Analysen, Finanzberatung), wird die Neigung, selbstsicher zu raten, statt Unsicherheit zuzugeben, wirklich gefährlich.
Das große Ganze
Die vielleicht auffälligste Erkenntnis aus dieser Forschung ist der neue Blick auf KI-Halluzinationen. Statt sie als rätselhaftes emergentes Verhalten oder als Zeichen eines entgleisten KI-Bewusstseins zu sehen, können wir sie als vorhersehbare Folgen von statistischem Lernen und falsch gesetzten Anreizen verstehen.
Die Forschenden argumentieren: „Halluzinationen müssen nicht rätselhaft sein, sie entstehen schlicht als Fehler bei der binären Klassifikation.“ Wer in den Trainingsdaten Fakten nicht zuverlässig von Fiktion unterscheiden kann, wird in der Ausgabe unweigerlich Fiktion erzeugen.
Diese mathematische Klarheit ist ernüchternd und macht zugleich Hoffnung. Ernüchternd, weil sie nahelegt, dass Halluzinationen tiefer in den aktuellen KI-Architekturen stecken, als viele angenommen haben. Hoffnung macht sie, weil sie einen klaren Fahrplan zur Eindämmung liefert: die Anreize bei der Evaluierung so ausrichten, dass angemessene Unsicherheit belohnt wird und nicht selbstsicheres Raten.
Was das für die Zukunft der KI bedeutet
Die Forschung legt nahe, dass wir an einem Wendepunkt stehen. Wir können auf dem aktuellen Weg weitergehen und mit binären Metriken auf Benchmark-Ergebnisse optimieren, womit praktisch garantiert ist, dass KI-Systeme selbstsichere Fabulierer bleiben. Oder wir überdenken grundlegend, wie wir KI bewerten, und stellen Vertrauenswürdigkeit über Testergebnisse.
Die Wahl scheint klar, aber eingefahrene Evaluierungspraktiken in der gesamten KI-Branche zu ändern wird nicht leicht. Dazu braucht es Abstimmung zwischen Forschenden, Unternehmen und Institutionen, die viel in die bestehenden Benchmarks investiert haben.
Doch je leistungsfähiger KI-Systeme werden und je breiter sie zum Einsatz kommen, desto höher wird der Preis für übermäßig selbstsicheres Halluzinieren. Diese Forschung liefert sowohl die mathematische Grundlage als auch einen praktischen Fahrplan für KI-Systeme, die wissen, wann sie „Ich weiß es nicht“ sagen müssen. Das ist wohl eine der wichtigsten Fähigkeiten für wirklich vertrauenswürdige KI.
Wenn Ihnen eine KI das nächste Mal selbstsicher den Geburtstag einer Person oder den Titel einer Dissertation nennt, denken Sie daran: Sie will Sie nicht unbedingt täuschen. Sie tut genau das, wozu wir sie trainiert haben: Sie rät, wenn sie unsicher ist, denn genau das wird in der Prüfung belohnt.
Aus dem Englischen übersetzt: zum Originalbeitrag