KI-Halluzinationen: Ursachen und Gegenmittel

Von KI-Halluzinationen spricht man, wenn ein Modell selbstsicher eine Antwort gibt, die plausibel klingt, aber sachlich falsch oder frei erfunden ist. Ein KI-Chatbot zitiert etwa einen Rechtsfall, den es nicht gibt, oder erfindet aus dem Nichts eine wissenschaftlich klingende Erklärung. Das sind keine absichtlichen Lügen, sondern Folgen der Funktionsweise generativer KI. In einem berüchtigten Fall reichte ein Anwalt bei Gericht einen Schriftsatz voller gefälschter Quellenangaben ein, die ChatGPT erzeugt hatte (und das Tool behauptete sogar, die Fälle stünden in juristischen Datenbanken). Solche Vorfälle zeigen, warum man Halluzinationen ernst nehmen muss: Ungeprüft können sie Nutzer in heiklen Bereichen wie Recht, Medizin oder Finanzen in die Irre führen.

Halluzinationen sind inzwischen so allgegenwärtig, dass das Cambridge Dictionary „hallucinate“ zum Wort des Jahres 2023 kürte, und zwar ausdrücklich wegen der Angewohnheit der KI, Dinge zu erfinden. Von Suchmaschinen bis zu Kundenservice-Bots produzieren KI-Systeme heute routinemäßig Falschinformationen, ganz ohne Absicht, einfach weil ihnen ein eingebautes Verständnis von Wahrheit fehlt. Mit der wachsenden Verbreitung von KI (fast die Hälfte der Amerikaner gab 2025 an, KI-Tools zu nutzen) ist es zu einer der wichtigsten Aufgaben der KI-Entwicklung geworden, solche erfundenen Antworten einzudämmen.

Warum halluzinieren Sprachmodelle?

Die Ursache des Problems liegt darin, wie große Sprachmodelle (LLMs) trainiert werden. Sie lernen, das nächste Wort eines Satzes vorherzusagen, anhand von Mustern in riesigen Textmengen. Entscheidend ist: Sie werden immer dafür belohnt, dass sie eine Antwort liefern, auch wenn sie unsicher sind. OpenAI-Forscher bringen das heutige Training knapp auf den Punkt: „Wir belohnen das Raten statt das Eingeständnis von Unwissen.“ Die KI hat also einen starken eingebauten Anreiz, die Lücken mit irgendetwas zu füllen, das plausibel aussieht, statt „Ich weiß es nicht“ zu sagen. Deshalb prescht ein LLM oft vor und erzeugt eine falsche Antwort, die kompetent klingt, statt zu schweigen.

Entwickler kennen diese Neigung und versuchen, ihr beim Fine-Tuning entgegenzuwirken. Reinforcement Learning from Human Feedback (RLHF) und ähnliche Alignment-Techniken können einem Modell beibringen, lieber „Ich bin nicht sicher“ zu sagen, als etwas Falsches zu behaupten. Anthropic etwa hat seine Claude-Modelle mit einem „Anti-Halluzinations“-Ziel trainiert, sodass bei Unsicherheit die Verweigerung der Antwort das Standardverhalten ist. In der Praxis lehnt Claude eine Frage oft höflich ab, wenn es die Antwort nicht kennt, statt zu spekulieren. Das verringert Halluzinationen, ist aber nicht narrensicher. Das Modell muss weiterhin entscheiden, wann es sich enthalten soll, und dieses Urteil kann danebengehen.

In einer aktuellen, tiefgehenden Untersuchung haben die Forscher von Anthropic gezeigt, wie genau diese internen Mechanismen ein Modell dazu bringen können, Fakten zu halluzinieren. Claude hat ein neuronales Merkmal, das wie ein „Das weiß ich“-Schalter wirkt: Enthält eine Anfrage etwas, das es erkennt (etwa einen berühmten Namen), unterdrückt dieses Merkmal den Unsicherheitsreflex und lässt Claude aus seinem Trainingsgedächtnis antworten. Geht es in der Anfrage aber tatsächlich um eine unbekannte Entität und Claude glaubt nur, sie kennen zu müssen, geht derselbe Mechanismus nach hinten los: Das Modell beschließt, dass es eine Antwort erzeugen muss, und erfindet dann eine, um den Prompt zu bedienen. Kurz gesagt: Genau die Struktur, die einer KI hilft, selbstsicher zu antworten, wenn sie etwas weiß, kann sie in die Irre führen, wenn sie es nicht weiß. Wie ein Paper festhielt, sind Halluzinationen keine rätselhafte Marotte, sondern ein „vorhersehbares Ergebnis“ aus der Vorhersage des nächsten Wortes und fehlgeleiteten Auslösern für Selbstsicherheit.

Ein weiterer grundlegender Faktor: LLMs haben keinen eingebauten Faktenprüfer und keinen Maßstab für Wahrheit. Sie mischen und wiederholen Muster aus den Trainingsdaten, und die enthalten Wahres wie Falsches. Sie wissen nicht wirklich, was real ist, sondern nur, welche Wörter üblicherweise auf andere folgen. Wie eine Harvard-Studie betont, fehlt diesen Modellen das „epistemische Bewusstsein“, das Menschen haben. Die KI lügt nicht absichtlich; sie hat buchstäblich kein Konzept von „wahr oder falsch“. Sofern es nicht ausdrücklich darauf trainiert oder dazu angewiesen wurde, Fakten zu prüfen, behandelt ein LLM eine detaillierte Falschaussage mit derselben flüssigen Leichtigkeit wie eine wahre, wenn beide im Kontext sprachlich plausibel klingen. Deshalb sind auch sachlich klingende Antworten einer KI mit Vorsicht zu genießen: Das Modell weiß nicht, wovon es spricht, es reiht nur statistisch Wörter aneinander.

Techniken gegen Halluzinationen

Die Verringerung von KI-Halluzinationen ist ein aktives Forschungsgebiet, und eine einzelne Patentlösung gibt es nicht. Forscher und Entwickler kombinieren stattdessen mehrere Strategien, von Verbesserungen im Training bis zur Faktenprüfung in Echtzeit. Das sind die aktuellen Ansätze:

Besseres Training und Alignment: Moderne KI-Modelle durchlaufen ein intensives Fine-Tuning, das ihre schlimmsten Instinkte zügeln soll. Techniken wie RLHF und Constitutional AI (von Anthropic eingesetzt) bringen menschliches Feedback oder ausdrückliche Prinzipien (etwa „Erfinde keine Informationen“) in die Ziele des Modells ein. Die Modelle lernen dadurch im Training, Antworten zu vermeiden, die bekannten Daten widersprechen oder denen die Begründung fehlt. OpenAIs GPT-4 zum Beispiel wurde per Fine-Tuning wahrheitsgetreuer gemacht als seine Vorgänger, und sein Nachfolger wurde in dieser Hinsicht noch weiter getrieben. Mitte 2025 erklärte OpenAI, das neueste ChatGPT (auf Basis von GPT-5) mache „erhebliche Fortschritte bei der Verringerung von Halluzinationen“ und sei „deutlich weniger anfällig für Halluzinationen“ als frühere Modelle. Anthropics Claude-4-Serie wirbt ähnlich mit strengeren Faktenprüfungen (etwa dem Einfordern von Quellen oder dem Verweigern von Antworten, die sie nicht belegen kann) als Teil dessen, was das Unternehmen sein „Modell mit dem bisher besten Alignment“ nennt. Diese Alignment-Maßnahmen helfen durchaus: Mit jeder Generation ist die Grundrate an Halluzinationen in vielen Benchmarks gesunken. Solange die Kernarchitektur aber weiter Wörter errät, kann kein noch so gründliches Fine-Tuning das Problem ganz beseitigen. Selbst OpenAI räumt ein, dass die Leistung von GPT-5 „je nach Aufgabe uneinheitlich bleibt“ und manche Halluzinationen bestehen bleiben.
Enthaltung erlauben (wo es passt): Erlaubt man einer KI, „Ich weiß es nicht“ zu sagen oder eine Frage auszulassen, steigt ihre Genauigkeit bei den beantworteten Fragen deutlich, ein interessanter Befund. Eine OpenAI-Studie ergab, dass Modelle der GPT-4-Klasse, wenn sie jede Frage beantworten mussten, in etwa 20 bis 30 % der Fälle Sachfehler produzierten. Durften sie sich bei unsicheren Fragen enthalten, verbesserte sich die Genauigkeit drastisch. Der Haken: Die Modelle weigerten sich dann bei über der Hälfte der Fragen zu antworten, um Fehler zu vermeiden. Das zeigt einen Zielkonflikt: Wir können eine KI haben, die wahrheitsgetreuer ist, weil sie vorsichtig ist und oft sagt „Das kann ich nicht beantworten“, aber das befriedigt in der Praxis womöglich nicht, wenn der Nutzer eine Antwort erwartet. Trotzdem bauen viele KI-Systeme inzwischen die Möglichkeit ein, sich in Grenzfällen zu enthalten oder Unsicherheit anzuzeigen. Claude oder ChatGPT stellen einer Antwort etwa ein „Ich bin nicht sicher, aber …“ voran oder lehnen extrem mehrdeutige Anfragen ab, was weit besser ist, als selbstsicher Unsinn von sich zu geben. Die Entwickler versuchen letztlich, die Selbstsicherheit des Modells zu kalibrieren: Es soll nur antworten, wenn die Antwort mit hoher Wahrscheinlichkeit stimmt, und andernfalls Unsicherheit sichtbar kennzeichnen.
Retrieval-Augmented Generation (RAG): Eines der stärksten Werkzeuge gegen Halluzinationen ist, dem LLM eine Rettungsleine zu echtem externem Wissen zu geben. Statt sich nur auf sein internes Gedächtnis zu verlassen (das veraltet oder lückenhaft sein kann), lässt sich ein Modell an eine Datenbank oder eine Websuche anbinden und holt bei Bedarf aktuelle Informationen und Fakten. So arbeiten Tools wie Bing Chat (das GPT-4 nutzt) und viele Unternehmens-Chatbots: Die KI fragt eine Wissensbasis oder das Internet nach relevantem Quellenmaterial ab und baut daraus ihre Antwort. Die Forschung zeigt, dass solche Retrieval-gestützten Systeme die sachliche Genauigkeit deutlich verbessern und sogar das Vertrauen der Nutzer in die Antworten stärken. Stützt sich die Ausgabe auf Dokumente oder Artikel, driftet das Modell seltener in die Fiktion ab. OpenAI, Google und andere setzen alle stark auf diesen Ansatz. Googles kommendes Gemini-Modell ist Berichten zufolge eng mit der Suche und mit Faktenreferenzen verzahnt. Frühe Auswertungen von Gemini 2.5 zeigten tatsächlich eine beeindruckend niedrige Halluzinationsrate (etwa 6 % in offenen QA-Tests), verglichen mit ähnlichen GPT-4-Setups ohne Retrieval (etwa 15 % und mehr). Direkter Zugriff auf Quellenmaterial hilft, die KI ehrlich zu halten, auch wenn das nicht narrensicher ist (die KI kann die abgerufenen Informationen falsch deuten oder falsch verwenden). Trotzdem ist es inzwischen Standard in der Forschung und in produktiven Systemen, Antworten auf abgerufene Fakten zu stützen, um Halluzinationen zu verringern.
Nachbearbeitung und Verifikation: Eine weitere Verteidigungslinie prüft die Ausgabe der KI, nachdem sie erzeugt wurde, aber bevor sie beim Nutzer ankommt. Man kann ein zweites Modell oder System einsetzen, das wahrscheinliche Falschaussagen erkennt oder Behauptungen gegenprüft. Forscher haben zum Beispiel „Konsistenzprüfungen“ entwickelt, bei denen das Modell dieselbe Frage in unterschiedlicher Form gestellt bekommt; widersprechen sich die Antworten, ist das ein Warnsignal, dass es rät. Zu den anderen Ansätzen gehört ein „Chain-of-Verification“-Prozess (CoVe): Das Modell erzeugt eine Antwort, dann eine Checkliste mit Fakten oder Teilfragen, die zutreffen müssten, damit die Antwort stimmt, und versucht anschließend, diese zu beantworten. Jeder Fehler in der Checkliste kann das Modell zurückschicken, um die ursprüngliche Antwort zu überarbeiten. So zwingt man die KI, sich strukturiert selbst zu überprüfen. Frühe Forschung deutet darauf hin, dass solche Selbstprüfungsschleifen Halluzinationen verringern können, allerdings auf Kosten von mehr Rechenaufwand (das Modell leistet zur Kontrolle tatsächlich Mehrarbeit). Ebenso investieren Unternehmen wie OpenAI und Anthropic in automatisiertes Monitoring, das erfunden wirkende Inhalte markiert. Eine Antwort mit einem Zitat oder einer Statistik kann etwa durch einen Filter laufen, der in einem vertrauenswürdigen Korpus nachsieht, ob dieses Zitat wirklich existiert. Falls nicht, hängt die KI womöglich eine Entschuldigung oder einen Hinweis an.
Mechanistische Interpretierbarkeit: Zukunftsorientierter ist der Blick in das „Gehirn“ des Modells, um die Schaltkreise der Falschinformation zu verstehen. Die erwähnte Claude-Studie ist ein gutes Beispiel: Indem sie Neuronenaktivierungen nachverfolgten, fanden die Forscher eigene Schaltkreise, die entweder mit dem Abruf von Fakten oder mit dem Raten zusammenhängen. Kennt man sie, könnte man im Prinzip das Innere eines Modells so anpassen, dass es weniger halluziniert. Anthropic hat Werkzeuge gebaut, mit denen sich diese Schaltkreise experimentell ein- und ausschalten lassen (so brachten die Forscher Claude dazu, fälschlich zu behaupten, eine unbekannte Person sei Schachspieler). Diese Art von Interpretierbarkeitsforschung steht noch am Anfang, verspricht aber eine Zukunft, in der wir Halluzinationen chirurgisch verringern, indem wir ändern, wie ein Modell Wissen verarbeitet. Auch die Forscher von OpenAI untersuchen, warum bestimmte Fragen bizarre Antworten auslösen, und hoffen, eine „neuronale Signatur“ der Halluzination zu finden, die sich beheben lässt. Direkte Lösungen hat das noch nicht gebracht, aber diese Arbeit hat den früheren Punkt schon bestätigt: Modelle halluzinieren nicht aus Bosheit oder Zufall, sondern wegen erkennbarer Komponenten und Auslöser, die wir irgendwann vielleicht kontrollieren können.

Wie schneiden die führenden Modelle bei Halluzinationen ab?

Nicht alle KI-Modelle halluzinieren gleich leicht, und neuere Generationen machen spürbare Fortschritte. Wirklich vergleichbare Zahlen für eine „Halluzinationsrate“ sind schwer zu bekommen (sie hängt von Aufgabe und Messmethode ab), aber einige Benchmarks geben ein Bild der Lage:

GPT-4 vs. GPT-3.5 vs. GPT-5: GPT-4 (veröffentlicht 2023) war bei der sachlichen Verlässlichkeit ein großer Schritt gegenüber GPT-3.5. In einem Standardtest auf Wahrhaftigkeit lag die Halluzinationsrate von GPT-4 bei etwa 15 bis 16 %, während GPT-3.5 (das ursprüngliche ChatGPT) bei denselben Aufgaben oft über 20 % lag. Später brachte OpenAI GPT-4.5 als Zwischen-Update heraus, und Berichten zufolge hatte es „deutlich niedrigere Halluzinationsraten“ als das frühe GPT-4, in manchen Auswertungen etwa 11 bis 12 %. Jetzt soll GPT-5 (das Ende 2025 über ChatGPT nur eingeschränkt genutzt wurde) das weiter drücken. OpenAI behauptet, GPT-5 „halluziniert deutlich weniger, besonders beim logischen Schlussfolgern“. Das deckt sich mit Beobachtungen von außen, wonach GPT-5 bei komplexen, mehrstufigen Problemen besser bei den Fakten bleibt. Allerdings ist auch GPT-5 nicht unfehlbar: Tester berichten, dass es in Bereichen, auf die es nicht gut trainiert wurde, weiterhin selbstsicher falsche Antworten ausspuckt. Die eigene Dokumentation von OpenAI räumt eine anhaltend „zerklüftete“ Leistung ein, das heißt, bestimmte Nischenfragen oder knifflige Anfragen können es aus dem Tritt bringen. Kurz: Jede Generation (GPT-3 → 4 → 5) hat Halluzinationen verringert, aber bei null sind wir nicht.
Anthropic Claude 2 vs. 4 (Sonnet-Serie): Die Claude-Modelle von Anthropic gelten als vorsichtig und haben ein gutes Alignment. Claude 2 (2023) lehnte gelegentlich Fragen ab, an die sich GPT-4 womöglich gewagt hätte, gerade um nicht zu halluzinieren. 2025 wird das neueste Modell von Anthropic, Claude Sonnet 4.5, als sein „Modell mit dem bisher besten Alignment“ beworben. Interne Auswertungen zeigten Verbesserungen bei den Kennzahlen zu „Halluzinationen und Vertrauenswürdigkeit“: In einem Red-Team-Test produzierte Claude 4.5 bei den geprüften Anfragen keine Sachfehler, solange ein passender System Prompt gesetzt war. (Ohne System Prompt machte es durchaus Fehler, was die Annahme stützt, dass Prompting und Leitplanken auch bei Spitzenmodellen zählen.) In Zahlen: Claude 3.7 (eine frühere Version) lag in einem breiten Benchmark bei rund 16 % Halluzinationen, vergleichbar mit GPT-4. Claude 4 (und 4.5) dürfte das bei ähnlichen Tests in die Nähe von etwa 10 % gedrückt haben, genaue Zahlen sind aber nicht öffentlich. Unterm Strich ist Claude bei der Faktentreue mindestens so gut wie GPT-4, und der Fokus von Anthropic auf „sicherere“ Antworten heißt, dass es in Grenzfällen womöglich die Antwort verweigert, wo GPT-4 einen Versuch gewagt hätte. Nutzer berichten oft, Claude wirke „vorsichtiger“, eine Designentscheidung, die halluzinierte Inhalte minimieren soll.
Googles Gemini: Googles Sparte DeepMind (die mit Google Brain fusioniert wurde) arbeitet an Gemini, einem Foundation-Modell der nächsten Generation, das GPT-4 Konkurrenz machen oder es übertreffen soll. Auch wenn Ende 2025 noch nicht alle Details öffentlich sind, wurden frühe Versionen (Gemini 2.0 und 2.5 in den Varianten „Pro“ und „Flash“) getestet. In einem Branchen-Benchmark (Vectaras FaithfulQA) zeigte Gemini 2.5 mit etwa 6,3 % eine bemerkenswert niedrige Halluzinationsrate und schlug zeitgleiche GPT-4- und Claude-Modelle in derselben Auswertung deutlich. Das lässt vermuten, dass Google vorangekommen ist, möglicherweise indem es Gemini noch strenger auf belegte Quellen trainiert und seine Stärke bei Suche und Daten nutzt, um das Modell bei den Fakten zu halten. Googles CEO Demis Hassabis dämpfte die Erwartungen allerdings mit dem Hinweis, dass heutige Modelle (vermutlich auch die eigenen) „zu viele Lücken haben“ und offensichtliche Fragen manchmal immer noch falsch beantworten. In einem Vorfall zitierte Googles eigenes Bard (ein früheres Modell, in das Gemini-Technik integriert wurde) sogar einen satirischen Aprilscherz-Artikel über „Mikroroboter“, als wäre er eine Tatsache. Gemini mag also im Schnitt weniger halluzinieren, gegen Patzer ist es aber nicht immun. Google setzt bei Gemini wahrscheinlich stark auf Retrieval, was die niedrigeren Halluzinationswerte in Benchmarks erklären könnte. Im echten Einsatz (etwa in Googles Suchergebnissen) kann jede Halluzination sofort auffallen, deshalb strebt Google extreme sachliche Genauigkeit an. Mit der offiziellen Veröffentlichung wird sich zeigen, ob es GPT-4/5 bei der Wahrhaftigkeit auf ganzer Linie übertrifft, aber die ersten Anzeichen sind vielversprechend.
Open-Source-Modelle (LLaMA, Mistral, Qwen usw.): Die Open-Source-Community rund um LLMs hat viele leistungsfähige Modelle hervorgebracht, aber bei kleineren Größenordnungen sind Halluzinationen eine noch härtere Nuss. Viele frühe offene Modelle (wie das erste LLaMA oder GPT-J) erfanden munter Fakten, weil ihnen das aufwendige Fine-Tuning und Reinforcement fehlte, das die großen kommerziellen Modelle durchlaufen hatten. Neue offene Modelle werden aber besser. Alibabas Qwen-Serie (eine leistungsstarke chinesisch-englische Modellfamilie) hat zum Beispiel mehrere Iterationen durchlaufen, die Halluzinationen verringern sollten. Das neueste Qwen-3.5 (2025 als Open Source veröffentlicht) enthält Anpassungen an Architektur und Trainingsmethoden, die das sachliche Schlussfolgern verbessern und die Neigung des Modells verringern sollen, vom Skript abzuweichen. Entwickler berichten, dass es seltener etwas erfindet, wenn es weiß, dass es unsicher ist. Ähnlich soll Metas LLaMA 3 (der hypothetische Nachfolger von LLaMA 2) mehr Gewicht auf sachliche Fundierung legen. Manche offenen Modelle bringen inzwischen eingebaute Retrieval-Plugins mit, im Grunde Hybridsysteme, die für Sie automatisch ein Wiki oder eine Datenbank durchsuchen. Dieser Plugin-Ansatz hilft gegen Halluzinationen, weil das Modell geprüfte Informationen zum Arbeiten bekommt. Trotz dieser Bemühungen zeigen unabhängige Auswertungen (etwa Vectaras Leaderboard), dass offene Modelle bei der sachlichen Genauigkeit meist noch etwas hinter Modellen wie GPT-4 zurückliegen. So wurde ein Qwen-2.5-Modell mit 32 Milliarden Parametern in einem Test mit rund 19 % Halluzinationsrate gemessen, mehr als die etwa 15 % von GPT-4 im selben Test. Offene Modelle werden also besser, aber um die Verlässlichkeit der besten geschlossenen Modelle zu erreichen, braucht es mehr Daten und Fine-Tuning (oder clevere Techniken). Ihr Vorteil ist, dass sich offene Modelle vollständig anpassen lassen: Eine Community kann ein Qwen oder LLaMA per Fine-Tuning auf bestimmtes Fachwissen trainieren oder eigene Retrieval-Tools einbinden und so die Halluzinationen in dieser Nische drastisch senken. In spezialisierten Anwendungen sehen wir das bereits (ein offenes medizinisches LLM mit einer Datenbank medizinischer Lehrbücher kann bei medizinischen Fakten ein allgemeines GPT-4 übertreffen). Dank dieser Flexibilität lassen sich offene Modelle so wahrheitsgetreu machen wie nötig, es braucht nur sorgfältiges Engineering.

Bemerkenswert ist eine Behauptung des CEO von Anthropic: Menschen selbst halluzinieren recht oft, vielleicht öfter als KI. Dario Amodei vertrat 2025 die Ansicht, wenn man es „wirklich misst“, halluzinierten KI-Modelle „wahrscheinlich weniger als Menschen, aber auf überraschendere Weise“. Menschen irren und konfabulieren natürlich: Wir erinnern Fakten falsch oder behaupten selbstsicher Falsches, aber wir merken in der Regel besser, wenn wir uns auf unbekanntem Terrain bewegen. Ob KI wirklich seltener halluziniert als ein Mensch, ist umstritten (und, wie er sagte, davon abhängig, wie man es misst). Klar ist: Schon wenige Prozent falscher Ausgaben können zum großen Problem werden, wenn KI in großem Maßstab eingesetzt wird. Eine Halluzinationsrate von 5 % mag niedrig klingen, aber stellen Sie sich Millionen Nutzer vor, die jeden Tag je eine Antwort bekommen: Das sind Hunderttausende falsche Ausgaben, die regelmäßig in die Welt gelangen. Der Fortschritt ist also real, beseitigt ist das Problem aber nicht. Alle führenden Labore räumen ein, dass auch ihre besten Modelle noch halluzinieren, und ein wichtiges Forschungsziel ist heute, diese Fehlerrate für kritische Anwendungen so nah wie möglich an null zu bringen.

Was können Nutzer und Entwickler gegen Halluzinationen tun?

Da keine aktuelle KI zu 100 % verlässlich ist, brauchen Endnutzer und Entwickler Strategien für den Umgang mit Halluzinationen im echten Einsatz. Zum Glück gibt es eine Reihe praktischer Maßnahmen, die das Risiko deutlich senken, sich von einer KI in die Irre führen zu lassen. Hier die wichtigsten Maßnahmen auf Nutzerseite und ihre Wirksamkeit:

Prompt Engineering (konkret sein und Begründungen verlangen): Eines der einfachsten Dinge, die Sie tun können, ist, einen klareren Prompt zu formulieren. Vage Fragen führen zu noch vageren (und oft weniger genauen) Antworten. Geben Sie dagegen im Prompt Kontext mit oder bitten die KI ausdrücklich, ihre Überlegungen offenzulegen, kann das wackelige Logik sichtbar machen und das Modell zu mehr Sorgfalt anhalten. Statt „Was ist das Heilmittel gegen Krankheit X?“ zu fragen, könnten Sie etwa schreiben: „Erkläre die etablierten Behandlungen für Krankheit X und nenne seriöse Quellen.“ Eine bekannte Technik ist das Chain-of-Thought-Prompting: Sie weisen die KI an, Schritt für Schritt zu denken. Studien zeigen, dass das bei komplexen Aufgaben die Genauigkeit verbessern kann, weil das Modell einem logischen Weg folgen muss, statt direkt zu einer Antwort zu springen. Ist die Gedankenkette sichtbar, erkennen Sie außerdem, wo die KI womöglich eine unbegründete Annahme trifft. Ein weiterer Tipp: Geben Sie der KI eine Rolle oder Persona, die sie sachlicher machen könnte (z. B. „Du bist Bibliothekar mit Zugang zu einer Datenbank …“). Narrensicher ist das nicht, oft bekommen Sie so aber Antworten mit sachlicherem Ton und mehr Details.
Quellen oder Belege verlangen: Lassen Sie die KI ihre Behauptungen belegen, wenn es möglich ist. Viele KI-Chatbots bieten inzwischen Quellenangaben direkt in der Antwort (Bing Chat etwa nennt Webquellen für Sachaussagen). Auch bei einer KI, die das nicht automatisch tut, können Sie fragen: „Kannst du Quellen für diese Information nennen?“ oder „Woher weißt du das?“ Das hat zwei Zwecke: (1) Eine halluzinierende KI kommt bei der Frage nach Belegen womöglich ins Stolpern. Erfindet sie gerade eine Antwort, entschuldigt sie sich oft und nimmt sie zurück, oder sie liefert offensichtlich gefälschte Quellenangaben (z. B. Fachartikel, die es nicht gibt). Beides zeigt Ihnen, dass die vorherige Antwort zweifelhaft sein kann. (2) Nennt sie eine Quelle, können Sie diese prüfen. Dieser zusätzliche Schritt fängt viele Halluzinationen ab. Aber Vorsicht: Eine clevere KI halluziniert womöglich sogar die Quelle! (Es gab Fälle, in denen Chatbots Referenzlinks erfanden oder Teile echter URLs vermischten.) Prüfen Sie die Quellenangabe also immer gegen, wenn Sie sie nicht kennen. Das Nachprüfen anhand einer vertrauenswürdigen Quelle (einer Website, einem Lehrbuch oder einer Fachperson) ist unverzichtbar: Nehmen Sie KI-Ausgaben nie für bare Münze. Auch OpenAI und andere empfehlen den Nutzern, KI-Ausgaben kritisch zu bewerten und sich nicht allein darauf zu verlassen.
Retrieval-gestützte Tools nutzen: Wie besprochen verändert der Zugang zu externen Informationen die Genauigkeit grundlegend. Wenn Sie ein großes Sprachmodell für eine wichtige Aufgabe einsetzen, ziehen Sie Tools oder Plattformen in Betracht, die Retrieval-Augmented Generation (RAG) einbinden. Das kann ein Chatbot sein, der mit dem Web oder einer Wissensdatenbank des Unternehmens verbunden ist. Die Forschung zeigt, dass RAG nicht nur die sachliche Korrektheit verbessert, sondern auch das Vertrauen der Nutzer in die Antworten stärkt, wahrscheinlich weil die Antworten unterstützenden Kontext mitbringen. Für Entwickler machen Frameworks wie LangChain oder LlamaIndex es relativ einfach, eine LLM-Anwendung zu bauen, die zuerst relevante Dokumente abruft (etwa aus einem Firmenwiki oder einer medizinischen Datenbank) und das Modell dann eine darauf gestützte Antwort erzeugen lässt. Das Modell zitiert oder fasst echte Daten zusammen, statt sich nur auf seine trainierten internen Gewichte zu verlassen. In der Praxis kann das einen großen Teil der Halluzinationen beseitigen. Ein LLM erinnert sich vielleicht falsch an eine Statistik, aber muss es sie aus einer aktuellen Quelle holen, trifft es eher die richtige Zahl. Bedenken Sie aber: RAG ist keine Magie. Die abgerufenen Dokumente müssen selbst korrekt und relevant sein. Garbage in, garbage out. Entscheidend ist also, hochwertige Quellen zu indexieren.
Decoding-Einstellungen anpassen (für Power-User): Viele KI-Oberflächen erlauben es, Parameter wie die Temperatur zu ändern. Die Temperatur steuert den Zufall in der Ausgabe des Modells. Eine hohe Temperatur (etwa 0,8 oder 1,0) macht das Modell kreativer und abwechslungsreicher, was beim Brainstorming Spaß macht, aber mehr Erfundenes hervorbringen kann. Für sachliche Fragen und Antworten macht eine niedrige Temperatur (z. B. 0,2) das Modell deterministischer und lenkt es auf wahrscheinliche Antworten. Es hält sich dann enger an das, was es für die beste Antwort hält, statt erfinderisch zu werden. Das bedeutet oft weniger Halluzinationen. Manche Anwendungen bieten außerdem die Wahl zwischen einem „strengen“ und einem „kreativen“ Modus: Wählen Sie streng oder präzise, wenn Sie sachliche Verlässlichkeit brauchen. Die KI wird dadurch vielleicht etwas knapper oder zurückhaltender, aber für mehr Genauigkeit ist das meist ein guter Tausch. Ein weiterer Decoding-Trick aus der Forschung ist das kontrastive Decoding, bei dem die unteren Schichten des Modells seine höheren Schichten auf Fakten prüfen. Das steht Endnutzern zwar nicht direkt zur Verfügung, solche Techniken könnten aber in der nächsten Chatbot-Generation unter der Haube laufen und Tokens dämpfen, die nicht zu einer sachlichen Darstellung passen.
Schrittweise Überarbeitung und Selbstkorrektur: Wenn Sie vermuten, dass eine Antwort nicht stimmt, probieren Sie eine Technik namens Reflexion (kürzlich in der Forschung vorgeschlagen): Sie bitten das Modell im Grunde, seine Ausgabe zu kritisieren und zu überarbeiten. Zum Beispiel: „Bitte prüfe deine obige Antwort noch einmal auf Fehler oder unbelegte Behauptungen.“ Überraschend oft erkennt das Modell im zweiten Durchgang seine eigenen Halluzinationen und korrigiert sie. Es sagt dann vielleicht: „Bei der Durchsicht stelle ich fest, dass ich für X keinen Beleg gefunden habe, dieser Teil ist also möglicherweise falsch.“ Das funktioniert, weil der Prompt das Modell in eine kritischere Haltung bringt. Garantiert ist das natürlich nicht: Manchmal halluziniert das Modell einfach eine neue Erklärung für seine frühere Halluzination! Aber ein Dialog über die Genauigkeit kann zu einem besseren Ergebnis führen. Ähnlich können Sie der KI eine Checkliste oder Kriterien vorlegen: „Das sollte eine gültige Antwort enthalten … Erfüllt deine Antwort diese Kriterien?“ Fordern Sie das Modell auf, jeden Punkt aktiv zu prüfen, lassen sich Widersprüche aufdecken. Stellen Sie es sich so vor: Sie leiten die KI an, als ihr eigener Reviewer oder Unit-Tester zu arbeiten. Forschung wie die erwähnte Chain-of-Verification formalisiert diesen Ansatz, und erste Belege zeigen, dass sie falsche Ausgaben deutlich verringern kann.
Externe Faktenprüfer einsetzen: Wenn die Aufgabe geschäftskritisch ist, verlassen Sie sich bei der Faktenprüfung nicht allein auf das Modell. Es gibt Tools und APIs (manche selbst KI-gestützt), die auf das Faktenprüfen von Text spezialisiert sind. Man könnte die Antwort des Modells zum Beispiel durch einen Dienst schicken, der Behauptungen markiert und sie mit einem Knowledge Graph oder einer Datenbank geprüfter Informationen abgleicht. Entwickler bauen manchmal eine einfache Version davon: Nach der Antwort des Modells läuft automatisch eine Websuche nach den zentralen Aussagen, und man sieht, ob die ersten Treffer das Modell bestätigen oder ihm widersprechen. Als Endnutzer können Sie das nachmachen, indem Sie die wichtigsten Fakten aus der KI-Antwort selbst googeln. Sagt die KI „Laut einer Pew-Research-Studie von 2019 sind 54 % von X …“, suchen Sie nach dieser Studie. Taucht nichts auf, sollten die Alarmglocken schrillen. Im Grunde gilt: Vertrauen ist gut, Kontrolle ist besser, und ohne Vertrauen bleibt eben die Kontrolle.
Kontextgrenzen einhalten: Halluzinationen entstehen oft, wenn das Modell den Kontext verlässt, den es bekommen hat. Haben Sie die KI etwa einen bestimmten Artikel analysieren lassen und stellen dann plötzlich eine Frage, die nichts damit zu tun hat, vermischt das Modell womöglich Wissen, das nicht zusammengehört. Es empfiehlt sich, den Kontext beim Themenwechsel zurückzusetzen oder zu klären, oder dem Modell ausdrücklich zu sagen, welchen Kontext es nutzen soll. Auch Entwickler können das erzwingen, indem sie das Wissen des Modells eingrenzen: Manche Systeme stellen etwa „Antworte nur anhand des obigen Dokuments“ voran, damit das Modell keine Informationen von außen einstreut. Bleibt die KI fokussiert, hat sie weniger Gelegenheit, überflüssige Details zu halluzinieren.

Eine wichtige Maßnahme zum Schluss ist die Aufklärung der Nutzer. Wer weiß, dass KI halluzinieren kann, hat schon die halbe Miete. Begegnen Nutzer KI-Ausgaben mit gesunder Skepsis (so wie wir, hoffentlich, beliebigen Informationen aus dem Internet begegnen), lassen sie sich seltener in die Irre führen. Viele KI-Anwendungen enthalten inzwischen Hinweise auf mögliche Ungenauigkeiten. Diese Warnungen treten zwar leicht in den Hintergrund, erinnern uns aber daran, dass auch die fortschrittlichste KI von heute kein fehlerfreies Orakel ist. Sie ist ein Werkzeug, das menschliche Arbeit ergänzt, aber weiterhin menschliche Aufsicht braucht. Wie es ein KI-Forscher ausdrückte, gibt es „keine einzelne Patentlösung“ gegen Halluzinationen: Die besten Ergebnisse entstehen, wenn man Techniken kombiniert und zusätzlich mit gesundem Menschenverstand prüft.

Zusammengefasst: KI-Halluzinationen entspringen grundlegenden Eigenschaften unserer Modelle, aber wir kommen beim Eindämmen stetig voran. Mit besserem Training, klügeren Prompts, der Anbindung der Modelle an echte Daten und strengen nachgelagerten Prüfungen gehen krasse Erfindungen zurück. Auch Nutzer sind nicht machtlos: Wer überlegt mit KI umgeht (und nichts Unmögliches erwartet), kann die Risiken stark verringern. Noch ist keine KI zu 100 % frei von Halluzinationen, und vielleicht ist es unrealistisch, völlige Perfektion zu erwarten. Schließlich irren auch Menschen und „erinnern“ sich an Dinge, die nie passiert sind. Das Ziel ist aber, KI viel verlässlicher zu machen, als sie heute ist. Mit jeder Iteration (GPT-5, Claude 4.5, Gemini, Qwen 3.5 und darüber hinaus) sehen wir spürbare Verbesserungen bei der Wahrhaftigkeit. Die Forschung geht das Problem von allen Seiten an, vom Feinjustieren der Decoding-Algorithmen bis zum buchstäblichen Öffnen neuronaler Netze, wie mit einem Mikroskop über einem Gehirn. Vielleicht braucht es eine Kombination all dieser Ansätze, um das Problem der Halluzinationen wirklich zu lösen. Bis dahin ist die beste Verteidigung ein gut informierter Nutzer mit guten Gewohnheiten, und vielleicht einer verlässlichen Suchmaschine nebenbei, um die besonders überraschenden „Fakten“ zu prüfen, die die KI manchmal auftischt. Wie das Sprichwort sagt: „Vertrauen ist gut, Kontrolle ist besser“, und nirgends passt das besser als im Umgang mit unseren brillanten, aber manchmal wirklichkeitsfernen KI-Assistenten.

Das Wichtigste in Kürze: KI-Halluzinationen sind ein komplexes, aber beherrschbares Problem. Wenn wir ihre Ursachen verstehen und mehrschichtige Lösungen einsetzen, von besserem Modelldesign bis zu einfachen Anpassungen am Prompt, können wir ihre Häufigkeit drastisch senken. Die führenden Modelle halluzinieren mit der Zeit seltener, und mit verantwortungsvollem Deployment (etwa durch Retrieval und das Zulassen von Unsicherheit, wo es passt) lässt sich auch KI mit Nutzerkontakt für den praktischen Einsatz verlässlich machen. Am Ziel sind wir noch nicht ganz, aber der Weg zu vertrauenswürdiger KI wird klarer, mit jeder Halluzination weniger.

Quellen:

Harvard Kennedy School Misinformation Review: „KI-Halluzinationen sind ungenaue Ausgaben … die plausibel erscheinen, aber erfundene Informationen enthalten.“
Anthropic (Studie zur Interpretierbarkeit von Claude): Befund, dass das Training von Sprachmodellen zum Raten anreizt und dass Claude unbekannte Antworten standardmäßig verweigert (über einen „Kann nicht antworten“-Schaltkreis), bis ein bekanntes Thema eine Antwort auslöst. Feuert der Auslöser für „bekannte Antwort“ fälschlich, kommt es zur Konfabulation.
OpenAI (über den Balbix-Blog): „Wir belohnen das Raten statt das Eingeständnis von Unwissen“, aus einem OpenAI-Paper von 2025 darüber, warum Halluzinationen auftreten. Außerdem: GPT-4-Modelle hatten Fehlerraten von 20 bis 30 %, wenn sie alles beantworten mussten, verbesserten aber ihre Genauigkeit, indem sie mehr als die Hälfte der Fragen nicht beantworteten, was den Nutzen der Enthaltung zeigt.
TechCrunch (Mai 2025): Anthropic-CEO D. Amodei behauptet, „KI-Modelle halluzinieren wahrscheinlich weniger als Menschen“ (wenn auch auf überraschende Weise). Erwähnt auch, dass der CEO von Google DeepMind sagt, heutige Modelle „haben zu viele Lücken“ (offensichtliche Fehler), und berichtet von einem Anwalt, der sich entschuldigen musste, nachdem Claude in einem Schriftsatz Quellenangaben halluziniert hatte.
Balbix-Security-Blog: Nennt Benchmarks: GPT-4 etwa 15,8 % Halluzinationen, Claude 3.7 etwa 16,0 %, Google Gemini 2.5 etwa 6,3 % im selben Test (Vectara Faithful QA, 2024/25). Erwähnt auch, dass OpenAI behauptet, GPT-5 halluziniere deutlich weniger, und dass Claude 4 von Anthropic strengere Zitierkontrollen hat, aber „beide Unternehmen räumen weiterhin verbleibende Halluzinationen ein … Der Fortschritt ist real, beseitigt ist das Problem aber nicht.“
Galileo AI (Exploring Qwen): Hält fest, dass Alibabas Open-Source-Modelle Qwen 3.5 Verbesserungen an der Architektur enthalten, die Halluzinationen verringern und das Befolgen von Anweisungen verbessern.
MIT Sloan EdTech: Ratschläge gegen Halluzinationen: „Die Forschung zeigt, dass RAG die sachliche Genauigkeit und das Vertrauen der Nutzer verbessert“; „Chain-of-Thought-Prompting … verbessert Transparenz und Genauigkeit“; klare Prompts und eine niedrige Temperatur führen zu sachlicheren Antworten. Betont außerdem, KI-Inhalte mit externen Quellen oder Fachleuten gegenzuprüfen.
Analytics Vidhya (Sept. 2025): Umfassender Überblick über Techniken gegen Halluzinationen. Die wichtigsten Punkte: keine Einzellösung; am besten kombiniert man Methoden (Prompting, Reasoning, RAG, Verifikation), und im Zweifel oder bei hohem Risiko sollte sich das Modell enthalten oder Unsicherheit signalisieren. Beschreibt fortgeschrittene Methoden wie ReAct, Tree-of-Thought, Reflexion, Chain-of-Verification und neue Decoding-Algorithmen, die bei der Verringerung von Halluzinationen vielversprechend waren.

Aus dem Englischen übersetzt: zum Originalbeitrag