Fragen Sie ChatGPT nach fünf Antworten statt nach einer, und sehen Sie zu, wie die Langeweile verschwindet

Wenn Sie ChatGPT schon einmal um einen Witz gebeten und praktisch jedes Mal dieselbe Kombination aus Aufbau und Pointe bekommen haben, kennen Sie das Phänomen, das die Forschung „Mode Collapse“ nennt: das KI-Gegenstück zum Tunnelblick. Eine diese Woche veröffentlichte Studie benennt die Ursache dieses repetitiven Verhaltens und schlägt eine bestechend einfache Lösung vor: Bitten Sie das Modell um fünf Antworten mit Wahrscheinlichkeiten statt um eine einzige.

Die Technik heißt Verbalized Sampling und steigert die Vielfalt kreativer Ausgaben gegenüber normalem Prompting auf das 1,6- bis 2,1-Fache, und zwar ohne neues Training der Modelle und ohne Herumprobieren an den Temperature-Einstellungen. Noch überraschender: Sie verbessert dabei sogar die Qualität, während die Vielfalt steigt. Das ist eine seltene Win-win-Situation beim Bias-Varianz-Tradeoff, der im Machine Learning normalerweise den Ton angibt.

Der wahre Bösewicht: Ihr Gehirn (gewissermaßen)

Die gängige Meinung machte algorithmische Probleme für den Mode Collapse verantwortlich, also schlechte Reward-Modelle oder Optimierungsverfahren, die Mehrheitsmeinungen bevorzugen. Die neue Forschung von Stanford und der UC Berkeley zeigt aber etwas Grundsätzlicheres: Das Problem steckt schon in den menschlichen Präferenzdaten, mit denen diese Modelle trainiert werden, und zwar in Form dessen, was die Kognitionspsychologie „Typicality Bias“ nennt.

Die unbequeme Wahrheit lautet: Wenn menschliche Annotatoren im Prozess des Reinforcement Learning from Human Feedback (RLHF) KI-Ausgaben bewerten, bevorzugen sie systematisch vertrauten, flüssigen, vorhersehbaren Text, und das selbst dann, wenn man die Korrektheit herausrechnet. Der Mere-Exposure-Effekt, die Verfügbarkeitsheuristik und die Verarbeitungsflüssigkeit wirken hier zusammen und bringen uns dazu, das Konventionelle vorzuziehen.

Die Forschenden haben das mathematisch formalisiert und empirisch am Präferenzdatensatz HelpSteer überprüft. Nachdem sie die Korrektheit herausgerechnet und nur die Typikalität betrachtet hatten (gemessen daran, für wie wahrscheinlich ein Basismodell den Text hielt), zeigte sich: Antworten, die bei der Typikalität eine Standardabweichung höher lagen, hatten um 42 bis 47 Prozent höhere Chancen, von Menschen als hilfreicher bewertet zu werden. Das entspricht einem Unterschied von 17 bis 19 Prozentpunkten bei der Gewinnwahrscheinlichkeit.

Im Training verstärkt sich diese Verzerrung. Die mathematische Analyse zeigt, dass jeder positive Typicality Bias die Ausgabeverteilung des Modells strikt schärft. Gibt es mehrere hochwertige Antworten (wie bei kreativen Aufgaben), wirkt diese Schärfung wie ein Tiebreaker, der das Modell auf stereotype Antworten zusammenfallen lässt.

Der Prompt, der alles ändert

Die Lösung nutzt eine clevere Beobachtung: Unterschiedliche Prompts aktivieren in Sprachmodellen unterschiedliche Modi. Statt „Erzähl mir einen Witz über Kaffee“ (Instanzebene) schlagen die Forschenden vor: „Generiere 5 Witze über Kaffee mit ihren Wahrscheinlichkeiten.“

Warum funktioniert das? Fragen Sie nach einer einzelnen Antwort, liefert das vom Mode Collapse betroffene Modell seinen typischsten Witz. Fragen Sie dagegen nach einer Verteilung von Antworten mit Wahrscheinlichkeiten, verschiebt sich das modale Verhalten des Modells: Es versucht, die vollständige Verteilung anzunähern, die es im Pretraining gelernt hat, bevor das Alignment-Training seinen Horizont einengte.

Die Ergebnisse sind beachtlich. Bei kreativen Schreibaufgaben (Gedichte, Geschichten und Witze) verbesserte Verbalized Sampling die Werte für semantische Vielfalt gegenüber direktem Prompting um 60 bis 110 Prozent. Menschliche Bewerterinnen und Bewerter bestätigten den Unterschied: Sie stuften die VS-Ausgaben bei allen drei kreativen Aufgaben als deutlich vielfältiger ein als die der Vergleichsmethoden.

Besser noch: Die Qualitätswerte stiegen in der menschlichen Bewertung um fast 26 Prozent. Die Technik spuckt also nicht einfach zufälligen Unsinn aus, sie bringt tatsächlich bessere kreative Ergebnisse hervor.

Mehr als Partytricks

Vielfalt bei Witzen mag nach Spielerei klingen, die Folgen reichen aber weiter. Die Technik erwies sich als nützlich bei der Dialogsimulation (wo VS GPT-4.1 auf das Niveau eines per Fine-Tuning angepassten Modells brachte), bei offenen Frage-Antwort-Aufgaben (bessere Abdeckung gültiger Antworten) und bei der Erzeugung synthetischer Daten für das Training anderer Modelle.

Diese letzte Anwendung ist besonders relevant, weil gerade ein Wettlauf um die Erzeugung von Trainingsdaten in großem Maßstab läuft. Als die Forschenden mit VS synthetische Mathematikaufgaben erzeugten und kleinere Modelle per Fine-Tuning darauf trainierten, erreichten diese über mehrere Benchmark-Datensätze hinweg eine durchschnittliche Genauigkeit von 37,5 Prozent. Das sind fast 7 Prozentpunkte mehr als bei Modellen, die mit Daten aus normalem Prompting trainiert wurden.

Außerdem beobachteten die Forschenden einen sich abzeichnenden Trend: Leistungsfähigere Modelle profitieren stärker von VS. Die Zugewinne an Vielfalt waren bei GPT-4.1 und Gemini-2.5-Pro 1,5- bis 2-mal so groß wie bei ihren kleineren Gegenstücken. Das deutet darauf hin, dass die Technik latente Fähigkeiten freilegt, die stärkere Modelle zwar besitzen, normalerweise aber unterdrücken.

Die praktischen Details

Die Umsetzung ist erfreulich einfach. Ergänzen Sie bei jedem Chatbot (ChatGPT, Claude, Gemini) Ihren Prompt um folgenden Text:

Generate 5 responses to the user query, each within a separate <response> tag.
Each <response> must include a <text> and a numeric <probability>. 
Randomly sample responses from the full distribution.

Die Forschenden haben eine Open-Source-Python-Bibliothek für die programmatische Nutzung veröffentlicht. Die Technik kommt ohne Training aus, ist modellunabhängig, braucht keinen Zugriff auf Modellgewichte oder Logits und lässt sich mit bestehenden Methoden wie Temperature Sampling kombinieren.

Die Vielfalt lässt sich sogar spontan anpassen, indem Sie im Prompt Wahrscheinlichkeitsschwellen vorgeben (zum Beispiel „nimm nur Antworten mit einer Wahrscheinlichkeit unter 10 Prozent auf“). Niedrigere Schwellen ergeben kontrolliert mehr Vielfalt.

Das größere Bild

Diese Arbeit wirft unbequeme Fragen zur Alignment-Pipeline auf, die inzwischen Branchenstandard ist. Wenn menschliche Präferenzdaten Modelle systematisch in Richtung des Konventionellen verzerren, trainieren wir unseren leistungsfähigsten KI-Systemen dann unabsichtlich die Kreativität ab?

Die Forschenden weisen darauf hin, dass selbst perfekte Reward-Modelle und perfekte Optimierung daran nichts ändern: Die Verzerrungen in den Präferenzdatensätzen führen trotzdem zum Mode Collapse, und das betrifft die meisten Alignment-Methoden, die auf Reward-Modellen beruhen.

Der Lichtblick: Ablationsstudien über mehrere Trainingsphasen hinweg (überwachtes Fine-Tuning, RLHF und Reinforcement Learning mit verifizierbaren Belohnungen) zeigten, dass Alignment die Vielfalt zwar verringert, Verbalized Sampling aber rund 67 Prozent der ursprünglichen Vielfalt des Basismodells zurückholen kann, direktes Prompting dagegen nur 24 Prozent. Die Kreativität ist nicht weg, sie versteckt sich nur.

Ob Verbalized Sampling zur Standardtechnik wird oder bloß ein cleverer Workaround für ein tieferes Problem bleibt, wird sich zeigen. Aber wenn Sie genug davon haben, immer denselben KI-generierten Flachwitz über entkoffeinierten Kaffee zu bekommen, der „depresso“ sei, wissen Sie jetzt, was zu tun ist: Bitten Sie um fünf Witze statt um einen.

Das vollständige Paper und der Code stehen auf arXiv und GitHub für alle bereit, die sich näher mit den mathematischen Beweisen und den experimentellen Ergebnissen beschäftigen wollen.

Aus dem Englischen übersetzt: zum Originalbeitrag