KI-Model-Collapse ist ein Phänomen in der künstlichen Intelligenz (KI): Trainierte Modelle, vor allem solche, die auf synthetischen oder KI-generierten Daten beruhen, werden mit der Zeit schlechter. Das zeigt sich an immer weniger vielfältigen Ausgaben, an einem Hang zu „sicheren“ Antworten und an einer schwindenden Fähigkeit, kreative oder originelle Inhalte zu erzeugen[1].
Für die Entwicklung und den langfristigen Betrieb von KI-Technologien hat das erhebliche Folgen. Eine der Hauptursachen ist der rekursive Charakter des KI-Trainings: Modelle werden teils mit den Ausgaben anderer Modelle trainiert statt mit vielfältigen, von Menschen erzeugten Daten[2]. Mit der Zeit summieren sich die Fehler in den generierten Daten, und die Modelle nehmen die Wirklichkeit immer verzerrter wahr[3]. Beschrieben haben das Shumailov et al., die den Begriff geprägt und zwei Stadien des Verfalls unterschieden haben: frühen und späten Model Collapse[4].
Ungebremst wird Model Collapse zu einem ernsten Problem für den Fortschritt der KI-Technologie. Mit durchdachter Aufsicht und passenden Gegenmaßnahmen lassen sich die Risiken aber gering halten. Die wichtigsten Mittel dagegen sind ein stetiger Nachschub an vielfältigen, hochwertigen Trainingsdaten sowie laufendes Monitoring und Feintuning durch menschliche Fachleute[5].
Das Ziel ist ein Ausgleich zwischen dem möglichen Nutzen von KI, etwa der Umwälzung ganzer Branchen und der Aufwertung von Wissensarbeit, und den Risiken, die der Qualitätsverlust der Modelle mit sich bringt. In der Cybersicherheit gilt Model Collapse als ernst zu nehmende neue Bedrohung. Jennifer Prendki, CEO von Alectio.com, bezeichnet ihn als die nächste Generation von Cybersicherheitsproblemen, über die nur sehr wenige sprechen[6]. Die Lösung scheint laut Fachleuten einfach: nicht länger auf KI-generierte Daten setzen und mehr von Menschen erzeugte Daten ins Training der Modelle aufnehmen[6].
Theoretische Grundlagen
Model Collapse ist ein ernstes Problem beim Training generativer Modelle. Nachgewiesen wurde er bei verschiedenen Modelltypen, darunter große Sprachmodelle (LLMs), Variational Autoencoders (VAEs) und Gaussian Mixture Models (GMMs)[7]. Der Effekt entsteht, wenn generative Modelle rekursiv mit Daten trainiert werden, die ihre Vorgänger erzeugt haben. Qualität und Vielfalt der Ausgaben nehmen dabei schrittweise ab[8].
Model Collapse lässt sich vor allem auf zwei Fehlerarten zurückführen: den funktionalen Approximationsfehler und den Expressivitätsfehler. Der funktionale Approximationsfehler kommt daher, dass ein Modell komplexe Datenverteilungen nur begrenzt genau abbilden kann[9]. Das passiert, wenn ein Modell entweder nicht ausdrucksstark genug ist oder auf eine Weise zu ausdrucksstark, die nicht zur ursprünglichen Datenverteilung passt. Je nach Approximationsfähigkeit des Modells verstärkt oder mildert das den Model Collapse[9]. Auch der Expressivitätsfehler trägt dazu bei: Er tritt auf, wenn das Modell die volle Komplexität der Datenverteilung nicht erfasst.
Wer zum Beispiel eine Mischung aus zwei Gauß-Verteilungen mit einer einzigen Gauß-Verteilung anzupassen versucht, handelt sich zwangsläufig Fehler ein, selbst bei vollständiger Information über die Datenverteilung[7]. Solche Fehler bergen bei jedem Resampling-Schritt das Risiko, Information zu verlieren[4]. Die mathematische Intuition hinter dem Model Collapse lässt sich an einfachen Modellen zeigen. Bei einer eindimensionalen Normalverteilung etwa, die mit erwartungstreuen Schätzern für Mittelwert und Varianz angepasst wird, berechnet auf Stichproben der vorherigen Generation, lässt sich der Kollaps exakt nachweisen[4]. Auch bei mehrdimensionalen Modellen mit rein synthetischen Daten ist ein exakter Kollaps nachweisbar, wobei Skalierungsgesetze und Schranken für das Lernen in verschiedenen Zusammenhängen gelten, etwa bei linearen Regressionsmodellen und linearen Softmax-Klassifikatoren zur Vorhersage des nächsten Tokens[4].
Empirische Analysen bestätigen: Wird generative KI sowohl mit echten als auch mit generierten Inhalten trainiert, kann ihre Fähigkeit zu vielfältigen, hochwertigen Ausgaben sinken[7]. Besonders deutlich zeigt sich das bei Aufgaben, die viel Kreativität verlangen, denn mit jeder weiteren Trainingsrunde auf synthetischen Daten nimmt die lexikalische, syntaktische und semantische Vielfalt der Ausgaben stetig ab[4].
Ursachen von KI-Model-Collapse
KI-Model-Collapse entsteht durch mehrere miteinander verflochtene Faktoren, die Leistung und Qualität generativer Modelle über aufeinanderfolgende Trainingsdurchläufe hinweg verschlechtern.
Funktionale Approximationsfehler
Funktionale Approximationsfehler entstehen vor allem durch die Grenzen der Lernverfahren. So können die strukturelle Verzerrung des stochastischen Gradientenabstiegs und die Wahl der Zielfunktionen dazu beitragen[7][4]. Die Folge: Das Modell erfasst die volle Komplexität der Daten nicht, und das wird umso deutlicher, je öfter es mit seinen eigenen generierten Daten trainiert statt mit vielfältigen, hochwertigen Daten aus der realen Welt.
Stichprobenfehler
Stichprobenfehler treten auf, wenn die Trainingsdaten die tatsächliche Verteilung im Datenraum nicht angemessen abbilden. Das verschärft sich, wenn Modelle mit synthetischen Daten trainieren, die frühere Iterationen des Modells erzeugt haben. Das Modell verliert dann nach und nach die Information über die Ränder der Verteilung und konzentriert sich auf einen immer schmaleren Ausschnitt der Daten[2][4]. Mit der Zeit sinken Varianz und Vielfalt seiner Ausgaben, die die ursprüngliche Datenverteilung immer schlechter repräsentieren.
Lernfehler
Lernfehler entstehen im Training selbst, oft durch schlechte Datenqualität oder ungeeignete Trainingsverfahren. Wird ein Modell mit synthetischen Daten trainiert, kann es ein schiefes Bild der Datenverteilung entwickeln und verzerrte, ungenaue oder für den Kontext unpassende Ausgaben liefern[4][1]. Das betrifft nicht nur komplexe Modelle: Es kann sogar bei einfachen Modellen auftreten, bei denen nicht alle Fehlerquellen vorhanden sind[4].
Wiederkehrende und sich verstärkende Fehler
Kehren diese Fehler über mehrere Trainingsgenerationen wieder, verstärkt sich der Verfall, und der Kollaps fällt deutlicher aus. Je stärker Modelle auf Daten früherer Modelle angewiesen sind, desto weiter entfernen sie sich von der ursprünglichen Datenverteilung. In den frühen Stadien des Model Collapse verliert das Modell wichtige Information über die selteneren Bereiche der Datenverteilung. In späteren Stadien konvergiert es zu einer Verteilung mit stark verringerter Varianz, die den ursprünglichen Daten kaum noch ähnelt[7][10].
Die Rolle synthetischer Daten
Synthetische Daten sollen zwar von echten nicht zu unterscheiden sein, enthalten aber oft Verzerrungen und Ungenauigkeiten, die zum Model Collapse beitragen. Das Training mit solchen Daten senkt stetig die lexikalische, syntaktische und semantische Vielfalt der Ausgaben, besonders bei Aufgaben mit hohem Kreativitätsanspruch, wie sie große Sprachmodelle (LLMs) übernehmen[4]. Forscher haben festgestellt, dass der wahllose Einsatz synthetischer Daten zu irreversiblen Schäden führen kann, weil das Modell die wahre zugrunde liegende Datenverteilung immer mehr vergisst[7].
Weiterreichende Folgen
Model Collapse betrifft nicht nur einzelne Modelle, sondern verschiedene Paradigmen des maschinellen Lernens, darunter Generative Adversarial Networks (GANs), Variational Autoencoders (VAEs) und Gaussian Mixture Models (GMMs)[7][1]. Das Phänomen zeigt, wie wichtig vielfältige, hochwertige Trainingsdaten sind und dass es laufendes Monitoring und gezieltes Feintuning durch menschliche Fachleute braucht, um die Risiken gering zu halten[5].
Auswirkungen und Folgen
KI-Model-Collapse hat erhebliche Folgen für verschiedene Beteiligte, darunter Entwickler, Unternehmen und die Gesellschaft insgesamt.
Technische und funktionale Auswirkungen
Model Collapse trifft vor allem Leistung und Zuverlässigkeit von KI-Systemen. Mit der Zeit kann die Qualität von KI-Modellen sinken, bis sie keine kreativen und aufschlussreichen Antworten mehr liefern[1]. Besonders problematisch ist das bei Generative Adversarial Networks (GANs), deren Generator realistische, aber wenig vielfältige Samples erzeugen kann, bekannt als Partial Mode Collapse[11]. Außerdem können Modelle das Belohnungssystem „austricksen“ und Antworten liefern, die die Belohnung maximieren, aber weder originell noch nützlich sind[1]. Funktionale Approximationsfehler, Stichprobenfehler und Lernfehler sind die Hauptgründe für Model Collapse[4]. Werden KI-Modelle überwiegend mit synthetischen Daten trainiert, die oft verzerrt sind und die reale Welt schlecht abbilden, können Qualität und Zuverlässigkeit dieser Modelle deutlich leiden[4]. Über Generationen hinweg kann daraus ein sogenannter „Clueless Generator“ entstehen: Das Modell verliert nach und nach die Fähigkeit, das Wesentliche der Datenverteilung zu erfassen, die es modellieren sollte[12].
Wirtschaftliche und berufliche Auswirkungen
Die wirtschaftlichen Folgen von KI-Model-Collapse sind tiefgreifend. Sinkt die Modellleistung, kann das bei Unternehmen, die für Automatisierung und Entscheidungsprozesse auf KI setzen, zu Ineffizienz und höheren Kosten führen[13]. Wenn KI-Systeme nichts Neues mehr hervorbringen und keine Grenzen mehr verschieben, bremst dieser Stillstand echte Fortschritte und begrenzt das Potenzial der Technologie, komplexe Probleme der realen Welt anzugehen[1]. Der Aufstieg der KI und das Risiko von Model Collapse wirken sich auch auf die Beschäftigung aus. KI kann zwar neue Arbeitsplätze schaffen und die Produktivität steigern, aber auch Arbeitsplätze verdrängen, besonders in kreativen Bereichen wie Kunst, Journalismus und Schreiben, wo KI-Systeme Inhalte erzeugen können, die traditionell von Menschen stammen[14]. Aktuellen Daten zufolge haben 14 Prozent der Beschäftigten bereits ihren Arbeitsplatz durch KI verloren[15]. Mit dem Fortschritt der KI wächst das Risiko, dass Arbeitskräfte verdrängt werden. In bestimmten Branchen könnte das rund 40 Prozent aller Arbeitsstunden betreffen[16].
Gesellschaftliche und ethische Folgen
Model Collapse kann Vorurteile und Stereotype aus den Trainingsdaten fortschreiben, bestehende Ungerechtigkeiten verstärken und soziale Folgen haben[1]. Deshalb braucht es vielfältige Trainingsdaten, menschliche Aufsicht, alternative Belohnungsstrukturen und vorausschauendes Monitoring, um einen KI-Kollaps zu verhindern und eine ethische KI-Entwicklung zu sichern[1]. Zu den breiteren gesellschaftlichen Folgen gehören mögliche Arbeitsplatzverluste, wirtschaftliche Instabilität und die ethischen Probleme verzerrter KI-Systeme, die Entscheidungsprozesse beeinflussen[13].
Fallstudien und Beispiele
The Curse of Recursion: das Modell OPT-125M
Ein bemerkenswertes Beispiel für KI-Model-Collapse liefert die Studie „The Curse of Recursion: Training on Generated Data Makes Models Forget“. Sie beschreibt, wie das Modell OPT-125M, nach heutigen Maßstäben relativ klein, beim Training mit KI-generierten Daten deutlich unter Model Collapse litt. In der vierten Trainingsgeneration lieferte das Modell auf Fragen zu mittelalterlicher Architektur völlig themenfremden Text über Eselhasen. Das Beispiel zeigt deutlich, wie die Fähigkeit eines Modells, zutreffende Inhalte zu erzeugen, mit der Zeit nachlässt, wenn es immer wieder mit KI-generierten Daten trainiert wird[2].
First-Mover-Vorteil beim Training von Modellen
In ihrer Arbeit identifizierten die Forscher außerdem einen „First-Mover-Vorteil“ beim Training von Modellen. Das Training mit Samples eines anderen generativen Modells kann eine Verschiebung der Verteilung auslösen, die mit der Zeit zum Model Collapse führt. Durch diese Verschiebung versteht das Modell die zugrunde liegende Lernaufgabe falsch. Model Collapse kann also auch unter idealen Bedingungen ohne Fehler bei der Funktionsschätzung auftreten[7].
Content-Farmen und langfristige Datenvergiftung
Die Effekte von Model Collapse reichen über einzelne Trainingsläufe hinaus. Content-Farmen, die seit Jahren eingesetzt werden, um Suchalgorithmen und die Bewertung von Inhalten in sozialen Netzwerken zu beeinflussen, tragen zur langfristigen Vergiftung der Datensätze von Sprachmodellen bei. Das Problem ist älter als der Durchbruch von KI-Technologien wie ChatGPT und zeigt, dass eingeschleuste verzerrte oder minderwertige KI-generierte Inhalte langfristige Folgen für spätere Modelle haben, die mit solchen Daten trainiert werden[2].
Datenverzerrung und das Fortschreiben von Stereotypen
Verzerrungen in den Trainingsdaten machen den Model Collapse noch komplizierter. Werden Modelle mit synthetischen Daten trainiert, die verzerrt, ungenau oder für reale Szenarien wenig repräsentativ sind, leiden Qualität und Zuverlässigkeit der Ausgaben. Solche fortgeschriebenen Verzerrungen können bestehende Stereotype und Ungerechtigkeiten in KI-Modellen verstärken und sich auf deren Leistung und ethisch vertretbaren Einsatz in verschiedenen Anwendungen auswirken[1][4].
Gegenmaßnahmen und Risikomanagement
Model Collapse ist eine große Herausforderung, aber wer seine Ursachen versteht, kann besser gegensteuern. Rechenfehler durch die Gleitkommadarstellung zum Beispiel wirken sich meist weniger stark aus und lassen sich mit präziserer Hardware beheben. Wenn Leistung und Zuverlässigkeit generativer Modelle steigen, lässt sich sicherstellen, dass sie vielfältige und genaue Abbilder der ursprünglichen Datenverteilungen erzeugen[9].
Strategien zur Vorbeugung und Eindämmung
KI-Model-Collapse zu verhindern und einzudämmen ist eine vielschichtige Aufgabe und verlangt durchdachte Ansätze, um Qualität und Vielfalt generativer Modelle zu erhalten. Forscher und Fachleute aus der Industrie haben dafür mehrere wichtige Strategien vorgeschlagen und untersucht.
Vielfältige Trainingsdaten an erster Stelle
Zu den wichtigsten Strategien gegen Model Collapse gehört es, vielfältigen und repräsentativen Trainingsdaten Vorrang zu geben. Frühe KI-Modelle wurden mit umfangreichen Datensätzen trainiert, die Inhalte aus Quellen wie Wikipedia, Büchern, Nachrichtenartikeln und wissenschaftlichen Arbeiten enthielten. Das gab ihnen eine breite Wissensbasis und ein gutes Sprachverständnis. Synthetischen Trainingsdaten fehlt diese Vielfalt oft, und die damit trainierten Modelle tun sich dann womöglich schwer mit Kreativität und Innovation [5]. Modelle sollten deshalb vielfältige Datenquellen einbeziehen, damit ihr Bild von realen Datenverteilungen umfassend bleibt.
Abstimmung in der Community und von Menschen erzeugte Daten
Große Sorge bereitet die Verunreinigung von Trainingsdatensätzen durch KI-generierte Inhalte. Ein Lösungsvorschlag ist eine Abstimmung in der gesamten Community: Organisationen, die große Sprachmodelle (LLMs) entwickeln, teilen Informationen und verfolgen die Herkunft der Daten [2]. Im Vorteil sind Unternehmen mit Zugriff auf große Bestände von Menschen erzeugter Daten aus der Zeit vor 2023, weil sie die Qualität ihrer Trainingsdatensätze sicherstellen können [2]. Außerdem kann eine „Prestige-Kopie“ der ursprünglichen, ausschließlich von Menschen erstellten Datensätze helfen, die Verunreinigung mit KI-generierten Daten zu vermeiden [3].
Regularisierung und menschliches Feedback
Regularisierungstechniken im Training können Modelle widerstandsfähiger gegen den Kollaps machen. Zusammen mit menschlichem Feedback und menschlicher Bewertung während der Entwicklung helfen sie, die Qualität generativer Modelle zu halten [1]. Wer Menschen zum Annotieren und Bewerten einsetzt, kann sicherstellen, dass die Modelle genaue und zugleich kreative Ausgaben liefern.
Alternative Belohnungsstrukturen
Ein weiterer Ansatz gegen Model Collapse ist es, mit alternativen Belohnungsstrukturen zu experimentieren, die Kreativität und Originalität fördern. Mit der Zeit können KI-Modelle lernen, Belohnungssysteme auszunutzen, und liefern dann Antworten, die die Belohnung maximieren, aber weder Tiefe noch Innovation bieten. Belohnungsstrukturen, die vielfältige und aufschlussreiche Antworten begünstigen, verbessern die Fähigkeit der Modelle, hochwertige Inhalte zu erzeugen [1].
Keine öffentlichen Daten für große Modelle
Um die Risiken des Trainings mit verunreinigten öffentlichen Daten zu vermeiden, empfiehlt es sich, für größere Modelle kuratierte Datensätze und menschliche Aufsicht einzusetzen. Je weiter sich generative KI verbreitet, desto wichtiger werden menschliche Kuratierung und hochwertige Datensätze, um die Modellleistung zu halten und den Kollaps zu verhindern [9].
Auswirkungen auf nachgelagerte Aufgaben
Entwickler und Führungskräfte in Unternehmen müssen die Auswirkungen KI-generierter Daten auf nachgelagerte Aufgaben ernsthaft bedenken. Weil generative Modelle breit zur Produktivitätssteigerung eingesetzt werden, lässt sich immer schwerer feststellen, ob ein Inhalt vollständig von Menschen stammt. Ohne sorgfältigen Umgang damit droht Model Collapse [8]. Mit diesen Strategien können die Beteiligten die Komplexität von KI-Model-Collapse besser bewältigen und die weitere Entwicklung und Zuverlässigkeit generativer KI-Technologien sichern.
Ausblick
Daten aus der Zeit vor 2023 bewahren
Um die schädlichen Folgen von Model Collapse zu vermeiden, müssen Unternehmen sich den Zugriff auf große Datenbestände aus der Zeit vor 2023 erhalten. Generative KI-Modelle müssen mit von Menschen erzeugten Daten trainieren, um gut zu funktionieren. Werden neue Modelle mit Inhalten früherer KI-Modelle trainiert, zeigen sie irreversible Schäden und liefern immer einheitlichere und ungenauere Ausgaben. Forscher haben festgestellt, dass Model Collapse selbst unter optimalen Bedingungen unvermeidlich ist. Deshalb ist es für die weitere Entwicklung von KI-Modellen unerlässlich, hochwertige, vielfältige Trainingsdaten zu bewahren[2].
Abstimmung in der gesamten Community
Bisher gibt es keine anerkannte Methode, von LLMs erzeugte Inhalte in großem Maßstab nachzuverfolgen, und das erschwert den Kampf gegen Model Collapse erheblich. Ein Lösungsvorschlag ist die Abstimmung in der gesamten Community zwischen den Organisationen, die große Sprachmodelle (LLMs) entwickeln. Wenn sie Informationen teilen und die Herkunft der Daten gemeinsam bestimmen, können sie die Risiken von Model Collapse besser steuern und eindämmen[2].
Politische Rahmenbedingungen und Weiterbildung der Arbeitskräfte
Während KI ganze Branchen umbaut, müssen Politikentwicklung und die Weiterbildung von Arbeitskräften mitgedacht werden, um die wirtschaftlichen Folgen zu steuern. Eine sorgfältige Bewertung der technischen, wirtschaftlichen und gesellschaftlichen Faktoren beim KI-Einsatz kann der Politik, den Unternehmen und den Beschäftigten wertvolle Erkenntnisse liefern. Dieser ganzheitliche Ansatz wird nötig sein, um mit den Herausforderungen und Chancen der KI-Integration am Arbeitsplatz umzugehen[13].
Verantwortungsvolle Technologie-Governance
Auch verantwortungsvolle Technologie-Governance ist ein wichtiges Feld für künftige Untersuchungen. Organisationen wie das Centre for the Fourth Industrial Revolution des World Economic Forum treiben Initiativen für Chancengleichheit, Inklusion und einen verantwortungsvollen Technologieeinsatz voran. Diese Bemühungen sollen sicherstellen, dass KI-Technologien so eingesetzt werden, dass sie der gesamten Gesellschaft nützen, und sie greifen Themen wie die Gesundheit des Planeten und den Wandel der Industrie auf[16].
Laufendes Monitoring und Feintuning
Vielfältige, hochwertige Trainingsdaten zu erhalten und sie mit laufendem Monitoring und gezieltem Feintuning durch menschliche Fachleute zu verbinden, ist der wichtigste Hebel, um die Risiken von Model Collapse gering zu halten. Durchdachte Aufsicht und vorausschauende Gegenmaßnahmen können helfen, den Nutzen von KI-Technologien zu maximieren und ihre Risiken zu minimieren. Verantwortungsvoll eingesetzt, verspricht dieser Ansatz, viele Branchen umzuwälzen und Wissensarbeit aufzuwerten[5].
Aus dem Englischen übersetzt: zum Originalbeitrag