Jagged AGI: Übermenschliche KI mit rätselhaften Aussetzern

KI-Forscher stellen fest, dass die fortschrittlichsten Modelle von heute in mancher Hinsicht übermenschlich sind und in anderer ins Stolpern geraten. Nehmen Sie OpenAIs neues Modell „o3“: Es erledigte anspruchsvolle Geschäftsaufgaben in Sekunden, scheiterte aber an einem einfachen Kinderrätsel. Dieses Paradox, die ungleichmäßige, „zerklüftete“ Leistung über verschiedene Aufgaben hinweg, hat den Wharton-Professor Ethan Mollick dazu gebracht, das Phänomen Jagged AGI zu taufen. In Mollicks Worten können diese Systeme bestimmte Bereiche dominieren und trotzdem bei den banalsten Problemen danebengreifen, was auf „überraschend ungleichmäßige Fähigkeiten“ zurückgeht, die sie aus ihrem Training mitbringen. Dieser Bericht geht den technischen Wurzeln dieser Zerklüftung nach (von der Architektur über Verzerrungen in den Daten bis zur Empfindlichkeit gegenüber Prompts), sichtet neue Erkenntnisse und Stimmen von Fachleuten zum Thema und bespricht, was das für Zuverlässigkeit, Sicherheit und Deployment von KI-Systemen bedeutet.

Übermenschliche Fähigkeiten, kindliche Fehler

Neue KI-Modelle brechen weiter einen Benchmark-Rekord nach dem anderen, doch die Benchmark-Werte verdecken ihr ungleichmäßiges Verhalten. OpenAIs o3 kann zum Beispiel in wenigen Minuten eine Marketingkampagne planen, Logos entwerfen und Software schreiben (Aufgaben, an denen die meisten Menschen scheitern würden), und zwar mit „beeindruckend kluger“ Gewandtheit. Dieselben Systeme geben aber manchmal unsinnige oder banale Antworten auf leichte Fragen. Mollick nennt als Beispiel eine klassische Denksportaufgabe: Beim Rätsel „Ein Bub wird nach einem Autounfall in die Notaufnahme gebracht; der Chirurg sagt ‘Ich kann diesen Buben operieren’. Wie ist das möglich?“ antwortete o3 zunächst falsch (mit einer völlig abwegigen Erklärung) und korrigierte sich erst nach zwei Prompts. Ein Forscher wies darauf hin, dass o3 „über Auslassungen hinwegglitt“ und sogar einen Tippfehler in diesem Rätsel selbst korrigierte, ein sehr menschliches Verhalten. Die erste Antwort verriet trotzdem ein tiefes Missverständnis.

Das sind keine Einzelfälle. Eine Studie von Apple/MIT (über die Wired berichtete) ergab, dass kleine Änderungen in der Formulierung „manchmal zu derart schwankenden Ergebnissen führen“, dass die Forscher zum Schluss kamen: Das Modell schlussfolgert nicht wirklich, es gleicht nur Muster aus seinen Trainingsdaten ab. Wurden arithmetische Textaufgaben um harmlose Details ergänzt („fünf Kiwis waren kleiner als der Durchschnitt“), stürzte die Genauigkeit über die Modelle hinweg um 17 bis 66 Prozent ab. Die Forscher nannten das „katastrophale Leistungseinbrüche“. Das Modell wandte einfach die am besten passende Schablone an (die „kleinen“ Früchte abziehen) und legte damit einen „kritischen Fehler“ in seiner Argumentationskette offen. Kurz gesagt: Modelle auf dem neuesten Stand können in einem Moment Aufgaben auf Olympiade-Niveau lösen und im nächsten an Kindergartenlogik komplett scheitern. Dieses zerklüftete Profil ergibt sich von selbst daraus, wie sie gebaut und trainiert werden.

Warum sind KI-Modelle so zerklüftet?

Die ungleichmäßigen Fähigkeiten heutiger KI haben mehrere technische Ursachen, die ineinandergreifen. Die wichtigsten sind:

Musterabgleich gegen echtes Verstehen. Moderne KI (vor allem große Sprachmodelle) beruht auf riesigen neuronalen Netzen, die darauf optimiert sind, das nächste Wort oder Token vorherzusagen. Architektonisch enthalten diese Transformer Milliarden von Parametern, aber keine eigenen Module fürs Schlussfolgern. Wie Apple-Ingenieure betonen, ist ihr mathematisches „Schlussfolgern“ in Wirklichkeit nur probabilistischer Musterabgleich und keine formale Logik. Das Modell lernt, Denkschritte nachzuahmen, die es in seinen riesigen Trainingskorpora gesehen hat. Fällt ein Beispiel aus den gelernten Mustern heraus, gerät es ins Straucheln. Der Wired-Bericht sagt es unverblümt: „Aktuelle LLMs sind nicht zu echtem logischem Schlussfolgern fähig … stattdessen versuchen sie, die in ihren Trainingsdaten beobachteten Denkschritte nachzubilden.“ Anders gesagt: Sie „kennen“ viele Konzepte und wissen, wie man sie kombiniert, aber ihnen fehlt darunter ein symbolisches Modell oder Weltmodell, mit dem sie die Konsistenz prüfen könnten. Das erzeugt eine Illusion des Verstehens, die in neuen Situationen zusammenbricht.
Verzerrungen und Lücken in den Trainingsdaten. Diese Systeme werden mit enormen Textmengen trainiert (manchmal auch mit Code oder Bildern), aber nicht alles ist darin gleich gut abgedeckt. Verzerrungen in der zugrunde liegenden Verteilung können riesige Lücken hinterlassen. Detaillierte physische Aufgaben wie die visuelle Wahrnehmung von Maschinen oder räumliche Planung kommen in Textkorpora zum Beispiel kaum vor. Eine Evaluierung legte aktuellen Modellen CAD-artige Bilder von Bauteilen vor und ließ sie einen Fertigungsprozess planen. Sogar das beste Modell (Gemini 2.5 Pro) „ist sehr schlecht in [visueller Wahrnehmung] und bricht zusammen, sobald man es auch nur ein wenig fordert“. Genauso kann eine KI, die online viele ähnliche Rätsel gesehen hat, selbstsicher eine Lösung ausspucken, ohne sie wirklich zu „verstehen“ (wie beim Rätsel mit dem Chirurgen und dem Buben). Ein Ingenieur formuliert es so: Diese Modelle plappern oft Lehrbuchwissen nach, wissen aber nicht, wovon sie reden. Fehlender Kontext oder fehlendes implizites Wissen (gesunder Menschenverstand, die Physik der realen Welt, Einschränkungen in Arbeitsabläufen) führt dazu, dass sie bei Aufgaben außerhalb ihrer hauptsächlichen Trainingsverteilung offensichtliche Fehler machen können. Adam Karvonen schreibt zu Zerspanungsaufgaben: „Wenn Modelle schon bei den beschreibbaren Aspekten derart scheitern, ist ihr Verständnis der zugrunde liegenden physischen Realität wahrscheinlich noch viel schlechter.“ Einfach gesagt: Wo die Trainingsdaten schweigen, schweigt auch die KI, und ihre Fähigkeiten bekommen blinde Flecken.
Prompt-Empfindlichkeit und interne Varianz. Auch bei Aufgaben, die das Modell bewältigt, ist sein Verhalten fragil. Winzige Unterschiede in Wortlaut oder Kontext können das Ergebnis kippen. Neuere Studien untersuchen das systematisch: In einem Beispiel wurden Namen oder Zahlen in Matheaufgaben ausgetauscht (bei identischer Logik), und die Genauigkeit schwankte zwischen den Durchläufen um 15 Prozent. Eine andere Analyse zu Aufgaben der Sentiment-Klassifikation zeigt, dass eine geänderte Formulierung oder ein anderer Prompt-Stil bei gleicher Eingabe völlig unterschiedliche Ausgaben liefert. Anders gesagt: Die Antworten der Modelle sind nicht deterministisch. Durch das interne stochastische Sampling führt „konsistenter Input [nicht] zu stabilem Output“. Chain-of-Thought-Prompts (CoT), die das Modell dazu bringen, seinen Gedankengang auszubuchstabieren, verbessern oft die Genauigkeit, verstärken aber auch die Schwankungen. Eine Übersichtsarbeit stellt fest, dass CoT-Prompting die Empfindlichkeit gegenüber der Formulierung erhöht, obwohl es der Leistung hilft. Kein Prompt-Stil setzt sich überall durch: Eine Methode, die bei einem Modell am besten funktioniert, kann bei einem anderen versagen. Diese Inkonsistenz steckt in der Art, wie LLMs zwischen gelernten Mustern interpolieren. Ohne sorgfältiges Engineering (Ensembles, Abstimmungsverfahren oder Prompt-Tuning) kann dieselbe Frage sehr unterschiedliche Antworten liefern, was die Zuverlässigkeit weiter zerklüftet.
Grenzen bei Kapazität und Spezialisierung. Paradoxerweise glätten größere Modelle diese Lücken nicht automatisch. Mehr Größe bringt mehr reines Wissen (GPT-4o „weiß“ viel mehr Fakten als frühere Modelle), aber keinen echten Kern fürs Schlussfolgern. Ohne neue Durchbrüche bei Architektur oder Training werden die heutigen Modelle einfach zu geschickteren Musterabgleichern. Der LessWrong-Kommentator Kaj Sotala weist darauf hin: Selbst wenn wir Modelle mit allen kniffligen Denkaufgaben trainieren würden, an denen sie scheitern, würde dieser Erfolg nicht beweisen, dass sie das Schlussfolgern allgemein „gelernt“ haben. Die besprochenen Fehler „sind insofern überraschend, als man angesichts all dessen, was LLMs sonst können, erwarten würde, dass sie alle diese Aufgaben lösen“. Das tun sie aber nicht, was auf einen Mangel an echter Generalisierung hindeutet. Insgesamt hebt jeder Fortschritt meist die Leistung bei bekannten Benchmarks sprunghaft an und lässt fragile Grenzfälle ungelöst, sodass die Grenze des Könnens tief zerklüftet bleibt.

Zusammen ergeben diese Faktoren das Profil der Jagged AGI: hervorragende statistische Nachahmung in vielen Bereichen, gepaart mit Brüchigkeit und unerklärten blinden Flecken. Wired fasst es so zusammen: Wir sehen eine „Illusion des Verstehens“. KI-Systeme erreichen eine Größe, in der sie intelligent wirken, aber ihre „Denkprozesse“ brechen zusammen, sobald ein Prompt nicht genau zu etwas im Trainingsdatensatz passt.

Die Kritiker ernst nehmen: Ist das wirklich AGI?

Manche übernehmen den Begriff „Jagged AGI“ als realistische Beschreibung des heutigen KI-Stands, aber über die Folgen sind sich nicht alle einig. Befürworter wie Ethan Mollick argumentieren, dass selbst ein zerklüftetes System, das nur in engen Bereichen übermenschlich ist, Arbeit und Leben verändern kann. Werkzeuge (etwa Hämmer oder Software) haben Menschen schon immer ungleichmäßig verstärkt. Ein Modell, das bei manchen Aufgaben brillant und bei anderen begrenzt ist, bleibt also eine „dynamische, situative“ Co-Intelligence. Aus dieser Sicht zählt nicht Perfektion, sondern wie wir die Stärken der KI mit menschlichem Urteilsvermögen verbinden (Mollick nennt das „Co-Intelligence“).

Skeptiker warnen allerdings, dass es irreführend sein kann, diese Systeme AGI zu nennen (auch eine zerklüftete). Gary Marcus, seit Langem ein Kritiker des Hypes, besteht darauf, dass o3 und seinesgleichen weit von allgemeiner Intelligenz entfernt sind. Er stellt fest, dass er und Mollick beide erkennen: o3 „wird einfach nicht systematisch zuverlässig genug sein“, um AGI genannt zu werden. In Marcus’ Worten wird der Hype um die aktuellen Modelle „die Zeit nicht überdauern“, und unsere wackeligen Fortschritte werden im Rückblick lächerlich wirken. Marcus betont: Solange neuronale Netze Symbole nicht mit echter Abstraktion handhaben können (wie Variablen in der Algebra), werden wir weiter die Art von brüchigen Fehlern bekommen, die diese Modelle produzieren. Ähnlich warnt der KI-Forscher Tony Chollet, dass Größe allein keine AGI hervorbringt. Er weist darauf hin, dass der Abstraction and Reasoning Corpus (ARC) geschaffen wurde, um Generalisierung zu messen, und dass den aktuellen Deep-Learning-Ansätzen, die einfach Daten und Parameter hochskalieren, die grundlegenden induktiven Biases (etwa Abstraktion und Kausalität) fehlen, die für echtes Verstehen nötig sind. Kurz gesagt: Für die Kritiker ist ein zerklüftetes System gar keine AGI, sondern eine leistungsfähige, eigenwillige enge KI. Seine unebenen Kanten zeigen die Grenzen des aktuellen Paradigmas.

Was das für Zuverlässigkeit und Alignment bedeutet

Die Zerklüftung der KI hat direkte Folgen dafür, wie wir diese Modelle einsetzen können (oder sollten). In sicherheitskritischen Umgebungen oder dort, wo viel auf dem Spiel steht, ist schwankende Leistung alarmierend. Forscher haben gemessen, wie unberechenbar die Ausgaben von LLMs sein können. In einer Studie zur Sentimentanalyse kippten kleine Prompt-Änderungen die Labels reihenweise, was die „tiefgreifenden Herausforderungen“ der schwankenden Ausgaben zeigt. Diese Schwankungen „untergraben erheblich die Zuverlässigkeit und Vertrauenswürdigkeit“ jeder automatisierten Entscheidungsfindung. Ebenso ergab die oben erwähnte Apple-Studie, dass irrelevante Details die Genauigkeit massiv einbrechen ließen. Stellen Sie sich eine medizinische KI vor, die bei einer Beschreibung der Symptome zu 95 Prozent richtig liegt, bei einer inhaltlich gleichwertigen Beschreibung aber nur zu 50 Prozent: Dieser Abstand kann über Leben und Tod entscheiden. Kurz gesagt: Im schlimmsten Fall bleibt die Leistung eines zerklüfteten Modells beunruhigend niedrig.

Aus Sicht des Alignments erschwert die Zerklüftung jede Garantie. Wir können das Verhalten einer KI im Durchschnitt ausrichten, aber wenn eine Kante ihrer Fähigkeiten plötzlich auf eine Weise versagt, die wir nicht vorhergesehen haben, könnte sie gefährlich handeln. Ein KI-Agent könnte zum Beispiel Social-Media-Werbung brillant bespielen und dann eine scheinbar harmlose Anweisung in einem neuen Kontext völlig missverstehen. Gary Marcus warnt, dass KI ohne echtes symbolisches Schlussfolgern „bei mathematischen Tests auf eine Weise versagen wird, wie es Taschenrechner nie tun“. Das deutet darauf hin, dass sie auch bei Sicherheitsprüfungen oder ethischen Bewertungen auf undurchschaubare Weise versagen könnte. Weil Modelle „mehr wissen können als die meisten Menschen und uns beeindrucken, indem sie Konzepte kombinieren“, ihnen aber trotzdem das Kernverständnis fehlt, dürfen wir ihnen nicht blind vertrauen.

In der Praxis wird an Gegenmaßnahmen gearbeitet. Prompt-Ensembling und Abstimmungsverfahren können die Zuverlässigkeit im schlimmsten Fall erhöhen: Eine Analyse zeigte, dass ein Abstimmungsverfahren den schlechtesten Wert um rund 22 Prozent anhob (bei leicht gesunkener durchschnittlicher Genauigkeit). Das Destillieren von Modellen oder das Verfeinern von Prompts kann ebenfalls die Konsistenz verbessern (auf Kosten der Spitzenleistung). Im Deployment sind hybride Ansätze entscheidend: eine zerklüftete KI, kombiniert mit regelbasierten Systemen, menschlicher Aufsicht oder domänenspezifischen Modulen. Unverzichtbar ist es, die „zerklüftete Grenze“ einer KI zu kartieren, also genau zu verstehen, wo sie glänzt und wo sie versagt. Ein Kommentator formuliert es so: Wenn diese Grenze nicht gut kartiert ist, „werden wir zwangsläufig Fehler machen und ihr mehr vertrauen, als wir sollten“. (Wenn das Modell über Grenzfälle stolpert, die wir nicht erwartet haben, könnte falsches Vertrauen in seine Gleichmäßigkeit katastrophal sein.)

Praktisch heißt das: umfangreiche Tests an den bekannten Schwachstellen eines Modells und mit unvorhersehbaren Eingaben. Es spricht auch dafür, diese KI-Systeme zurückhaltend einzusetzen. Unternehmen könnten die Rolle eines Modells zum Beispiel auf unterstützende Aufgaben beschränken (bei denen Menschen die Ausgaben prüfen), statt es vollständig autonom entscheiden zu lassen. Es rückt außerdem die Alignment-Forschung ins Rampenlicht: Um ein zerklüftetes Modell auszurichten, braucht es vielleicht robustere Verifikation (z. B. Adversarial Testing) und möglicherweise neue Architekturen mit eingebauten Unsicherheitsschätzungen oder modularem Schlussfolgern.

Wie es mit der zerklüfteten KI weitergeht

Jagged AGI mit all ihrer ungleichmäßigen Brillanz ist die Realität, mit der wir heute zu tun haben. Wie jedes mächtige Werkzeug bringt sie enormen Nutzen und neue Risiken. Auf der Habenseite kann auch ein „zerklüftetes“ System ganze Fachgebiete verändern: Juristische Recherche, Softwareentwicklung und Wirkstoffforschung profitieren bereits von LLM-Assistenten, die komplexe Anfragen bewältigen (und dabei manchmal an einfacheren Routineaufgaben scheitern). Ein Experte merkt an, dass diese KI-Fortschritte „weit nützlicher“ sind als ihre Vorgänger und bestimmte Aufgaben drastisch beschleunigen.

Die Aufgabe besteht darin, diese unebene Grenze mit offenen Augen anzunehmen. Das heißt, nicht davon auszugehen, dass die aktuellen Modelle die Breite menschlicher Intelligenz besitzen. Es heißt, weiter neue Tests und Benchmarks zu entwickeln, die die schwächsten Stellen einer KI ausloten (etwa ARC oder neu entworfene Denkaufgaben). Und es heißt, diese KI-Systeme mit anderen Methoden zu kombinieren: Modulen für symbolisches Schlussfolgern, simulationsbasierten Prüfungen oder schlicht menschlichem Urteilsvermögen.

Am Ende zeigt die Ära der Jagged AGI eine einfache Wahrheit: Die KI von heute ist eine starke, aber unvollständige Intelligenz. So müssen wir sie auch behandeln. Wenn wir ihre Fähigkeiten und blinden Flecken gründlich verstehen und sie überlegt mit menschlichem Fachwissen verbinden, können wir ihre übermenschlichen Stärken nutzen und uns gegen ihre kindlichen Fehler absichern. Damit nehmen wir die Zerklüftung an, nicht als Makel, über den man in Panik gerät, sondern als die unvermeidliche Form der Intelligenz auf unserem Weg zu echter allgemeiner Intelligenz.

Aus dem Englischen übersetzt: zum Originalbeitrag