Große Sprachmodelle (LLMs) sind mit Wucht auf der Bildfläche erschienen und blenden uns mit ihrem sprachlichen Können und ihrer scheinbaren Intelligenz. Sie verfassen kreative Textformate und gehen knifflige Programmieraufgaben an, und viele fragen sich inzwischen, ob diese Maschinen wirklich denken. Besonders im Rampenlicht steht ihre Fähigkeit zum mathematischen Schlussfolgern, und viele behaupten, diese Modelle seien menschlichen Problemlösern ebenbürtig. Eine neue Studie rückt diese Behauptungen allerdings in ein ziemlich schlechtes Licht und legt nahe, dass LLMs eher raffinierte Nachahmer sind, als dass sie wirklich etwas verstehen.
Die Illusion mathematischer Meisterschaft
Ein beliebter Benchmark für die mathematischen Fähigkeiten von LLMs ist der GSM8K-Datensatz. Bei dieser Sammlung von Mathematikaufgaben auf Volksschulniveau erzielen LLMs beeindruckende Werte, was die Erzählung von ihrer wachsenden mathematischen Intelligenz nährt. Inzwischen stellen Forscher die Aussagekraft dieser Ergebnisse jedoch infrage: Sie zeigten nur ein oberflächliches Bild dessen, was LLMs tatsächlich können. Die Autoren der Studie stellen mit GSM-Symbolic einen aufgemotzten Benchmark vor, der aus symbolischen Vorlagen entsteht.
Mit diesem Framework lassen sich viele Varianten derselben Aufgabe erzeugen, was eine differenziertere und umfassendere Bewertung ermöglicht. Und das Ergebnis? Die Leistung der LLMs ist alles andere als konsistent. Über verschiedene Modellarchitekturen hinweg schwankt die Genauigkeit wild, sobald ein Modell unterschiedliche Instanzen derselben Aufgabe vorgesetzt bekommt, selbst wenn sich nur die Zahlenwerte ändern. Das ist besonders alarmierend, denn echtes mathematisches Schlussfolgern müsste gegen solche oberflächlichen Änderungen immun sein. Ein menschlicher Schüler vergisst nicht plötzlich, wie man eine Aufgabe löst, nur weil andere Zahlen darin vorkommen. Das deutet darauf hin, dass LLMs nicht wirklich logisch deduzieren, sondern sich auf eine Art probabilistische Mustererkennung stützen.
Brüchiges Fundament: Wie empfindlich LLMs reagieren
Weitere Untersuchungen zur Brüchigkeit des Schlussfolgerns bei LLMs brachten eine entscheidende Schwäche ans Licht: Die Modelle reagieren empfindlich darauf, wie eine Aufgabe dargestellt ist. Änderungen an Eigennamen steckten sie noch einigermaßen weg, doch sobald sich die Zahlenwerte änderten, brach ihre Leistung ein. Mit steigender Komplexität durch zusätzliche Teilaussagen stürzte die Genauigkeit ab, und die Streuung der Leistung schoss nach oben. Dieser Trend zieht sich durch verschiedene LLMs und stützt die Annahme, dass ihr Schlussfolgern stark vom konkreten Aufgabenformat abhängt, das sie im Training gesehen haben.
Der „No-Op“-Test legt die Grenzen des Verstehens offen
Um das mathematische Verständnis der LLMs wirklich auf die Probe zu stellen, haben sich die Forscher eine listige Aufgabe ausgedacht: GSM-NoOp. Dieser Datensatz enthält Aufgaben, die mit scheinbar relevanten, letztlich aber belanglosen Aussagen gespickt sind, etwa Angaben zur Größe der Früchte in einer Aufgabe, bei der es um die Gesamtzahl der Früchte geht. Die Ergebnisse waren verblüffend. Die LLMs stolperten durch die Bank und bauten diese überflüssigen Details blind in ihre Berechnungen ein. Diese Neigung, Aussagen in Rechenoperationen zu übersetzen, ohne ihre tatsächliche Bedeutung zu erfassen, zeigt einen grundlegenden Mangel in ihrem Verständnis mathematischer Konzepte.
Die Suche nach echtem Schlussfolgern
LLMs haben zweifellos bemerkenswerte Fortschritte gemacht, doch die Ergebnisse der Studie verlangen eine Neubewertung dessen, was sie wirklich können. Ihre Brüchigkeit, ihre Empfindlichkeit gegenüber oberflächlichen Änderungen und ihre Unfähigkeit, relevante Informationen zu erkennen, zeigen die Grenzen ihres derzeitigen Schlussfolgerns. Die Suche nach KI-Systemen, die wirklich schlussfolgern können und über das Nachahmen von Mustern hinaus Probleme tatsächlich lösen, bleibt eine gewaltige Herausforderung. Dafür braucht es neue Ansätze in der Modellentwicklung und eine kritischere Bewertung der Leistung dieser Modelle. Erst dann kommen wir einer KI näher, die die Welt um uns herum wirklich versteht und über sie nachdenken kann.
Aus dem Englischen übersetzt: zum Originalbeitrag