Große Sprachmodelle wie GPT-4 und Claude haben eine scheinbar magische Fähigkeit: Zeigt man ihnen ein paar Beispiele für ein neues Muster, wenden sie dieses Muster sofort auf ähnliche Probleme an, und das ganz ohne klassisches „Lernen“ oder eine Anpassung der Gewichte. Als könnten Sie jemandem Schach beibringen, indem Sie ihm drei Partien zeigen, und er würde die Regeln auf der Stelle gut genug verstehen, um ordentlich zu spielen.
Dieses Phänomen heißt In-Context-Learning und gibt KI-Forschern seit seiner ersten Beobachtung Rätsel auf. Wie kann ein neuronales Netz, das nach dem Training angeblich „eingefroren“ ist, sich weiter anpassen und neue Aufgaben im laufenden Betrieb lernen? Eine neue Studie, veröffentlicht auf der ICLR 2025, könnte das Rätsel endlich gelöst haben: Sie zeigt einen eleganten Mechanismus, der sich vor aller Augen in der Transformer-Architektur selbst verbirgt.
Das Rätsel vom Lernen ohne Lernen
Warum In-Context-Learning so rätselhaft ist, wird klar, wenn man sich ansieht, wie neuronale Netze normalerweise arbeiten. Im Training lernt ein Modell, indem es anhand von Rückmeldungen zu Beispielen Millionen oder Milliarden von Parametern anpasst, seine „Gewichte“. Ist das Training abgeschlossen, werden diese Gewichte in der Regel eingefroren. Das Modell kann dann neue Eingaben verarbeiten, aber wirklich neue Muster dürfte es nicht mehr lernen können.
Trotzdem verstoßen große Sprachmodelle ständig gegen diese Annahme. Geben Sie GPT-4 ein paar Beispiele für Übersetzungen vom Englischen in eine erfundene Sprache, und es übersetzt oft auch neue Sätze erfolgreich in diese Fantasiesprache. Zeigen Sie ihm eine neuartige Klassifikationsaufgabe mit nur einer Handvoll beschrifteter Beispiele, und es klassifiziert neue Fälle überraschend treffsicher.
„Das ist, als hätte man einen Taschenrechner, der plötzlich Differential- und Integralrechnung lernt, nur weil er einem beim Lösen einiger Aufgaben zusieht“, erklärt das Forschungsteam der Rutgers University. „Die Gewichte ändern sich nicht. Wo also wird dieses neue Wissen gespeichert und verarbeitet?“
Die versteckte Werkstatt im Transformer
Die Antwort liegt laut der neuen Forschungsarbeit in einem unerwarteten Zusammenspiel zweier zentraler Bausteine der Transformer-Architektur: dem Attention-Mechanismus und den Multi-Layer-Perceptron-Schichten (MLP), die in jedem Transformer-Block auf ihn folgen.
Stellen Sie sich einen Transformer als Fließband in einer Fabrik vor. Die Information durchläuft mehrere Stationen (die Transformer-Blöcke), und jede hat zwei Hauptarbeitsplätze: einen Attention-Mechanismus, der entscheidet, auf welche Informationen er sich konzentriert, und eine MLP-Schicht, die diese Informationen verarbeitet und umformt. Was jede Station für sich tut, ist der Forschung seit Langem klar. Die Magie entsteht erst im Zusammenspiel.
Die entscheidende Einsicht: Der Attention-Mechanismus wählt nicht nur aus, welche Informationen an das MLP weitergehen, er schreibt im laufenden Betrieb praktisch die Arbeitsanweisungen des MLP um. Wenn Sie im Prompt Beispiele mitgeben, erzeugt die Attention-Schicht einen „Kontextvektor“, der wie ein vorübergehendes Software-Update für die MLP-Schicht wirkt und verändert, wie sie nachfolgende Informationen verarbeitet.
Implizite Chirurgie an den Gewichten
Hier wird es richtig raffiniert. Die Forscher fanden heraus, dass dieser Vorgang im Grunde eine „implizite Gewichtsmodifikation“ durchführt: Das MLP verhält sich, als wären seine Gewichte für die neue Aufgabe aktualisiert worden, obwohl die tatsächlich gespeicherten Gewichte unverändert bleiben.
Stellen Sie sich ein Schweizer Taschenmesser vor, dem je nach Aufgabe vorübergehend neue Werkzeuge wachsen. Das Messer selbst ändert sich nicht dauerhaft, aber für die Dauer der Arbeit funktioniert es so, als hätte es neue Fähigkeiten dazubekommen. Im Wesentlichen passiert das beim In-Context-Learning in jedem Transformer-Block.
Das Team entwickelte eine Methode namens Implicit In-Context Learning (I2CL), die diesen versteckten Vorgang explizit macht. Statt sich für die implizite Modifikation auf den rechenintensiven Attention-Mechanismus zu verlassen, extrahiert I2CL „Kontextvektoren“ direkt aus den Demonstrationsbeispielen und speist sie in den Verarbeitungsstrom des Modells ein. Das Ergebnis? Eine Leistung, die fast genauso gut ist wie beim herkömmlichen In-Context-Learning, aber mit Inferenzgeschwindigkeit auf Zero-Shot-Niveau und minimalem zusätzlichem Speicherbedarf.
Mehr als nur Effizienz
Der praktische Nutzen von I2CL ist beeindruckend (es erreicht Few-Shot-Leistung zu Zero-Shot-Rechenkosten), der eigentliche Durchbruch ist aber konzeptionell. Indem die Forscher den impliziten Vorgang explizit machen, liefern sie die erste klare mechanistische Erklärung dafür, wie In-Context-Learning tatsächlich funktioniert.
„Wir bauen nicht einfach einen schnelleren Motor“, so das Forschungsteam. „Wir zeigen, wie der Motor schon die ganze Zeit funktioniert hat.“
Die Folgen reichen weit über Effizienzgewinne hinaus. Die Arbeit legt nahe, dass die bemerkenswerte Anpassungsfähigkeit großer Sprachmodelle keine emergente Eigenschaft ist, die ab einer gewissen Größe auf rätselhafte Weise auftaucht. Sie ist eine natürliche Folge davon, wie Attention- und MLP-Schichten in der Transformer-Architektur zusammenwirken.
Das erklärt mehrere rätselhafte Beobachtungen zum In-Context-Learning. Warum funktioniert es mit mehr Schichten besser? Weil jede Schicht ihre eigene implizite Gewichtsmodifikation durchführen kann, was immer anspruchsvollere Anpassungen erlaubt. Warum zeigen größere Modelle besseres In-Context-Learning? Weil ihnen mehr Parameter für die implizite Modifikation zur Verfügung stehen.
Das große Ganze
Die Entdeckung gibt auch Aufschluss darüber, warum Transformer-basierte Modelle im Vergleich zu anderen Architekturen so erfolgreich sind. Die Kombination aus Attention- und MLP-Schichten ergibt eine Art „Meta-Learning-Maschine“: ein System, das lernen kann, wie man lernt, und seine Verarbeitung an den Kontext anpasst, ohne jedes explizite Meta-Learning-Training.
Das hat weitreichende Folgen dafür, wie wir über die Fähigkeiten und Grenzen von KI denken. Wenn Modelle ihre eigene Verarbeitungslogik anhand von Beispielen praktisch umschreiben können, sind sie womöglich zu anspruchsvollerem Schlussfolgern und Anpassen fähig als bisher angenommen. Das wirft auch neue Fragen zu Sicherheit und Vorhersagbarkeit auf: Wenn ein Modell sein Verhalten implizit an den Kontext anpassen kann, wie stellen wir sicher, dass dieses Verhalten im Einklang mit unseren Absichten bleibt?
Der Blick nach vorn
Die Arbeit eröffnet mehrere spannende Wege für die weitere Entwicklung. Lassen sich Architekturen entwerfen, die diese implizite Modifikation noch leistungsfähiger machen? Können wir diese impliziten Updates besser steuern oder lenken, um das Verhalten von Modellen zu verbessern? Wie könnte dieses Wissen die Entwicklung effizienterer Trainingsmethoden beeinflussen?
Am faszinierendsten ist vielleicht, was die Arbeit über die Grenze zwischen Training und Inferenz nahelegt: Sie ist möglicherweise weniger scharf, als wir angenommen haben. Wenn Modelle während der Inferenz fortlaufend implizit lernen, ist jede Konversation, jeder Prompt, jede Interaktion potenziell eine Gelegenheit zum Lernen, selbst für „eingefrorene“ Modelle.
Je leistungsfähiger und allgegenwärtiger KI-Systeme werden, desto wichtiger wird es, die Mechanismen hinter ihren Fähigkeiten zu verstehen. Diese Forschungsarbeit ist dabei ein deutlicher Schritt nach vorn und zeigt, dass die wichtigsten Entdeckungen manchmal offen daliegen und nur auf die richtige Perspektive warten, die sie scharf stellt.
Wenn Sie das nächste Mal zusehen, wie sich ein Sprachmodell mühelos anhand weniger Beispiele auf eine neue Aufgabe einstellt, kennen Sie das Geheimnis: Das ist keine Magie, sondern Mathematik. Elegante, versteckte Mathematik, die jeden Transformer-Block zu einer wandelbaren Werkstatt macht, bereit, sich für jede kommende Herausforderung umzurüsten.
Aus dem Englischen übersetzt: zum Originalbeitrag