Emergente Fähigkeiten großer Sprachmodelle (LLMs) sind ein faszinierendes Gebiet der künstlichen Intelligenz: Mit wachsender Größe und Komplexität zeigen die Modelle unerwartetes und neuartiges Verhalten. Diese Fähigkeiten, etwa Rechnen oder das Verstehen komplexer Anweisungen, entstehen oft, ohne dass jemand sie explizit programmiert oder die Modelle auf diese Aufgaben trainiert hätte. In der KI-Forschung hat das großes Interesse geweckt und eine breite Debatte ausgelöst.[1][2] Parallel dazu gibt es das In-Context Learning, eine bekannte Fähigkeit von LLMs: Die Modelle lösen Aufgaben anhand von Beispielen, die im Eingabetext stehen. Das wirft die Frage auf, ob emergente Fähigkeiten bloß eine Erweiterung des In-Context Learning sind oder ein eigenständiges Phänomen.[3][4]
Wo In-Context Learning und emergente Fähigkeiten aufeinandertreffen, liegt ein spannendes Forschungsthema. Manche Fachleute argumentieren, dass sich scheinbar emergentes Verhalten von LLMs auf fortgeschrittenes In-Context Learning zurückführen lässt: Die Modelle passen sich anhand der mitgelieferten Beispiele dynamisch an neue Aufgaben an und kommen ohne zusätzliches Training aus.[5][6] Diese Debatte ist wichtig, um zu verstehen, was diese Fähigkeiten wirklich sind und welches Potenzial in LLMs steckt. Davon hängt viel für die Weiterentwicklung der KI-Technologie und ihrer Anwendungen ab.[7][8]
Die Unterscheidung zwischen emergenten Fähigkeiten und In-Context Learning hat auch praktische Folgen. Ob diese Fähigkeiten aus der Modellarchitektur selbst oder aus ausgeklügelten Prompting-Strategien entstehen, kann beeinflussen, wie wir LLMs in der Praxis entwickeln, bewerten und einsetzen. Dieses Wissen kann zu transparenteren, besser steuerbaren und effizienteren KI-Systemen führen und das Vertrauen der Nutzer in KI-Technologien stärken.[9][10] Es braucht weitere Forschung, um die Mechanismen hinter diesen Phänomenen auseinanderzuhalten. Forschende untersuchen, welche Faktoren zu emergenten Fähigkeiten beitragen und welche Rolle das In-Context Learning dabei spielt, und wollen so die Prinzipien hinter diesem Verhalten aufdecken. Dieses Verständnis bringt das Fachgebiet KI voran und liefert zugleich Grundlagen für bewährte Verfahren beim sicheren und wirksamen Einsatz von KI.[11][12]
Was emergente Fähigkeiten bei LLMs sind
Emergente Fähigkeiten großer Sprachmodelle (LLMs) bezeichnen das Phänomen, dass LLMs plötzlich herausragende Leistungen bei ganz unterschiedlichen Aufgaben zeigen, auf die sie nicht explizit trainiert wurden[12][6]. Dieser schnelle und unvorhersehbare Zugewinn an Fähigkeiten tritt auf, wenn die Modelle größer werden, oft als Sprung von einer Leistung nahe null auf den neuesten Stand der Technik[6]. Beispiele sind Rechnen, das Beantworten komplexer Fragen und das Zusammenfassen von Textpassagen. All das lernen LLMs allein durch das Beobachten natürlicher Sprache[6]. Emergenz gibt es nicht nur bei LLMs. Man beobachtet sie in vielen Bereichen, darunter Physik, Evolutionsbiologie, Wirtschaftswissenschaften und dynamische Systeme[6].
In diesen Bereichen meint Emergenz meist das plötzliche Auftreten neuartigen Verhaltens, wenn kleine Änderungen quantitativer Parameter zu deutlichen qualitativen Veränderungen im Verhalten eines Systems führen[6]. Dieses Konzept wurde auf LLMs übertragen, um zu erklären, warum diese Modelle mit wachsender Größe neue Fähigkeiten zeigen könnten. Die Natur emergenter Fähigkeiten bei LLMs ist allerdings komplex und oft umstritten. Manche Forschende argumentieren, dass das, was wie eine emergente Fähigkeit aussieht, eher das Ergebnis von fortgeschrittenem In-Context Learning sein könnte: Das Modell löst Aufgaben anhand weniger Beispiele, die es im Prompt bekommt[12][13][14].
In-Context Learning, Instruction Tuning und bestimmte Prompting-Strategien wie das „Chain-of-Thought-Prompting“ können die scheinbare Schlussfolgerungsfähigkeit von LLMs steigern und Bewertungen echter Emergenz womöglich verfälschen[9][7]. Trotz dieser Debatten bleibt die Beobachtung emergenter Fähigkeiten eine aufregende Entwicklung in der künstlichen Intelligenz. Je größer die Modelle werden, desto mehr Fähigkeiten erschließen sie sich, die niemand explizit programmiert hat, und das wirft Fragen nach den Mechanismen hinter diesen Phänomenen auf[8][13][15]. Es braucht weitere Forschung, um echte emergente Fähigkeiten von verbesserten Lerntechniken zu trennen und zu verstehen, was diese Fähigkeiten für den praktischen Einsatz bedeuten[9][8].
Beispiele für emergente Fähigkeiten
Emergente Fähigkeiten großer Sprachmodelle (LLMs) sind unerwartete und neuartige Verhaltensweisen oder Fertigkeiten, die in fortgeschrittenen KI-Systemen auftreten, ohne dass die Systeme gezielt darauf vortrainiert oder dafür programmiert wurden [16]. Eine bemerkenswerte Gruppe dieser Fähigkeiten umfasst fortgeschrittenes Schlussfolgern und Problemlösen, das sich zeigt, sobald die Parameter des Modells eine bestimmte Schwelle überschreiten [17].
Schlussfolgern und Problemlösen
Ein prominentes Beispiel für emergente Fähigkeiten ist das verbesserte Schlussfolgern und Problemlösen durch eine Technik namens Chain-of-Thought-Prompting (CoT). Dabei bekommt das Modell eine Reihe von Zwischenschritten des Schlussfolgerns als Musterbeispiele. Empirische Experimente haben gezeigt, dass CoT-Prompting die Leistung des Modells bei komplexen Denkaufgaben deutlich verbessert, darunter Arithmetik, Alltagswissen und symbolisches Schlussfolgern [17]. So hat man etwa beobachtet, dass LLMs bei mehrstufigen Matheaufgaben glänzen, die für KI traditionell schwierig sind. Das zeigt sich in Benchmarks wie MultiArith und GSM8K, bei denen LLMs genauer werden, wenn sie Aufgaben erst in Zwischenschritte zerlegen und daraus dann die endgültige Antwort zusammensetzen [18][19].
In-Context Learning
Eine weitere faszinierende emergente Fähigkeit ist das In-Context Learning: LLMs können neue Aufgaben anhand weniger Beispiele im Eingabetext lernen, obwohl sie nicht explizit darauf trainiert wurden [13][20]. Das Phänomen wurde damit verglichen, dass das große Sprachmodell in seinen verborgenen Schichten kleinere lineare Modelle schreibt, wodurch es sich dynamisch anpassen und aus der jeweiligen Eingabe lernen kann [20]. Forschende des MIT sind dem weiter nachgegangen. Sie legen nahe, dass ein paar zusätzliche Schichten im neuronalen Netz diese Fähigkeit stärken könnten, sodass LLMs neue Aufgaben lösen, ohne auf neuen Daten nachtrainiert zu werden [20].
Prompt Engineering
Prompt Engineering, besonders in Kombination mit CoT-Prompting, führt die emergenten Fähigkeiten von LLMs noch deutlicher vor. Mit gezielt formulierten Prompts lassen sich Modelle zu verschiedenen Denkaufgaben anleiten, die numerisches Rechnen, das Abrufen von Wissen und logisches Schlussfolgern umfassen. Diese Fähigkeiten entstehen in ausreichend großen Modellen von selbst und verbessern ihr Problemlösen insgesamt [21][18].
In-Context Learning erklärt
In-Context Learning ist ein faszinierendes und etwas rätselhaftes emergentes Verhalten, das man bei großen Sprachmodellen (LLMs) wie GPT-3 beobachtet: Das Modell erledigt eine Aufgabe, indem es sich einfach auf Eingabe-Ausgabe-Beispiele stützt, ohne irgendwelche Parameter zu optimieren[2]. Das Hauptziel von LLMs ist es, die generative Wahrscheinlichkeit von Wortfolgen zu modellieren, was ihnen erlaubt, nachfolgende Token vorherzusagen. Diese Skalierbarkeit bei Training, Rechenleistung und Modellparametern hat wesentlich dazu beigetragen, ihre Leistung bei verschiedenen Aufgaben der Verarbeitung natürlicher Sprache (NLP) zu verbessern[3].
Bekannt wurde das In-Context Learning durch das ursprüngliche GPT-3-Paper, als Möglichkeit, Sprachmodellen Aufgaben mit nur wenigen Beispielen beizubringen. Beim In-Context Learning bekommt das Sprachmodell einen Prompt mit einer Liste von Eingabe-Ausgabe-Paaren, die eine bestimmte Aufgabe vorführen[2]. So lässt sich eine Aufgabe etwa lösen, indem man einige anschauliche Beispiele in den Prompt schreibt. Emergente Fähigkeiten dagegen meinen eine Leistung über dem Zufallsniveau ohne explizites Training auf die Aufgabe[9].
Im Grunde erlaubt In-Context Learning KI-Modellen, Antworten oder Vorhersagen aus dem gegebenen Kontext zu erzeugen, meist aus dem vorangehenden Text oder einem Prompt[1]. Das macht In-Context Learning zu einem mächtigen Werkzeug in der KI, weil Modelle den konkreten Kontext einer Frage oder eines Prompts berücksichtigen und dadurch relevantere und genauere Antworten erzeugen[1]. Es gilt als Ausdruck der Fähigkeit von LLMs, Aufgaben anhand weniger Beispiele zu lösen, wobei Gedächtnis und Sprachbeherrschung sowohl die Fähigkeiten als auch die Grenzen dieser Modelle erklären sollen[15]. In-Context Learning gehört zu einer breiteren Diskussion über emergente Fähigkeiten in der KI. Emergente Fähigkeiten sind neuartige Verhaltensweisen oder Fertigkeiten, die in fortgeschrittenen KI-Systemen unvorhersehbar auftreten, besonders in sehr großen Modellen. Niemand hat sie vortrainiert oder programmiert, sie entstehen durch die Größe und Komplexität der Modelle[16]. Bei der Bewertung emergenter Fähigkeiten besteht eine zentrale Schwierigkeit darin, sie von Kompetenzen zu unterscheiden, die durch Techniken wie In-Context Learning entstehen. Manche Theorien legen nahe, dass sich angebliche emergente Fähigkeiten damit als Ergebnis vieler kleiner, zusammenwirkender Verbesserungen erklären lassen[13][22].
Wie die Emergenz von Fähigkeiten in LLMs erforscht wird
Emergente Fähigkeiten großer Sprachmodelle (LLMs) stehen im Mittelpunkt der jüngeren Forschung und haben in der KI-Community viele Diskussionen und Debatten ausgelöst. Gemeint sind unerwartete und oft plötzliche Leistungssteigerungen bei verschiedenen Aufgaben, wenn die Modelle in Größe, Datenmenge und Rechenleistung wachsen[6][7]. Forschende haben festgestellt, dass LLMs, die bei bestimmten Aufgaben zunächst schlecht abschneiden, schnelle und deutliche Sprünge machen können und mitunter den neuesten Stand der Technik erreichen[6].
Was die Emergenz beeinflusst
Mehrere wichtige Faktoren beeinflussen das Phänomen emergenter Fähigkeiten, darunter Modellgröße, Trainingsdaten und Bewertungsmetriken[8]. So zeigen größere Modelle, die mit mehr Daten und Rechenressourcen trainiert wurden, tendenziell ausgeprägtere emergente Fähigkeiten[7]. Die Skalierung verbessert nicht nur die Fähigkeit der Modelle, Muster zu lernen. Sie führt auch zu qualitativen Veränderungen im Verhalten und erschließt neue Fähigkeiten wie Rechenoperationen, das Beantworten von Fragen und das Zusammenfassen von Texten[6][14].
Die Rolle des In-Context Learning
Ein erheblicher Teil der Forschung legt nahe, dass sich diese emergenten Fähigkeiten vor allem auf das In-Context Learning (ICL) zurückführen lassen. In-Context Learning erlaubt Modellen, Aufgaben zu lösen, indem sie Kontextinformationen aus den Eingabedaten interpretieren und nutzen[3][10]. Studien mit umfangreichen Experimenten über viele Aufgaben und Modellgrößen hinweg haben gezeigt, dass In-Context Learning ein entscheidender Mechanismus hinter den scheinbar emergenten Fähigkeiten ist[12][10]. Das ist allerdings nicht die ganze Geschichte, denn in manchen Fällen zeigen Modelle Brüche und plötzliche Leistungssprünge, die sich mit In-Context Learning allein nicht vollständig erklären lassen[14].
Methodische Überlegungen
Untersuchungen zur Emergenz von Fähigkeiten in LLMs beruhen oft auf strengen Tests und Analysen. So hat eine umfassende Studie mit 18 Modellen und über 1.000 Experimenten gezeigt, dass emergente Fähigkeiten eng mit dem In-Context Learning zusammenhängen, wobei manches beobachtete Verhalten auf weitere Faktoren hindeutet[12][10][13]. Forschende untersuchen außerdem, welche Arten von Vortrainingsdaten und welche Feinheiten der Architektur zu diesen Phänomenen beitragen[20][9].
Weiterreichende Folgen
Emergente Fähigkeiten von LLMs zu verstehen, hat große Bedeutung für die Entwicklung und Anwendung von KI-Technologien. Wenn Forschende die Mechanismen hinter diesen Fähigkeiten entschlüsseln, können sie Modelle besser so gestalten, dass sie bei vielen Aufgaben gute Leistung bringen und zugleich Bedenken hinsichtlich Zugänglichkeit, Effizienz und Nachhaltigkeit berücksichtigen[23]. Außerdem kann dieses Verständnis interdisziplinäre Ansätze in der KI stützen, die technische Fortschritte und gesellschaftliche Auswirkungen zusammenbringen[24][11].
Die Rolle von Trainingsdaten und Modellgröße
Die Leistung von Sprachmodellen (LLMs) bei ihren Trainingszielen verbessert sich mit der Größe stetig, wobei man Größe vor allem an der Rechenleistung für das Training und an der Zahl der Modellparameter misst[6][8]. Skalierung bedeutet mehr, als nur die Rechenleistung oder die Zahl der Parameter zu erhöhen. Sie umfasst drei Hauptfaktoren: die Menge der Trainingsdaten, die verfügbaren Rechenressourcen und die Raffinesse der Modellarchitektur[8]. Die Forschung hat gezeigt, dass der Einfluss der Größe auf das Modellverhalten stark variieren kann. Bei vielen Aufgaben verbessert sich die Leistung vorhersehbar mit der Größe, bei manchen kann sie jedoch an einer bestimmten Größenschwelle plötzlich von Zufallsniveau auf einen Wert über dem Zufall springen[7].
Diese abrupten Verbesserungen nennt man oft „emergente Fähigkeiten“: Fähigkeiten, die kleinere Modelle nicht haben, größere aber schon[7][22]. Ihr Auftreten hat eine beachtliche Debatte darüber ausgelöst, was LLMs wirklich können. Eine zentrale Schwierigkeit besteht darin, echte emergente Fähigkeiten von Kompetenzen zu trennen, die durch alternative Prompting-Techniken wie In-Context Learning entstehen[13]. In-Context Learning erlaubt Modellen, Aufgaben anhand weniger Beispiele zu lösen, und kann so die Bewertung emergenter Fähigkeiten verfälschen[13].
Manche Fachleute argumentieren außerdem, dass sich die sprunghaften Leistungssteigerungen an bestimmten Schwellen aus schrittweisen Verbesserungen vorhersagen lassen, ähnlich wie Menschen ihre Fertigkeiten nach und nach ausbauen[22]. Diese Sichtweise stellt die Idee der „Emergenz“ infrage und legt nahe, dass die Fähigkeiten größerer Modelle eher aus angehäuften kleinen Zugewinnen entstehen als aus einem eigenen emergenten Phänomen[22]. Schließlich wirft die Skalierung von LLMs wegen ihres enormen Daten- und Rechenbedarfs Fragen zu Zugänglichkeit, Effizienz und Nachhaltigkeit auf[23]. Als Antwort darauf haben KI-Forschende kleinere Sprachmodelle entwickelt, die zwar weniger leistungsfähig sind als ihre größeren Gegenstücke, bei verschiedenen Sprachaufgaben aber konkurrenzfähig abschneiden und weniger Rechenressourcen brauchen[23].
Herausforderungen und Grenzen
Die Bewertung emergenter Fähigkeiten großer Sprachmodelle (LLMs) stößt auf mehrere Schwierigkeiten und Grenzen. Eines der Hauptprobleme: Kompetenzen aus alternativen Prompting-Techniken wie In-Context Learning und dem Befolgen von Anweisungen, die ebenfalls mit der Skalierung der Modelle auftreten, verfälschen die Bewertung oft[10][9]. Dadurch lässt sich schwer unterscheiden, ob die Fähigkeit eines Modells, eine Aufgabe zu lösen, wirklich emergent ist oder einfach aus wirksamen Prompting-Strategien folgt.
In Experimenten zeigten nur zwei Aufgaben Emergenz, wenn In-Context Learning und Instruction Tuning kontrolliert wurden: eine deutete auf formale sprachliche Fähigkeiten hin, die andere auf Erinnerungsvermögen[9]. Dieses Ergebnis legt nahe, dass das, was oft als emergente Fähigkeit wahrgenommen wird, in Wirklichkeit aus ausgeklügelten Prompting-Techniken stammen könnte. So lässt sich In-Context Learning etwa einsetzen, um Aufgaben zu lösen, indem man einige anschauliche Beispiele in den Prompt schreibt. Emergente Fähigkeiten dagegen meinen eine Leistung über dem Zufallsniveau ohne explizites Training[9].
Eine weitere Schwierigkeit liegt in der Skalierbarkeit dieser Modelle. Emergente Strategien wie das Chain-of-Thought-Prompting, bei dem vor der endgültigen Antwort eine Reihe von Zwischenschritten erzeugt wird, funktionieren nur in ausreichend großen Modellen[7]. Diese Technik verbessert die Fähigkeit zum Schlussfolgern deutlich und erlaubt Modellen, komplexe Probleme zu lösen, die mehrstufiges Schlussfolgern verlangen, etwa mathematische Textaufgaben[7][19][18]. Kleinere Modelle können diese Strategien jedoch nicht wirksam einsetzen. Das wirft Fragen auf, was emergente Fähigkeiten wirklich sind und ob sie ein Produkt der Modellgröße sind und nicht eine innere Eigenschaft der Modelle selbst.
Letztlich ist die Existenz emergenter Fähigkeiten, wie auch immer man sie erklärt, eine aufregende Entwicklung[6]. Die grundlegenden Mechanismen dahinter zu verstehen, bleibt aber eine große Hürde. Forschende suchen nach Wegen, Transformer durch Änderungen an der Architektur des neuronalen Netzes zu In-Context Learning zu befähigen, wobei noch technische Details zu klären sind, bevor praktische Anwendungen möglich werden[20]. Außerdem besteht anhaltendes Interesse daran, welche Arten von Vortrainingsdaten das In-Context Learning begünstigen[20].
Künftige Forschungsrichtungen
Die Untersuchung emergenter Fähigkeiten großer Sprachmodelle (LLMs) bleibt ein dynamisches Feld, das sich schnell entwickelt. Eine vielversprechende Richtung ist es, die Mechanismen des Chain-of-Thought-Promptings (CoT) genauer zu untersuchen. Es hat die Fähigkeit von LLMs zum Schlussfolgern nachweislich deutlich verbessert, obwohl bisher unklar ist, wie es genau funktioniert [19][17].
Kontrafaktische Beispiele (CEs) für kausale Interventionen könnten Licht darauf werfen, wie CoT-Prompting funktioniert [19]. Ein weiterer wichtiger Forschungsbereich ist die Unterscheidung echter emergenter Fähigkeiten von solchen, die womöglich nur wegen fortgeschrittener Prompting-Techniken wie In-Context Learning und Instruction Tuning emergent wirken [9][8]. Diese Faktoren zu kontrollieren, ist unerlässlich, um die tatsächlichen emergenten Fähigkeiten von LLMs korrekt zu bewerten und damit zu klären, ob diese Fähigkeiten den Modellen innewohnen oder durch die verwendeten Prompting-Methoden hervorgerufen werden [9]. Weitere Untersuchungen sind nötig, um zu verstehen, wie sich unterschiedliche Modellgrößen auf emergente Fähigkeiten auswirken. Die Forschung hat gezeigt, dass LLMs bei bestimmten kritischen Größen neue Fähigkeiten zeigen, die sich anscheinend schnell und unvorhersehbar erschließen [6].
Diese größenbedingten Phänomene zu untersuchen, könnte tiefere Einblicke in die qualitativen Veränderungen im Verhalten von LLMs geben, wenn sie an Größe und Komplexität zunehmen. Außerdem ließen sich fortgeschrittene Probing-Verfahren entwickeln, die kein In-Context Learning auslösen, um die emergenten Fähigkeiten von LLMs genauer zu bewerten [9]. Das würde helfen, echte emergente Fähigkeiten von solchen zu unterscheiden, die vom In-Context Learning beeinflusst sind, bei dem sich Modelle anhand mitgelieferter Beispiele an Aufgaben anpassen [12][13]. Schließlich könnten interdisziplinäre Ansätze aus Kognitionswissenschaft, Linguistik und Informatik neue Perspektiven und Methoden zur Untersuchung von LLMs eröffnen. Solche fächerübergreifende Forschung könnte zu einem umfassenderen Verständnis der technischen wie gesellschaftlichen Folgen emergenter Fähigkeiten von LLMs führen [11][24]. Dieser ganzheitliche Ansatz könnte den Weg für Neuerungen bei den theoretischen Grundlagen und den praktischen Anwendungen dieser leistungsfähigen Modelle bereiten.
Aus dem Englischen übersetzt: zum Originalbeitrag