Der lange Kontext

In „You Exist In The Long Context“ untersucht Steven Johnson die Fortschritte bei großen Sprachmodellen (LLMs), vor allem die deutliche Wirkung langer Kontextfenster. Anschaulich macht Johnson diesen Fortschritt mit einem interaktiven Spiel, das er aus seinem Buch baut: Das LLM kommt mit komplexen Erzählungen zurecht und bleibt dabei bei den Fakten. Das verbesserte Kurzzeitgedächtnis der LLMs vergleicht er mit dem Fall von Henry Molaison, einem Patienten mit schweren Gedächtnisstörungen, und zeigt, wie größere Kontextfenster frühere Grenzen überwunden haben. Am Ende argumentiert er, dass dieses bessere Kontextverständnis anspruchsvollere Anwendungen möglich macht, darunter personalisiertes Lernen und gemeinsames Entscheiden. Zum Schluss geht Johnson darauf ein, dass LLMs zu unschätzbar wertvollen Werkzeugen werden könnten, um Expertenwissen zu erschließen und zusammenzuführen.

Die Grenzen früher Sprachmodelle wie GPT-3

Frühe Sprachmodelle wie GPT-3 waren für ihre Zeit beeindruckend, hatten aber eine erhebliche Schwäche: ein begrenztes Kontextfenster. Ihr Kurzzeitgedächtnis war also eingeschränkt, ähnlich wie bei dem Patienten H.M., der nach einer bestimmten Gehirnoperation keine neuen Erinnerungen mehr bilden konnte.

GPT-3, 2019 vorgestellt, hatte ein Kontextfenster von knapp über 2.000 „Tokens“, was etwa 1.500 Wörtern entspricht. Mehr neue Information ließ sich mit dem Modell nicht teilen. Wurde diese Grenze überschritten, „vergaß“ das Modell, was früher im Gespräch gesagt worden war. Kurze Anweisungen konnte es auf Basis seines riesigen Langzeitgedächtnisses (parametrisches Gedächtnis) befolgen, aber mit längeren Erzählungen oder Erklärungen, bei denen man Informationen über eine längere Textstrecke behalten muss, tat es sich schwer. Mit GPT-3 zu reden war im Grunde wie ein Gespräch mit jemandem, dem man ständig wieder das Thema erklären muss, weil er sich nichts über ein paar Sätze hinaus merken kann.

Dieses begrenzte Kontextfenster führte zu mehreren Schwächen:

• Unzusammenhängende Gespräche: Weil sich GPT-3 frühere Gesprächsbeiträge nicht merken konnte, wirkte der Austausch abgehackt und voller Wiederholungen. Die Nutzer mussten den Kontext immer wieder neu liefern, und das Gespräch verlief entsprechend unnatürlich.
• Mehr Halluzinationen: GPT-3 verfügte zwar über eine riesige Wissensbasis, neigte wegen seines begrenzten Kurzzeitgedächtnisses aber dazu, Informationen zu erfinden, besonders wenn die benötigte Information nicht im unmittelbaren Kontext stand.
• Keine komplexen Erzählungen oder Argumentationen: GPT-3 konnte Erzählungen oder Argumentationen kaum folgen, die über sein begrenztes Kontextfenster hinausgingen. Zusammenhänge zwischen Ereignissen und Begriffen, die über einen langen Text verteilt waren, konnte es nicht erfassen, was seine analytischen Fähigkeiten einschränkte.

Die spätere Erweiterung der Kontextfenster in Modellen wie ChatGPT (mit einem 8K-Kontextfenster, viermal so groß wie das von GPT-3) war ein deutlicher Fortschritt für die Fähigkeiten von KI. Die größeren Fenster ermöglichten stimmigere Gespräche, verringerten Halluzinationen und erlaubten ein tieferes Verständnis komplexer Erzählungen. Auch mit diesen Fortschritten haben KI-Modelle allerdings weder ein Bewusstsein noch eine Empfindungsfähigkeit, wie Menschen sie haben.

Was größere KI-Kontextfenster bewirken

Größere KI-Kontextfenster haben die Fähigkeiten von KI wesentlich vorangebracht, und zwar über die bloße Vergrößerung von Trainingsdaten oder Modellparametern hinaus. Das hat die KI in vielen Bereichen deutlich verbessert:

1. Zusammenfassen und Verarbeiten von Dokumenten: Eine wichtige Anwendung ist die Verarbeitung umfangreicher Dokumente oder Textkorpora. Mit größeren Kontextfenstern können LLMs eine Zusammenfassung auch bei längeren Texten stimmig und relevant halten. Das hilft besonders bei juristischen Dokumenten, Forschungsarbeiten und Büchern, wo es für eine genaue Zusammenfassung auf den Kontext des gesamten Dokuments ankommt.
2. Bessere Konversations-Agenten: Bei Chatbots und Konversations-Agenten erlauben lange Kontextfenster dem Modell, den Gesprächskontext auch über längere Interaktionen zu halten. Die KI kann sich also auf frühere Teile des Dialogs beziehen und stimmigere, besser zum Kontext passende Antworten geben, was anspruchsvollere und menschenähnlichere Interaktionen ermöglicht.
3. Generieren und Verstehen von Code: Wer LLMs beim Generieren, Debuggen oder Verstehen von Code einsetzt, profitiert davon, dass das Modell mit größeren Kontextfenstern mehr Codezeilen auf einmal berücksichtigen kann. Das kann die Qualität des generierten Codes und die Genauigkeit der Vorschläge verbessern, weil das Modell die Gesamtstruktur und die Abhängigkeiten im Code besser versteht.
4. Analyse historischer Daten: Bei Anwendungen mit historischen Daten, etwa der Analyse von Finanzmärkten oder der historischen Forschung, kann das Modell mit langen Kontextfenstern längere Abfolgen von Ereignissen berücksichtigen. Das kann zu genaueren Vorhersagen und Erkenntnissen führen, weil das Modell Muster und Trends über längere Zeiträume erkennt (Quelle [4]).
5. Komplexe Abfragen: Bei komplexen Abfragen, für die das Modell mehrere Informationen aus verschiedenen Teilen eines großen Datensatzes verstehen muss, können längere Kontextfenster seine Fähigkeit deutlich verbessern, relevante Informationen zu finden und zusammenzuführen. Die Antworten werden dadurch genauer und umfassender (Quelle [9]).
6. Kreatives Schreiben und Erstellen von Inhalten: Bei Aufgaben wie dem Schreiben von Geschichten oder dem Erstellen von Inhalten, bei denen eine stimmige und konsistente Erzählung entscheidend ist, kann das Modell mit langen Kontextfenstern die Entwicklung der Figuren, die Handlungspunkte und die Themen über längere Textpassagen verfolgen. Das Ergebnis sind geschlossenere und fesselndere Inhalte.

Lange Kontextfenster vs. RAG

Die Fortschritte bei langen Kontextfenstern haben eine Debatte darüber ausgelöst, ob Techniken wie Retrieval Augmented Generation (RAG) noch nötig sind. Lange Kontextfenster lassen Modelle riesige Mengen an Kontext direkt verarbeiten und nutzen, während RAG das Abrufen relevanter Informationen aus externen Quellen mit den generativen Fähigkeiten von LLMs verbindet. Das sind wichtige Anwendungen und Vorteile von RAG:

1. Informationsabruf in Echtzeit: Ein Hauptvorteil von RAG ist, dass es aktuelle Informationen aus externen Datenbanken oder Dokumenten abrufen kann, sodass die generierten Inhalte aktuell und zutreffend sind. Herkömmliche Sprachmodelle stützen sich auch mit großen Kontextfenstern stark auf ihre vorhandenen Trainingsdaten, die mit der Zeit veralten können. RAG löst das, indem es bei Bedarf auf reale Daten zugreift, und so kann das Modell komplexe und aktuelle Fragen besser beantworten.
2. Mehr Möglichkeiten für KI im Unternehmen: Weil RAG auf spezifische, relevante externe Daten zugreifen kann, wird das Modell präziser und nützlicher. Diese Kombination ist für viele Unternehmensanwendungen entscheidend, etwa die Analyse juristischer Dokumente, die Finanzberichterstattung und den Kundensupport, wo Genauigkeit und Relevanz an erster Stelle stehen.
3. Besserer Abruf und erweiterte Fähigkeiten für Agenten: RAG ist besonders nützlich bei Anwendungen, die einen detaillierten, kontextspezifischen Informationsabruf brauchen. In Kundensupport-Systemen etwa kann RAG konkrete Antworten aus der Wissensdatenbank eines Unternehmens abrufen und Anfragen von Nutzern so präziser und passender zum Kontext beantworten. Modelle mit langen Kontextfenstern tun sich dagegen möglicherweise schwer, in einem riesigen Datenbestand die relevantesten Informationen zu finden.

Die Wahl zwischen langen Kontextfenstern und RAG wirkt sich in vielen realen Anwendungen deutlich auf die Gesamtleistung von Deep-Learning-Modellen aus. RAG skaliert deutlich besser und ist deutlich kostengünstiger als lange Kontextfenster, weil es nur die relevantesten Informationen abruft und verarbeitet und dadurch weniger Tokens verarbeitet werden müssen. Das senkt Rechenkosten und Latenz, weshalb sich RAG für große Mengen an Abfragen und für Echtzeitanwendungen eignet.

Zusammenfassung

Kurz gesagt verbessern lange Kontextfenster die Leistung von LLMs, indem das Modell mehr internen Kontext verarbeiten und behalten kann, ganz ohne externen Abruf. RAG dagegen ist eine algorithmische Abruftechnik, die LLMs verbessert, indem sie relevante Informationen aus externen Quellen holt. Lange Kontextfenster können die Funktion von RAG zwar nicht genau nachbilden, lassen sich aber mit RAG kombinieren, was ein leistungsfähigeres System ergibt. So nutzt das Modell die Stärken beider Ansätze: die Fähigkeit, umfangreichen internen Kontext zu verarbeiten, und die Effizienz des gezielten Abrufs externer Informationen.

Foto von Pixabay

Aus dem Englischen übersetzt: zum Originalbeitrag