Die künstliche Intelligenz (KI) verändert sich spürbar: Statt immer größerer Sprachmodelle (LLMs) entstehen zunehmend kleinere, effizientere Modelle. Technische Fortschritte und praktische Überlegungen treiben diese Entwicklung an, und sie verändert, wie KI-Systeme in verschiedenen Branchen gebaut, bereitgestellt und genutzt werden.
Der Wandel in der Entwicklung von KI-Modellen
Anfangs zeigte sich der Fortschritt in der KI, besonders in der Verarbeitung natürlicher Sprache (NLP), an der wachsenden Größe der Sprachmodelle. Modelle wie GPT-4 von OpenAI mit ihren zig Milliarden Parametern verstanden und erzeugten menschlich klingenden Text in erstaunlicher Qualität. Diese großen Modelle haben aber deutliche Nachteile: hohe Rechenkosten, einen beträchtlichen Energieverbrauch und den Bedarf an riesigen Datensätzen.
Warum kleinere Modelle?
Dass kleinere Sprachmodelle (SLMs) immer öfter den Vorzug bekommen, hat mehrere Gründe:
1. Effizienz und Zugänglichkeit:
Kleinere Modelle brauchen weniger Rechenleistung und laufen auf mehr Geräten, auch auf Smartphones und Edge-Geräten. So kommen KI-Technologien zu mehr Nutzern und Anwendungen, was ihre breite Einführung und Integration erleichtert.
2. Kosten- und Ressourcenmanagement:
Entwicklung und Deployment großer Modelle kosten viele Ressourcen. Kleinere Modelle sind günstiger im Training und im Deployment und haben außerdem einen kleineren CO₂-Fußabdruck, was zu den globalen Nachhaltigkeitszielen passt.
3. Leistungsoptimierung:
Fortgeschrittene Techniken wie Knowledge Distillation, bei der große Modelle kleinere trainieren, haben gezeigt, dass die kleineren Modelle bei bestimmten Aufgaben ähnlich gut abschneiden wie ihre größeren Gegenstücke. Dazu kommen Methoden wie Low Rank Adaptation (LoRA) und Quantisierung, die diese Modelle effizienter machen, ohne dass die Leistung wesentlich leidet.
Beispiele für kleine LLMs
Kleine Sprachmodelle sollen Sprache effizient verarbeiten und dabei so schlank bleiben, dass sie auch auf Geräten mit knappen Ressourcen laufen. Hier einige bekannte Beispiele für kleine LLMs:
1. LLaMA 3 von Meta
LLaMA 3 ist ein Open-Source-Sprachmodell von Meta, das eine breitere und verantwortungsvollere KI-Nutzung ermöglichen soll. LLaMA 3 baut auf dem Erfolg seiner Vorgänger auf und verbessert mit fortgeschrittenen Trainingsmethoden und Optimierungen an der Architektur seine Leistung bei Aufgaben wie Übersetzung, Dialogerzeugung und komplexem Schlussfolgern.
Leistung und Innovation
LLaMA 3 wurde auf deutlich größeren Datensätzen trainiert, und zwar auf eigens gebauten GPU-Clustern, die die Daten effizient verarbeiten. Durch dieses umfangreiche Training versteht es sprachliche Nuancen besser und bewältigt auch mehrstufiges Schlussfolgern sicherer. Das Modell erzeugt besser abgestimmte und vielfältigere Antworten und ist damit ein robustes Werkzeug für Entwickler, die anspruchsvolle KI-Anwendungen bauen.
Warum LLaMA 3 wichtig ist
LLaMA 3 ist gut zugänglich und vielseitig, und beides zählt. Als Open-Source-Modell öffnet es den Zugang zu fortgeschrittener KI-Technologie und fördert so Innovation. Entwickler können LLaMA 3 per Fine-Tuning auf bestimmte Anwendungen zuschneiden und so Leistung und Relevanz in einzelnen Fachgebieten verbessern. Dieser offene Zugang unterstützt die grundlegende wie die fortgeschrittene KI-Forschung und trägt zu einer breiteren, verantwortungsvolleren KI-Nutzung bei.
Erfahren Sie mehr über Metas LLaMA 3.
2. Phi 3 von Microsoft
Phi-3 ist eine Reihe kleiner Sprachmodelle (SLMs) von Microsoft, bei denen es um hohe Leistungsfähigkeit und Kosteneffizienz geht. Die Modelle gehören zu Microsofts Initiative für offene KI und stehen der Öffentlichkeit zur Integration und zum Deployment in verschiedenen Umgebungen zur Verfügung, von Cloud-Plattformen wie Microsoft Azure AI Studio bis zu lokalen Installationen auf persönlichen Geräten.
Leistung und Bedeutung
Phi-3-Modelle sind stark bei Sprachverarbeitung, beim Programmieren und bei mathematischem Schlussfolgern. Bemerkenswert ist das Phi-3-mini, ein Modell mit 3,8 Milliarden Parametern, das bis zu 128.000 Token Kontext verarbeiten kann und damit neue Maßstäbe für die flexible Verarbeitung umfangreicher Texte setzt. Die Phi-3-Modelle sind für unterschiedliche Rechenumgebungen optimiert, lassen sich auf GPUs, CPUs und mobilen Plattformen einsetzen und fügen sich nahtlos in andere Microsoft-Technologien wie ONNX Runtime und Windows DirectML ein.
Warum Phi 3 wichtig ist
Phi 3 bringt deutliche Fortschritte bei KI-Sicherheit und ethischem Deployment und folgt Microsofts Responsible AI Standard. Das gewährleistet Fairness, Transparenz und Sicherheit, sodass Phi 3 leistungsstark und zugleich vertrauenswürdig ist. Die Modelle bieten leistungsfähige KI-Lösungen, die fortgeschritten, erschwinglich und effizient sind und sich für viele Anwendungen eignen.
Sehen Sie sich den Vergleich der Phi-3-Familie an.
3. Mixtral 8x7B von Mistral AI
Mixtral von Mistral AI ist ein Modell vom Typ Sparse Mixture of Experts (SMoE), bei dem Effizienz und offene Zugänglichkeit im Vordergrund stehen. Dieses reine Decoder-Modell nutzt ein Router-Netzwerk, das zur Datenverarbeitung gezielt verschiedene Parametergruppen, sogenannte „Experten“, aktiviert. Das macht es sehr effizient und anpassungsfähig.
Leistung und Neuerungen
Mixtral verarbeitet große Kontexte von bis zu 32k Token und unterstützt mehrere Sprachen. Es ist stark bei der Codegenerierung und lässt sich per Fine-Tuning so einstellen, dass es Anweisungen genau befolgt, womit es bei Benchmarks wie MT-Bench hohe Werte erreicht. Insgesamt hat es 46,7 Milliarden Parameter, nutzt pro Token aber effektiv nur etwa 12,9 Milliarden. Bei Rechenkosten und Geschwindigkeit liegt es damit auf dem Niveau viel kleinerer Modelle.
Warum Mixtral wichtig ist
Als Open-Source-Modell unter Apache-2.0-Lizenz lädt Mixtral zu breiter Nutzung und Anpassung ein. Es steht für einen strategischen Schritt hin zu einer gemeinschaftlicheren, transparenteren KI-Entwicklung und macht Hochleistungs-KI zugänglicher und weniger ressourcenhungrig. Weil das Modell Energie- und Rechenkosten senkt, unterstützt es nachhaltige KI-Praktiken und ist eine leistungsstarke und zugleich umweltbewusste Wahl im KI-Bereich.
Mehr über Mixtral erfahren Sie hier.
4. Gemma von Google
Gemma ist eine neue Generation offener Modelle von Google, bei deren Entwurf verantwortungsvolle KI-Entwicklung im Mittelpunkt stand. Entwickelt haben sie Google DeepMind und andere Teams bei Google, und sie stützen sich auf ähnliche Grundlagenforschung und Technologie wie die Gemini-Modelle.
Technische Details und Verfügbarkeit
Gemma-Modelle sind schlank, technisch auf dem neuesten Stand und in verschiedenen Rechenumgebungen nutzbar, von Mobilgeräten bis zu Cloud-Systemen. Google bietet zwei Hauptversionen an: ein Modell mit 2 Milliarden und eines mit 7 Milliarden Parametern, jeweils in vortrainierten und auf Anweisungen abgestimmten Varianten.
Warum Gemma wichtig ist
Gemma-Modelle öffnen KI-Technologie für mehr Menschen, weil sie Fähigkeiten auf dem neuesten Stand in offener Form bereitstellen. Das erleichtert die breite Einführung und fördert Innovation. Nutzer können die Modelle für Spezialaufgaben anpassen und kommen so zu effizienteren, gezielteren KI-Lösungen.
Erfahren Sie mehr über Googles Gemma.
5. OpenELM-Familie von Apple
OpenELM ist eine Familie kleiner Sprachmodelle von Apple, die auf Ressourceneffizienz ausgelegt sind. Die Open-Source-Modelle sind transparent und geben der Forschungsgemeinschaft die Möglichkeit, sie nach Bedarf zu verändern und anzupassen.
Leistung und Fähigkeiten
OpenELM-Modelle erreichen in verschiedenen Benchmarks eine mittlere Genauigkeit, können bei komplexeren Aufgaben aber zurückfallen. Im Vergleich zu ähnlichen Modellen wie OLMo sind sie bei der Genauigkeit besser, wenn auch nur mäßig.
Warum OpenELM wichtig ist
OpenELM bringt generative KI auf dem neuesten Stand in Apples Hardware-Ökosystem und verbessert die KI-Fähigkeiten auf dem Gerät, ohne dass eine ständige Cloud-Verbindung nötig ist. Das hilft in Gegenden mit schlechter Verbindung und kommt der wachsenden Nachfrage der Verbraucher nach Privatsphäre und Datensicherheit entgegen. Wenn Apple OpenELM in seine Produkte einbaut, könnte das dem Unternehmen einen deutlichen Wettbewerbsvorteil verschaffen, weil seine Geräte dann klüger wären und komplexe KI-Aufgaben unabhängig von der Cloud erledigen könnten.
Mehr über Apples OpenELM finden Sie hier.
Technische Neuerungen
Es gibt eine Reihe technischer Neuerungen:
1. Low Rank Adaptation (LoRA)
Low-Rank Adaptation (LoRA) ist eine Technik, die das Training und das Fine-Tuning von Large Language Models (LLMs) effizienter macht. Dazu verändert sie die Architektur des Modells durch niedrigrangige Matrizen, wodurch die Zahl der Parameter, die beim Training angepasst werden müssen, deutlich sinkt. So lässt sich das Modell schneller und mit weniger Ressourcen an bestimmte Aufgaben oder Datensätze anpassen, ohne dass die Leistung leidet. LoRA macht LLMs insgesamt nicht kleiner, sondern optimiert das Fine-Tuning. Durch niedrigrangige Näherungen senkt LoRA die Rechenkosten und die Zeit für das Fine-Tuning, sodass sich große Modelle leichter an neue Aufgaben oder kleinere Datensätze anpassen lassen.
2. Quantisierung
Quantisierung verringert die Genauigkeit der Zahlen, mit denen die Parameter eines Modells dargestellt werden. Statt hochpräziser Gleitkommazahlen verwendet sie Formate mit geringerer Genauigkeit, etwa 8-Bit-Ganzzahlen. Das senkt den Speicherbedarf und die Rechenanforderungen des Modells, sodass es schneller und effizienter läuft:
- Geringere Genauigkeit: Üblicherweise verwenden Modelle 32-Bit- oder 16-Bit-Gleitkommazahlen. Die Quantisierung reduziert das auf geringere Genauigkeiten wie 8-Bit-Ganzzahlen, ohne die Leistung des Modells wesentlich zu beeinträchtigen.
- Weniger Speicherbedarf: Werden Gewichte und Aktivierungen mit weniger Bits dargestellt, schrumpft das Modell insgesamt, was Speicherplatz und Arbeitsspeicher spart.
- Höhere Geschwindigkeit: Berechnungen mit geringerer Genauigkeit brauchen weniger Rechenressourcen, was zu kürzeren Inferenzzeiten und geringerem Energieverbrauch führen kann.
3. Effiziente Datennutzung: die Rolle hochwertiger Datensätze
Für den Erfolg kleinerer Sprachmodelle ist die Qualität der Trainingsdaten entscheidend. Forscher von Microsoft haben in ihrem Paper „Textbooks Are All You Need“ auf die Bedeutung hochwertiger Datensätze hingewiesen. Das Paper beschreibt, wie sorgfältig ausgewählte, hochwertige Daten kleineren Modellen zu einer Leistung verhelfen können, die mit größeren Modellen vergleichbar ist, die mit riesigen Mengen vielfältigerer Daten trainiert wurden.
Der hochwertige Datensatz von Hugging Face
Auch Hugging Face hat hier viel beigetragen und einen hochwertigen Datensatz veröffentlicht, der speziell dafür gedacht ist, kleinere Sprachmodelle effizient zu trainieren. Dieser Datensatz beruht auf den Prinzipien aus dem Microsoft-Paper und bietet reichhaltiges Trainingsmaterial, mit dem kleinere Modelle bei verschiedenen Aufgaben gut abschneiden.
Perspektiven aus Industrie und Forschung
Experten wie Andrej Karpathy und Sam Altman betonen, dass es wichtiger ist, Datenqualität und Modellarchitektur zu verbessern, als nur die Zahl der Parameter zu erhöhen. Vor allem Altman drängt auf Dateneffizienz (aus weniger mehr lernen), statt einfach die Parameterzahl hochzuskalieren.
Ausblick
Der Trend zu kleineren Modellen hat weitreichende Folgen:
1. KI auf dem Gerät:
Modelle lokal auszuführen, verbessert den Datenschutz, verringert die Latenz und senkt die Kosten für Cloud Computing. Das ist besonders für Anwendungen im Gesundheits- und Finanzwesen sowie für personalisierte Nutzererlebnisse relevant.
2. Bessere Anpassung:
Kleinere Modelle lassen sich per Fine-Tuning mit firmeneigenen Daten an die speziellen Bedürfnisse von Unternehmen und Branchen anpassen, was zu besser zugeschnittenen und wirksameren KI-Lösungen führt.
3. Nachhaltigkeit und Ethik:
Die Umweltbelastung durch die KI-Entwicklung zu verringern, wird zunehmend zur Priorität. Kleinere Modelle passen gut zu den Nachhaltigkeitszielen und gehen die Bedenken wegen des hohen Energie- und Ressourcenbedarfs großer Modelle an.
Herausforderungen und Grenzen
Kleinere Modelle haben viele Vorteile, aber auch einige Schwierigkeiten:
1. Begrenzte Generalisierung:
Bei Aufgaben, die eine breite Generalisierung verlangen, können kleinere Modelle schlechter abschneiden als ihre größeren Gegenstücke. Fine-Tuning und aufgabenspezifisches Training können einige dieser Probleme abmildern, beseitigen die Grenzen aber möglicherweise nicht ganz.
2. Abhängigkeit von hochwertigen Daten:
Die Leistung kleinerer Modelle hängt stark von der Qualität der Trainingsdaten ab. Der Zugang zu hochwertigen, vielfältigen Datensätzen bleibt eine große Herausforderung.
3. Aufwendige Integration:
Kleinere Modelle in bestehende Systeme und Abläufe zu integrieren, kann komplex sein und größere Anpassungen an Infrastruktur und Prozessen erfordern.
Fazit
Der Wechsel zu kleineren Sprachmodellen ist eine große Veränderung für die KI. Indem sich die KI-Community auf Effizienz, Zugänglichkeit und klügere Datennutzung konzentriert, geht sie die Grenzen großer Modelle an und eröffnet zugleich neue Wege für Innovation und Anwendung. Dieser Paradigmenwechsel verspricht, KI weiter zu demokratisieren und sie in der Praxis brauchbarer und nachhaltiger zu machen.
Aus dem Englischen übersetzt: zum Originalbeitrag