Was ist die Quantisierung von LLMs?

Quantisierung ist eine Kompressionstechnik, die in vielen Bereichen seit Langem genutzt wird: Sie bildet hochpräzise Werte auf Werte mit geringerer Präzision ab und macht Daten dadurch handlicher und speichersparender[1][2]. Mit dem Aufkommen großer Sprachmodelle (Large Language Models, LLMs) wurden solche Techniken notwendig, weil die Zahl der Modellparameter exponentiell wächst und mit ihr der Rechenaufwand. Historisch begann die Quantisierung bei LLMs als Methode, um Größe und Rechenlast dieser Modelle zu verringern, sodass sie ohne nennenswerte Einbußen bei Leistung und Genauigkeit auch auf schwächerer Hardware laufen[3]. Die Entwicklung quantisierter LLMs nahm Fahrt auf, als umfangreiche Modellkataloge wie der LLM Explorer entstanden, der über 14.000 Modelle führt, viele davon quantisiert[4]. Mit diesen Ressourcen ließen sich Originale und quantisierte Versionen im Detail vergleichen, was die Abwägungen dahinter besser verständlich machte[5]. Ein wichtiger Meilenstein in der Entwicklung der LLM-Quantisierung waren empirische Ergebnisse, die zeigten, dass sich bestimmte Operationen neuronaler Netze mit geringerer Präzision ausführen lassen, ohne dass die Modellleistung wesentlich leidet[3]. Diese Erkenntnis war entscheidend dafür, die Präzision von Modellgewichten und Aktivierungen in der Praxis mit Quantisierungstechniken zu reduzieren, und das ist notwendig, um die wachsende Größe von LLMs in den Griff zu bekommen[1][6]. In den letzten Jahren haben Modelle wie die von IBM Research entwickelten Granite-Sprachmodelle Quantisierung zusammen mit anderen architektonischen Neuerungen genutzt, um auf riesigen, vielfältigen Datensätzen zu trainieren und dabei Effizienz und Leistung auszubalancieren[7]. Quantisierungstechniken haben sich so von einfachen Methoden zur Präzisionsreduktion zu ausgefeilten Verfahren entwickelt, die auf bestimmte Aspekte von Training und Inferenz zugeschnitten sind: Die Leistung sinkt nur minimal, die Modellgröße dagegen deutlich[3][6]. Während die Erforschung von LLMs weitergeht, bleibt die Quantisierung für Forschende und Entwickler ein Schwerpunkt. Laufende Studien wollen die Techniken verfeinern und ihre Auswirkungen auf verschiedene Arten von LLMs verstehen, darunter Instruction-Tuned-Modelle[6]. Diese fortlaufende Entwicklung zeigt, wie wichtig die Quantisierung für große KI-Modelle auch in Zukunft sein wird.

Quantisierungstechniken für LLMs

Quantisierungstechniken sollen die Zahl der Bits für Modellgewichte oder Aktivierungen bei minimalem Leistungsverlust verringern und große Sprachmodelle (LLMs) so zugänglicher und effizienter machen[6]. Inzwischen gibt es mehrere bekannte Methoden, jede mit eigenen Vorteilen und Nachteilen.

Post-Training Quantization (PTQ)

Bei der Post-Training Quantization (PTQ) wird ein Modell quantisiert, nachdem sein Training abgeschlossen ist[1]. PTQ reduziert die Präzision der Modellparameter, typischerweise von einer 32-Bit-Gleitkommadarstellung auf 8-Bit-Ganzzahlen. Das senkt den Speicherverbrauch, verkürzt die Inferenzzeiten und verbessert die Energieeffizienz[8]. Die Technik ist relativ einfach umzusetzen, weil sie weniger Trainingsdaten braucht und schneller läuft als andere Methoden. Allerdings kann PTQ manchmal die Genauigkeit des Modells verringern, weil die Werte der Gewichte an Präzision verlieren[9][1].

Quantization-Aware Training (QAT)

Quantization-Aware Training (QAT) ist eine anspruchsvollere Technik, bei der das Fine-Tuning des Modells die Quantisierung von Anfang an berücksichtigt[1]. Dabei laufen Schritte wie Kalibrierung, Bereichsschätzung, Clipping und Rundung, damit sich das Modell gut an das Format mit geringerer Präzision anpasst[1]. Die Methode ist rechenintensiv, erzielt aber eine höhere Genauigkeit und bessere Modellleistung als PTQ: Das Modell wird schon während des Trainings kalibriert, eine Kalibrierung danach entfällt[1]. Weil QAT die Parameter im Training auf das Format mit weniger Bits hin optimiert, kann es die Robustheit und Effizienz des quantisierten Modells deutlich steigern[10].

Low-Rank Adaptation (LoRA)

Low-Rank Adaptation (LoRA) ist eine Technik des Parameter-Efficient Fine-Tuning (PEFT). Sie senkt den Speicherbedarf beim Weitertrainieren eines Basis-LLM, indem sie dessen Gewichte einfriert und nur eine kleine Menge zusätzlicher Gewichte feinabstimmt, die sogenannten Adapter[9]. So lässt sich viel Speicher sparen, während die Leistung des Modells erhalten bleibt, was die Methode zu einer wirksamen Strategie für die Quantisierung macht.

Activation-Aware Weight Quantization (AWQ)

Activation-Aware Weight Quantization (AWQ) ist eine Quantisierungsmethode, die den Speicherbedarf von LLMs senken und ihre Leistung dabei erhalten oder sogar verbessern soll[10]. Die Technik berücksichtigt beim Quantisieren die Aktivierungen, was das Modell besser optimiert und effizienter macht.

GPTQ-for-LLaMa

GPTQ-for-LLaMa ist eine Quantisierungstechnik, die speziell auf die Ausführung auf GPUs zugeschnitten ist[3]. Methoden wie QLoRA nutzen sie häufig, und sie lädt Modelle für das Fine-Tuning mit 4-Bit-Präzision[3]. Die Methode nutzt die Fähigkeiten moderner GPUs für eine effiziente und wirksame Quantisierung und ist deshalb bei Hochleistungsanwendungen beliebt.

GGML

GGML ist eine C-Bibliothek, die eng mit der Bibliothek llama.cpp verzahnt ist[3]. Sie hat ein eigenes Binärformat für LLMs, das sich schnell laden und leicht lesen lässt. GGML ist auf quantisierte Modelle ausgelegt und erleichtert das effiziente Speichern und Abrufen von Modellparametern[3].

Grundbegriffe

Quantisierung bildet kontinuierliche, unendliche Werte auf eine kleinere Menge diskreter, endlicher Werte ab[2]. Bei großen Sprachmodellen (LLMs) soll sie die Rechen- und Speicherkosten der Inferenz senken, indem Gewichte und Aktivierungen in Datentypen mit geringerer Präzision dargestellt werden, etwa als 8-Bit-Ganzzahlen (int8) statt im üblichen 32-Bit-Gleitkommaformat (float32)[11][1]. Dabei spielen mehrere Größen eine Rolle, etwa Präzision, Wertebereich und Skalierung des Datentyps, der das Signal codiert[2]. Man muss auch die nichtlinearen, sich aufsummierenden Effekte der Quantisierung auf das numerische Verhalten von Algorithmen berücksichtigen, besonders wenn Rückkopplungsschleifen im Spiel sind[2]. Durch diese Abbildung entsteht der Quantisierungsfehler, also die Differenz zwischen einem Eingabewert und seinem quantisierten Wert[12]. Computer stellen Zahlen meist auf zwei Arten dar: als Gleitkomma- oder als Festkommazahlen. Die Gleitkommadarstellung nähert reelle Zahlen durch eine Kombination aus Vorzeichen, Exponent und Nachkommateil (auch Signifikand oder Mantisse genannt) an[13][8]. Die Festkommadarstellung verwendet dagegen ganzzahlige Hardware-Operationen und legt per Softwarekonvention fest, wo das Binär- oder Dezimalkomma steht[13]. Auch bei gleicher Bitbreite (z. B. 32 Bit) stellen Gleitkomma- und Ganzzahltypen Zahlen unterschiedlich dar. So unterscheidet sich das Bitmuster der vorzeichenlosen Ganzzahl 1 erheblich vom Bitmuster der Gleitkommazahl 1,0[14]. Floats können bei gleicher Bitbreite einen größeren Zahlenbereich speichern als Ganzzahlen, einschließlich Dezimalzahlen und Werten in wissenschaftlicher Notation[14]. Bei großen Sprachmodellen bietet die Quantisierung einen Weg, Leistung und knappe Ressourcen auszubalancieren. Wenn die Modellkomponenten mit weniger Bits auskommen, sinkt der Speicherverbrauch und die Operationen laufen schneller, sodass sich LLMs auch auf Systemen mit begrenzter Rechenleistung und wenig Speicher betreiben lassen[6][11]. Die kleinere Größe geht zwar mit Abstrichen bei Genauigkeit und Leistung einher, aber Quantisierungsmethoden wurden gerade dafür entwickelt, diese Verluste gering zu halten und LLMs zugleich effizienter zu machen[6][1][15]. Neuere Entwicklungen wie SmoothQuant und QLoRA (Quantized Low-Rank Adaptation) zeigen, wie sich die Strategien für eine wirksame Quantisierung von LLMs weiterentwickeln. Diese Techniken sollen die Genauigkeit der Modelle erhalten und zugleich Rechen- und Speichereffizienz optimieren, damit LLMs für verschiedene Anwendungen leichter zugänglich werden[16][9][5].

Quantisierung in LLMs umsetzen

Die Quantisierung großer Sprachmodelle (LLMs) umfasst eine Reihe von Schritten, die die Rechen- und Speicherkosten beim Betrieb dieser Modelle senken und die Leistung dabei möglichst wenig beeinträchtigen sollen. Sie wandelt Gewichte und Aktivierungen eines LLM von hochpräzisen Werten, etwa 32-Bit-Gleitkommazahlen (float32), in Werte mit geringerer Präzision um, etwa 8-Bit-Ganzzahlen (int8) oder sogar 4-Bit-Ganzzahlen, und komprimiert so das Modell [3][11][15].

Quantisierungstechniken

Quantisierungstechniken unterscheiden sich in Komplexität und Präzision. Einfache Methoden wie die Post-Training Quantization wandeln die Modellgewichte um, nachdem das Training abgeschlossen ist. Anspruchsvollere Techniken wie das Quantization-Aware Training beziehen die Quantisierung schon ins Training ein. Das Modell kann sich so an Gewichte und Aktivierungen mit geringerer Präzision anpassen, was oft zu besserer Leistung führt [9][16].

Post-Training Quantization

Die Post-Training Quantization gehört zu den einfachsten Ansätzen: Das hochpräzise Modell wird zuerst vollständig trainiert und dann quantisiert. Diese Methode braucht weniger Ressourcen, kann aber mehr Modellgenauigkeit kosten als andere Techniken. So hat der erweiterte SmoothQuant-Ansatz die Leistung quantisierter Modelle nachweislich verbessert, indem er die Quantisierungsparameter danach anpasst, wie empfindlich das Modell auf Präzisionsverlust reagiert [16].

Quantization-Aware Training

Quantization-Aware Training (QAT) ist aufwendiger, weil die Quantisierungsschritte schon Teil des Trainings sind. Das Modell lernt dabei, mit Gewichten und Aktivierungen geringerer Präzision zurechtzukommen, und behält nach der Quantisierung möglicherweise mehr von seiner Genauigkeit [9][16].

Praktische Schritte der Umsetzung

1. Quantisierungsmethode wählen: Entscheiden Sie je nach Anwendung und Ressourcen zwischen Post-Training Quantization und Quantization-Aware Training. Werkzeuge wie der Intel Neural Compressor unterstützen beide Methoden und lassen sich in verbreitete Machine-Learning-Frameworks wie TensorFlow und PyTorch einbinden [16].
2. Modell vorbereiten: Stellen Sie sicher, dass das Modell mit der gewählten Quantisierungsmethode kompatibel ist. Bei der Post-Training Quantization heißt das, das Modell vollständig zu trainieren. Bei QAT nehmen Sie die Quantisierungsschritte ins Trainingsskript auf [16][15].
3. Quantisierung ausführen: Wenden Sie die Quantisierung auf die Gewichte und Aktivierungen des Modells an. Dabei werden die hochpräzisen Werte mit Methoden wie der Festkommaarithmetik auf Werte mit geringerer Präzision abgebildet [2][11][15].
4. Validierung und Fine-Tuning: Bewerten Sie nach der Quantisierung die Leistung des Modells bei Benchmark-Aufgaben, um sicherzustellen, dass der Genauigkeitsverlust im vertretbaren Rahmen bleibt. Stimmen Sie das Modell bei Bedarf nach, um einen Teil der verlorenen Leistung zurückzugewinnen [3][6][9].

Herausforderungen und was zu beachten ist

Quantisierung bringt mehrere Herausforderungen mit sich, etwa den Umgang mit Ausreißern, die die Leistung des quantisierten Modells unverhältnismäßig stark beeinflussen können. Techniken wie die ausreißerbewusste Quantisierung (outlier-aware quantization) können diese Probleme mildern [9][4]. Auch die sich aufsummierenden Effekte der Quantisierung auf das numerische Verhalten muss man sorgfältig im Griff behalten, besonders bei Modellen mit Rückkopplungsschleifen [2]. Empirische Studien zeigen, dass eine gewisse Leistungseinbuße unvermeidlich ist, ihr Ausmaß aber stark von der Präzisionsstufe und der jeweiligen Quantisierungstechnik abhängt. So kann eine aggressive Quantisierung (z. B. eine Reduktion der Präzision auf 4 Bit oder weniger) zu deutlicheren Leistungseinbußen führen, während eine moderate Quantisierung (z. B.

Auswirkungen der Quantisierung auf LLMs

Quantisierung gilt als vielversprechende Technik, um große Sprachmodelle (LLMs) speicher- und recheneffizienter zu machen[17]. Sie bildet hochpräzise Werte auf Werte mit geringerer Präzision ab und verringert so Größe und Speicherbedarf des Modells bei ähnlicher Leistung[3][15]. Besonders nützlich ist das, wenn LLMs auf Geräten mit wenig Rechenleistung und Speicher laufen sollen, etwa auf einfachen GPU-Servern oder Smartphones[4].

Leistungsmetriken und Evaluierung

Dass Quantisierung den Rechenbedarf von LLMs senkt, ist bekannt. Ihre Auswirkung auf die Modellleistung steht dagegen im Mittelpunkt der neueren Forschung. Die meisten Quantisierungsstudien arbeiten vor allem mit vortrainierten LLMs und bewerten deren Wirksamkeit mit Metriken wie der Perplexität, die misst, wie gut ein Modell eine Stichprobe vorhersagen kann[6]. Die Perplexität wird zwar häufig zur Evaluierung verwendet, doch wie sie bei quantisierten LLMs mit deren Leistung in anderen Benchmarks zusammenhängt, ist noch wenig verstanden[6].

Experimentelle Ergebnisse

Um diese Lücken zu schließen, haben Forschende ein strukturiertes Evaluierungs-Framework mit drei Dimensionen vorgeschlagen: Wissen & Kapazität, Alignment und Effizienz. Umfangreiche Experimente mit zehn unterschiedlichen Benchmarks deuten darauf hin, dass LLMs mit 4-Bit-Quantisierung eine ähnliche Leistung behalten können wie ihre nicht quantisierten Gegenstücke[6]. Außerdem kann die Perplexität bei den meisten Benchmarks als Ersatzmetrik für quantisierte LLMs dienen[6].

Praktische Folgen

Quantisierung ermöglicht das Deployment größerer Modelle (über ~70 Milliarden Parameter) mit minimalen Auswirkungen auf ihre Leistung, besonders mit Techniken wie NF4 für die 4-Bit-Quantisierung[3]. Berichten zufolge konnte mit dieser Methode ein 180B-Falcon-Modell auf einem Mac M2 Ultra Inferenz ausführen, was zeigt, wie viel Quantisierung leisten kann, um große Sprachmodelle auf handelsüblicher Hardware nutzbar zu machen[3]. Außerdem wurde gezeigt, dass der Präzisionsverlust durch Quantisierung die Modellqualität mit wachsender Modellgröße kaum noch beeinflusst, selbst bei einer Quantisierung auf nur 3 Bit[18].

Effizienz und Zugänglichkeit

Das Hauptziel der Quantisierung ist es, LLMs breiter zugänglich zu machen und dabei ihren Nutzen und ihre Genauigkeit zu erhalten[19]. Weil die Modelle kleiner werden, laufen sie auch auf älteren oder schwächeren Geräten effizient, was neue Möglichkeiten für die Verarbeitung natürlicher Sprache und KI-gestützte Anwendungen in verschiedenen Branchen eröffnet[19]. Diese Demokratisierung der KI-Technologie kann vor allem dort viel bringen, wo Rechenressourcen begrenzt sind, und LLMs einer breiteren Nutzung und Anwendung öffnen[4].

Aktuelle Forschung und künftige Richtungen

Neuere Fortschritte bei großen Sprachmodellen (LLMs) haben gezeigt, welches Potenzial die Quantisierung hat und wie notwendig sie ist, um diese Modelle zugänglicher und effizienter zu machen. Quantisierung wandelt die Gewichte und Aktivierungen eines LLM von einer hochpräzisen Datendarstellung in eine mit geringerer Präzision um und verringert so Speicherbedarf und Rechenaufwand des Modells[3][1][9].

Aktuelle Forschung

Forschende untersuchen verschiedene Quantisierungstechniken, um die Probleme zu lösen, die aus der wachsenden Größe und Komplexität von LLMs entstehen. Studien zeigen, dass Quantisierung LLMs deutlich verkleinern kann, ohne ihre Leistung wesentlich zu beeinträchtigen. So nutzten Modelle, die mit Techniken wie Post-Training Quantization (PTQ) und Quantization-Aware Training (QAT) quantisiert wurden, die Hardware effizient und hielten ein ähnliches Leistungsniveau wie ihre hochpräzisen Gegenstücke[4][9]. Ein weiterer Schwerpunkt ist die Auswirkung der Quantisierung auf die Modellleistung. Empirische Ergebnisse deuten darauf hin, dass manche Operationen beim Training und bei der Inferenz neuronaler Netze zwar hohe Präzision brauchen, für andere aber deutlich geringere Präzision genügt. Durch diese selektive Reduktion lassen sich LLMs auch auf Systemen mit begrenzter Rechenleistung und wenig Speicher betreiben, und Inferenz mit niedriger Latenz wird möglich[16][3][1]. Auch das Interesse an der Quantisierung von Instruction-Tuned-LLMs wächst. Die meisten Quantisierungsstudien befassen sich zwar mit vortrainierten LLMs, doch wie sich Quantisierung auf Instruction-Tuned-Modelle auswirkt und wie deren Perplexität mit ihrer Benchmark-Leistung zusammenhängt, muss noch weiter erforscht werden[6].

Künftige Richtungen

Für die Zukunft verspricht die Forschung zur LLM-Quantisierung spannende Entwicklungen. Ein vielversprechender Weg ist die Weiterentwicklung bestehender Quantisierungstechniken wie des SmoothQuant-Ansatzes, der das Verhältnis zwischen Modellgenauigkeit und Ressourceneffizienz optimieren soll[16]. Außerdem können fortgeschrittene Kalibrierungstechniken während der Quantisierung die Präzision der Aktivierungen verbessern und damit die Gesamtleistung des Modells steigern[11]. Ein weiteres wichtiges Forschungsfeld sind Quantisierungsmethoden, die Leistungseinbußen noch weiter verringern, damit LLMs auch auf normaler Consumer-Hardware effektiv laufen. Richtig umgesetzt soll die Quantisierung diese leistungsfähigen Modelle auf mehr Geräte bringen, darunter einzelne GPUs und in manchen Fällen sogar CPUs[15][19]. Die weitere Erforschung dieser Techniken und ihrer Anwendungen wird viel zur Demokratisierung von LLMs beitragen und diese fortgeschrittenen Modelle für ein breiteres Publikum zugänglicher und praktischer machen. Von der laufenden Forschung und den Neuerungen auf diesem Gebiet ist zu erwarten, dass LLMs immer kleiner und effizienter werden und die Grenzen des mit KI-Technologie Möglichen weiter hinausschieben[20][5].

Foto von Google DeepMind

 

Aus dem Englischen übersetzt: zum Originalbeitrag