Die KI-Revolution hat ein schmutziges kleines Geheimnis: Die meisten Organisationen können sie für ihre wichtigste Arbeit gar nicht nutzen. Sicher, ChatGPT ist großartig, um Ideen für Blogposts zu sammeln oder Codeschnipsel zu debuggen. Fragen Sie aber die Leitung eines Krankenhauses, ob sie Patientenakten an die Server von OpenAI schickt, oder ein Finanzdienstleistungsunternehmen, ob es seine geheimen Handelsstrategien durch Claude leitet, dann bekommen Sie ein nervöses Lachen und danach eine lange Erklärung über HIPAA, DSGVO und die Albträume des Compliance-Teams.
Alles, was Sie in einen Cloud-KI-Dienst einfügen, übergeben Sie im Grunde dem Rechner von jemand anderem. Für den gelegentlichen Gebrauch ist das in Ordnung. Für die Analyse vertraulicher Verträge, Gesundheitsakten, Finanzdokumente oder eigener Forschung? Das ist ein Compliance-Albtraum, verpackt in einen Sicherheitsvorfall, der nur darauf wartet, einzutreten.
Hier kommt OnPrem.LLM ins Spiel, ein Python-Toolkit, mit dem Sie große Sprachmodelle vollständig auf Ihrer eigenen Hardware betreiben. Sie brauchen keine Cloud, keine Daten verlassen Ihr Gebäude, und an einen Anbieter binden Sie sich auch nicht. OnPrem.LLM stammt von Arun Maiya, ist von privateGPT inspiriert und hat sich still und leise zu einer der praktischeren Lösungen für Organisationen entwickelt, die LLM-Fähigkeiten brauchen, die Sicherheitsfolgen von Cloud-KI aber nicht verkraften. Wo privateGPT das Konzept des rein lokalen LLM-Deployments eingeführt hat, baut OnPrem.LLM es zu einer vollwertigen Plattform für Dokumentenanalyse aus, mit einem pragmatischen Dreh: Es unterstützt lokale und Cloud-Modelle, Sie können also je nach Sensibilität der Daten entscheiden und müssen sich keinem dogmatischen Lokalismus unterwerfen.
Im Grunde ist es die Antwort „dann betreiben Sie es eben selbst“ auf die KI-Angst in Unternehmen.
Flexibilität ohne die Handschellen der Anbieter
Besonders clever an OnPrem.LLM ist sein Schweizer-Taschenmesser-Ansatz bei den Modell-Backends. Es unterstützt:
- Lokale Optionen: llama.cpp (GGUF-Format), Hugging Face Transformers, Ollama, vLLM oder jeden REST-API-Endpunkt, auf den Sie es richten wollen
- Cloud-Optionen: OpenAI GPT-4o, Anthropic Claude, AWS GovCloud, Azure OpenAI
Ja, ein Tool namens „OnPrem“ funktioniert auch mit Cloud-Diensten. Es geht nicht um dogmatischen Lokalismus, es geht um Wahlfreiheit. Führen Sie sensible Analysen lokal aus und nutzen Sie Cloud-Modelle zum Testen oder zum Erzeugen synthetischer Trainingsdaten. Kombinieren Sie nach Bedarf. Das Backend wechseln Sie mit buchstäblich einer Zeile Code.
python
# Local model
llm = LLM('ollama/llama3.2')
# Cloud model (with stern warning about data leaving premises)
llm = LLM('anthropic/claude-3-7-sonnet-latest')Die Philosophie „funktioniert mit allem“ gilt auch für Vektordatenbanken (Chroma, Elasticsearch), Dokumentformate (PDF, Word, PowerPoint, mit OCR-Unterstützung) und Deployment-Optionen (lokale Skripte, Web UI, REST APIs). Das ist Infrastruktur, die erfrischend wenig vorschreibt und trotzdem gut dokumentiert ist.
RAG ohne Doktorat
Das Killer-Feature des Toolkits ist sein denkbar einfacher Zugang zu Retrieval-Augmented Generation (RAG), also der Technik, bei der ein LLM Ihre Dokumente abfragt, bevor es Fragen beantwortet. So vermeiden Sie Halluzinationen und bringen Modelle dazu, ihre Quellen tatsächlich zu nennen.
Der gesamte Workflow:
python
from onprem import LLM
llm = LLM('ollama/llama3.2')
llm.ingest('/path/to/your/documents')
result = llm.ask('What did the Q3 report say about revenue?')Das war’s. Drei Zeilen. Das System zerlegt Ihre Dokumente in Abschnitte, baut eine Vektordatenbank auf (dense oder sparse, Sie haben die Wahl) und beantwortet Fragen mit Quellenangaben. Sie müssen nicht an Embeddings herumfummeln, keine Prompts von Hand bauen und brauchen kein Doktorat in Informatik.
Im Hintergrund übernimmt OnPrem.LLM das Parsen der Dokumente (auch Tabellen und gescannte PDFs per OCR), die semantische Suche und den Aufbau der Prompts. Für Power-User gibt es Stellschrauben: eigene Chunking-Strategien, Markdown-fähiges Parsen, das die Struktur besser erhält, und Tabellenextraktion mit Transformer-Modellen. Die Standardeinstellungen funktionieren aber erstaunlich gut.
Diese Einfachheit heißt nicht, dass wenig dahintersteckt. Unter der Haube bietet OnPrem.LLM erstaunlich viel Tiefe.
Die Funktionen, auf die es wirklich ankommt
Über einfache Fragen und Antworten hinaus bringt OnPrem.LLM wirklich nützliche Fähigkeiten mit:
Zusammenfassung von Dokumenten: Map-Reduce- oder konzeptbezogene Zusammenfassungen, die auch PDFs mit mehr als 100 Seiten bewältigen. Sie wollen alles wissen, was ein Forschungspapier über „Quantenverschränkung“ sagt? Ein Funktionsaufruf genügt.
Informationsextraktion: Holen Sie strukturierte Daten aus unstrukturiertem Text. Extrahieren Sie Namen, Datumsangaben, Dollarbeträge oder alles andere, was über Tausende von Seiten hinweg zu einem Muster passt. Das ist besonders nützlich für die Vertragsanalyse oder die Einhaltung regulatorischer Vorgaben.
Few-Shot-Klassifikation: Trainieren Sie Textklassifikatoren mit nur 5 Beispielen pro Kategorie und erreichen Sie 98 % Genauigkeit. Riesige gelabelte Datensätze brauchen Sie dafür nicht.
Strukturierte Ausgaben: Zwingen Sie das LLM mit Pydantic-Modellen oder Regex-Vorgaben, Daten in einem bestimmten Format zurückzugeben. Sehr praktisch für nachgelagerte Automatisierung, bei der Freitext nicht in Frage kommt.
Agentenbasierte Workflows: Verketten Sie mehrstufiges Schlussfolgern und den Einsatz von Tools. Denken Sie an „analysiere diese Webseite und extrahiere die Preisangaben“, ohne dass Sie etwas von Hand skripten müssen.
Der Realitätscheck bei der Leistung
Lokale LLMs können mit GPT-4 oder Claude nicht mithalten, das muss man klar sagen. Sie sind kleiner, sie halluzinieren mehr, und bei komplexem Schlussfolgern tun sie sich schwer. Aber für viele Anwendungsfälle in Unternehmen (Dokumentensuche, Informationsextraktion, einfache Klassifikation, Zusammenfassungen) sind sie „gut genug“, besonders wenn die Alternative wäre, KI gar nicht nutzen zu können.
In der Praxis beantwortet ein Modell mit 7 Milliarden Parametern, das über Ollama auf einer Consumer-GPU läuft (etwa einer NVIDIA RTX 4060), Fragen zu 20-seitigen PDFs in unter zehn Sekunden. Für die tägliche Analysearbeit ist das schnell genug. Das Einlesen geht mit Sparse-Vektorspeichern noch schneller: Eine Sammlung von 100 Dokumenten ist in unter einer Minute indexiert. Für produktive Workloads mit höherem Durchsatz kann vLLM Modelle mit der 10-fachen Geschwindigkeit üblicher Inferenz-Engines bereitstellen.
Die Fähigkeitslücke verkleinert das Toolkit durch die Unterstützung von Quantisierung. Aktuelle Modelle mit 8 Milliarden Parametern laufen, auf 4-Bit-Genauigkeit quantisiert, auf Consumer-GPUs mit 6 GB VRAM. Aus einem Mittelklasse-Laptop wird so eine brauchbare Plattform für Dokumentenanalyse. Das Performance-Tuning ist erstaunlich zugänglich: Setzen Sie n_gpu_layers=-1, um Ihre GPU zu nutzen, geben Sie store_type='sparse' an, wenn Sie schneller einlesen wollen und dafür etwas Retrieval-Qualität opfern, und passen Sie die Kontextfenster an Ihre Hardware an. Die Dokumentation erklärt diese Abwägungen tatsächlich, statt sie mit einer Handbewegung abzutun.
Wer braucht das eigentlich?
OnPrem.LLM spielt seine Stärken dort aus, wo Data Governance wichtiger ist als die absolute Modellqualität:
- Gesundheitswesen: Patientenakten, Forschungspapiere oder Daten aus klinischen Studien analysieren, ohne gegen HIPAA zu verstoßen
- Recht: Vertragsanalyse, Recherche in der Rechtsprechung, Prüfung der Einhaltung regulatorischer Vorgaben
- Finanzen: Eigene Analysen zu Handelsstrategien, Analyse von Kundendaten, regulatorisches Berichtswesen
- Öffentliche Verwaltung: Alles, was mit als geheim eingestuften oder sensiblen Informationen zu tun hat (die kürzlich ergänzte Unterstützung für AWS GovCloud deutet auf diesen Anwendungsfall hin)
- Forschung: Akademische Arbeit, die Datenschutz verlangt oder mit Datensätzen unter Sperrfrist arbeitet
Wertvoll ist es auch für kleinere Organisationen, die Enterprise-Verträge für Cloud-KI nicht rechtfertigen können. Ein Startup mit eigenen Daten und knappem Budget kann anspruchsvolle Dokumentenanalyse auf einem einzigen Server betreiben, statt Gebühren pro Token zu zahlen. Das allein kann für viele Firmen den Einrichtungsaufwand rechtfertigen.
Der Ökosystem-Ansatz
Interessant an OnPrem.LLM ist, wie weit es sich über einfaches Prompting hinaus entwickelt hat. Aktuelle Updates brachten die Integration von SharePoint (weil Unternehmen natürlich alles in SharePoint ablegen), die Unterstützung von Elasticsearch für semantische Suche in großem Maßstab und agentenbasierte Aufgabenlösung. Für nichttechnische Anwender gibt es eine eingebaute Web UI. Komplexe Analyse-Pipelines definieren Sie über YAML-Konfigurationen.
Genau diese langweilige Infrastrukturarbeit macht den Einsatz von KI erst möglich. Sexy ist das nicht (es gibt kein mit Buzzwords vollgestopftes Whitepaper über „revolutionäre Architekturen“), aber es löst echte Probleme für echte Anwender.
Die Haken
Kein Tool ist perfekt. OnPrem.LLM verlangt für Deployment und Wartung solides technisches Können. Sie müssen Modellquantisierung, Vektordatenbanken, GPU-Speicherverwaltung und Prompt Engineering verstehen. Die Flexibilität kostet Komplexität: Es gibt etwa sieben verschiedene Wege, ein Modell-Backend anzugeben. Das ist mächtig, kann aber verwirren.
Lokale LLMs bedeuten auch lokale Verantwortung. Sie verwalten die Modellgewichte, kümmern sich um Updates, überwachen die Leistung und schlagen sich um 3 Uhr früh mit dem gelegentlichen Fehler „CUDA out of memory“ herum. Viele Organisationen ziehen das der Abhängigkeit von der Cloud sogar vor, aber ohne Aufwand geht es nicht.
Wie bei den meisten offenen KI-Infrastrukturen müssen Sie mit dem einen oder anderen GitHub-Issue rechnen, mit Überraschungen bei der Modellkompatibilität oder damit, dass Sie llama-cpp-python mit bestimmten CMAKE-Flags neu bauen müssen. Die Dokumentation ist solide und die Community reagiert schnell, aber Sie bewegen sich trotzdem in den wilderen Ecken des KI-Ökosystems.
Das große Ganze
OnPrem.LLM steht für einen leisen, aber wichtigen Gegentrend in der KI: die Erkenntnis, dass nicht alles in der Cloud von jemand anderem laufen muss. KI-Fähigkeiten werden immer mehr zur Massenware (Modelle der GPT-4-Klasse können Sie inzwischen kostenlos herunterladen), und damit verlagert sich der Wettbewerbsvorteil auf die Kontrolle: Kontrolle über Ihre Daten, Kontrolle über die Kosten, Kontrolle über das Deployment.
Für Organisationen, denen das wichtiger ist als das allerneueste Modell, sind Tools wie OnPrem.LLM mehr als eine brauchbare Alternative. Sie sind die einzig vernünftige Wahl.
Das Projekt wird aktiv gepflegt (das letzte Update im August 2025 brachte die Unterstützung für AWS GovCloud), hat eine umfassende Dokumentation und löst echte Probleme, ohne dass ein Team von MLOps-Ingenieuren darauf aufpassen muss. In einer KI-Landschaft, die zunehmend von geschlossenen Plattformen und Vendor Lock-in beherrscht wird, ist das eine Feier wert.
OnPrem.LLM ist Open Source und auf GitHub unter einer Apache-2.0-Lizenz verfügbar. Die vollständige Dokumentation und die Installationsanleitung finden Sie auf der Dokumentationsseite des Projekts.
Aus dem Englischen übersetzt: zum Originalbeitrag