CaMeL erklärt: So wehrt es Prompt-Injection-Angriffe ab

Prompt-Injection-Angriffe sind eine ernste Bedrohung für KI-Assistenten, doch mit CaMeL gibt es einen Durchbruch: ein System, das sie durch seine Bauweise wirksam abwehrt. Forscher von Google, DeepMind und der ETH Zürich haben CaMeL entwickelt. Es nutzt bewährte Prinzipien der Softwaresicherheit, um große Sprachmodelle dort zu schützen, wo andere Ansätze scheitern. Hier erfahren Sie, wie es funktioniert und warum das wichtig ist.

Das Problem: Warum Prompt Injections uns alle angehen

Stellen Sie sich vor, Sie bitten Ihren KI-Assistenten: „Fasse den Bericht von der gestrigen Besprechung zusammen und schicke ihn per E-Mail ans Team.“ Klingt harmlos, oder? Enthält dieser Bericht aber versteckte bösartige Anweisungen (vielleicht von einem kompromittierten Benutzer eingefügt oder von einer Webseite übernommen), lässt sich Ihr Assistent womöglich dazu verleiten, sensible Daten an einen unbefugten Empfänger zu schicken oder andere unbeabsichtigte Aktionen auszuführen.

Je stärker LLMs in unsere Arbeitsabläufe eingebunden werden und auf E-Mails, Kalendereinträge und Unternehmensdokumente zugreifen, desto gefährlicher wird diese Schwachstelle. Das Forschungsteam stellte fest, dass selbst fortgeschrittene Modelle wie GPT-4o, Claude und Gemini mit herkömmlichen Abwehrtechniken für solche Angriffe anfällig bleiben.

So funktioniert CaMeL: Prinzipien der Softwaresicherheit treffen auf KI

Der Unterschied liegt im Ansatz. CaMeL versucht nicht, das KI-Modell selbst widerstandsfähiger gegen Angriffe zu machen (das hat sich als schwierig erwiesen), sondern legt eine schützende Systemschicht um das Modell. Die Forscher orientierten sich dabei an etablierten Konzepten der Softwaresicherheit:

1. Explizite Trennung: CaMeL verwendet zwei getrennte LLMs, ein Privileged LLM (P-LLM) und ein Quarantined LLM (Q-LLM). Das P-LLM sieht nur die ursprüngliche Anfrage des Benutzers und plant, welche Tools zum Einsatz kommen. Das Q-LLM verarbeitet potenziell gefährliche Daten, kann aber selbst keine Tools aufrufen.
2. Verfolgung von Kontroll- und Datenfluss: Das System verfolgt explizit, welche Aktionen ausgeführt werden (Kontrollfluss) und welche Daten zwischen den Komponenten weitergegeben werden (Datenfluss).
3. Capability-basierte Sicherheit: Jedes Datenstück trägt Metadaten („Capabilities“), die festlegen, was damit geschehen darf. Bei einem Dokument kann zum Beispiel vermerkt sein, wer es einsehen darf, sodass es nicht an unbefugte Empfänger gehen kann.
4. Durchsetzung von Richtlinien: CaMeL enthält einen eigenen Python-Interpreter, der auf Basis dieser Capabilities Sicherheitsrichtlinien durchsetzt und unbefugte Aktionen stoppt, bevor sie passieren.

Das Paper belegt die Wirksamkeit von CaMeL mit beeindruckenden Ergebnissen. Im AgentDojo-Benchmark, einem Standard zur Bewertung der Sicherheit von KI-Agenten, blockierte CaMeL fast 100 % der Angriffe und behielt dabei einen angemessenen Nutzwert. Das ist eine deutliche Verbesserung gegenüber anderen Abwehrmethoden.

Was das für Nutzer und Unternehmen bedeutet

Für Nutzer

Einzelne Nutzer können CaMeL zwar nicht sofort selbst einsetzen, sie sollten aber:

• Sicherheitsinformationen anfordern: Fragen Sie die Anbieter Ihrer KI-Tools nach ihrer Abwehr gegen Prompt Injections und ob sie Capability-basierte Sicherheit ähnlich wie bei CaMeL umgesetzt haben.
• Mit sensiblen Daten vorsichtig sein: Solange robuste Abwehrmechanismen wie CaMeL nicht Standard sind, wählen Sie genau aus, auf welche Daten KI-Assistenten zugreifen dürfen.
• Auf Berechtigungen achten: Bevorzugen Sie KI-Tools, die ausdrücklich um Erlaubnis fragen, bevor sie Daten teilen oder Aktionen ausführen, die gegen Sicherheitsrichtlinien verstoßen könnten.

Für Unternehmen

Organisationen, die KI-Systeme bauen, sollten Folgendes erwägen:

• Architekturen nach dem Vorbild von CaMeL umsetzen: Das Paper liefert einen Fahrplan für eine sicherere Infrastruktur von KI-Assistenten mit Capability-basierter Sicherheit.
• Feingranulare Sicherheitsrichtlinien entwickeln: Legen Sie klare Regeln fest, welche Daten in welchem Kontext geteilt und welche Aktionen ausgeführt werden dürfen.
• Die Benutzeroberfläche einbinden: Gestalten Sie Oberflächen, die klar zeigen, woher Informationen stammen, damit Nutzer mögliche Sicherheitsrisiken erkennen.
• Sicherheit und Benutzerfreundlichkeit ausbalancieren: Wie die Forscher anmerken, wird die richtige Balance zwischen Schutz und Nutzererlebnis (ohne „Sicherheitsmüdigkeit“) entscheidend für die Verbreitung sein.

Lässt sich CaMeL schon jetzt einsetzen?

Derzeit scheint es keine frei verfügbare öffentliche Implementierung von CaMeL zu geben, die Nutzer oder Entwickler einfach herunterladen und verwenden könnten. Das Paper „Defeating Prompt Injections by Design“ beschreibt das konzeptionelle Framework und die Evaluierungsergebnisse, erwähnt aber kein öffentliches Code-Repository und keine Implementierung.

Die Forschung ist recht neu (laut arXiv-Preprint März 2025), und bei akademischer Forschung dieser Art vergeht oft einige Zeit zwischen der Veröffentlichung der Ergebnisse und produktionsreifen Implementierungen. Außerdem sind Forscher von Google und Google DeepMind beteiligt, es könnten also auch unternehmerische Überlegungen eine Rolle spielen, wie und wann die Technologie verfügbar wird.

Da CaMeL einen eigenen Python-Interpreter und spezialisierte Komponenten zur Verwaltung der Capabilities erfordert, lässt es sich ohne erheblichen Entwicklungsaufwand nicht einfach umsetzen. Vermutlich würde es deshalb als komplettes System erscheinen und nicht bloß als Bibliothek oder einfache API.

Organisationen und Entwickler, die diese Sicherheitsprinzipien übernehmen wollen, müssen vorerst wohl auf eine offizielle Implementierung warten oder den konzeptionellen Ansatz mit eigener Entwicklung an ihre konkreten Anforderungen anpassen.

Der Weg nach vorn: Nicht perfekt, aber ein großer Schritt

Die Forscher sprechen erfreulich offen über die Grenzen von CaMeL. Seitenkanalangriffe bleiben möglich, und das System verlangt eine sorgfältige Implementierung und Definition der Richtlinien. Trotzdem ist ihr Ansatz ein deutlicher Fortschritt für die KI-Sicherheit, weil er durch die Bauweise schützt, statt darauf zu hoffen, dass Modelle lernen, sich selbst zu verteidigen.

Je stärker KI-Assistenten in unser digitales Leben eingebunden werden, desto eher werden Ansätze wie CaMeL zu unverzichtbaren Bestandteilen eines verantwortungsvollen KI-Deployments. Die Forscher hoffen, dass ihre „Security Engineering“-Denkweise auch bei anderen Herausforderungen der KI-Sicherheit hilft, über Prompt Injection hinaus.

Vorerst zeigt CaMeL, dass wir leistungsfähige KI-Assistenten und starke Sicherheitsgarantien zugleich haben können. Dazu muss die KI nicht selbst perfekt sicher sein (was vorerst wohl nicht praktikabel ist). Es reicht, um potenziell verwundbare Modelle herum Systeme zu bauen, die das Ganze robust machen.

 

Aus dem Englischen übersetzt: zum Originalbeitrag