security

Das Sicherheitsdesaster der Open-Source-Agenten ist das Beste, was Anthropic und OpenAI je passiert ist

21 Aufrufe 15 Minuten

Irgendwo in einem Sicherheitslabor von Cisco lassen Forschende ein Werkzeug namens Skill Scanner über die beliebtesten Downloads auf ClawHub laufen, dem Skill-Marktplatz für das Open-Source-Framework für KI-Agenten OpenClaw. Einer davon, ein Skill namens „What Would Elon Do?“, liefert neun Sicherheitsbefunde, darunter zwei kritische und fünf mit hohem Schweregrad. Der Skill ist nach Einschätzung von Cisco funktional nicht von Malware zu unterscheiden: Er weist den Agenten an, unbemerkt einen curl-Befehl auszuführen, der Daten an einen externen Server schickt, und hebelt mit einer direkten Prompt Injection die Sicherheitsrichtlinien des Agenten aus.

Im ganzen Internet tauscht eine rasch wachsende Nutzerschaft (Schätzungen gehen über Installationen und verknüpfte Dienste hinweg in die Hunderttausende, gestützt auf Wachstumssignale, von denen mehrere Forschende berichten) ihre API Keys aus, löscht Installationen und steht vor einer sehr unangenehmen Frage: Hat der autonome Assistent, dem sie Zugriff auf E-Mail, Kalender und Terminal gegeben hat, wochenlang unbemerkt Daten abgezogen?

Zusammengenommen zeichnen die Enthüllungen das Bild dessen, was Sicherheitsforschende zunehmend als systemisches Versagen beschreiben, und zwar nicht eines einzelnen Produkts, sondern autonomer KI-Agenten, die ohne ausreichende Schutzmaßnahmen in feindlichen Umgebungen arbeiten. Aus einem anderen Blickwinkel ist es auch der wertvollste Feldtest autonomer KI-Agenten, den die Branche je hervorgebracht hat. Und die Unternehmen, die von den daraus gewonnenen Erkenntnissen am ehesten profitieren, mussten dafür selbst keine einzige unsichere Codezeile ausliefern.

Was passiert ist

Die Chronologie der Enthüllungen aus den vergangenen zwei Wochen ist bemerkenswert dicht.

Am 28. Jänner hat das AI Threat and Security Research Team von Cisco Erkenntnisse veröffentlicht, die eine Reihe von Angriffsvektoren gegen OpenClaw dokumentieren. OpenClaw ist ein persönlicher Open-Source-KI-Assistent, früher bekannt als Clawdbot, dann als Moltbot, und hat seit dem Start im November 2025 über 150.000 GitHub-Sterne gesammelt. Das Tool Skill Scanner des Teams kombiniert statische Analyse, Verhaltensanalyse, LLM-gestützte semantische Analyse und eine VirusTotal-Integration. Damit zeigte es, wie Skills auf dem ClawHub-Marktplatz Agenten anweisen können, Daten abzuziehen, Prompts einzuschleusen und beliebige Befehle auszuführen, während sie scheinbar legitime Funktionen bieten.

Am 2. Februar kamen gleich zwei große Enthüllungen auf einmal. Forschende von Wiz machten bekannt, dass die gesamte Supabase-Produktionsdatenbank von Moltbook, dem sozialen Netzwerk, in dem OpenClaw-Agenten autonom interagieren, öffentlich zugänglich war. Gal Nagli, Head of Threat Exposure bei Wiz, griff in unter drei Minuten auf die Datenbank zu. Das Ausmaß war enorm: 1,5 Millionen API-Authentifizierungs-Token, 35.000 E-Mail-Adressen von Nutzern und über 4.000 private Nachrichten zwischen Agenten, viele davon mit OpenAI- und AWS-API-Keys im Klartext, die Nutzer im Chat mit ihren Agenten geteilt hatten. Naglis Analyse der offengelegten Datenbank legte außerdem nahe, dass hinter den 1,5 Millionen Agenten, die Moltbook für sich reklamierte, rund 17.000 menschliche Konten standen. Um zu zeigen, wie schwach diese Kontrollen waren, erzeugte er mit einem einzigen Skript 500.000 gefälschte Konten, ohne auf Rate Limits oder eine Verifizierung zu stoßen.

Am selben Tag veröffentlichte Bernardo Quintero von VirusTotal eine Analyse, für die bereits über 3.000 OpenClaw-Skills gescannt worden waren. Hunderte davon zeigten bösartige Merkmale. VirusTotal traf dabei eine Unterscheidung, die zählt: Manche Skills wurden wegen schlechter Sicherheitspraktiken markiert, wie sie für vibe-gecodete Software typisch sind (unsichere API-Nutzung, fest einkodierte Secrets, überzogene Berechtigungen). Eine zweite, alarmierendere Kategorie bestand aber aus Skills, die klar und absichtlich bösartig waren, von Grund auf dafür gebaut, über eine scheinbar legitime Oberfläche Malware auszuliefern.

Das auffälligste Beispiel war ein einzelnes ClawHub-Konto namens „hightower6eu“, das über 300 Skills veröffentlicht hatte, getarnt als nützliche Werkzeuge für Krypto-Analysen, Finanztracking und Social-Media-Analyse. Alle wurden als bösartig identifiziert. Die Skills selbst enthielten fast keinen Code. Statische Scanner sahen vor allem Text und Metadaten, aber keine ausführbare Nutzlast. Was die Skills dagegen enthielten, waren Anweisungen: In der Datei SKILL.md, die der KI-Agent liest und befolgt, wurden Nutzer aufgefordert, als „Setup“-Schritt externe Binärdateien herunterzuladen und auszuführen. Unter Windows hieß das: ein passwortgeschütztes ZIP mit einer trojanisierten ausführbaren Datei. Unter macOS führte die Anweisung zu einem mit Base64 verschleierten Shell-Skript auf glot.io, das nach dem Dekodieren eine Mach-O-Binärdatei herunterlud und ausführte. 16 Security-Engines identifizierten sie als Atomic Stealer (AMOS), einen bekannten macOS-Infostealer, der Passwörter, Browser-Zugangsdaten und Krypto-Wallets abgreift.

Die Analyse von VirusTotal kommt zu dem Schluss: Nichts in der Datei ist für sich genommen technisch gesehen Malware. Die Malware ist der Workflow, also die Abfolge natürlichsprachlicher Anweisungen, die funktional zur Auslieferungskette wird, sobald ein KI-Agent mit Systemzugriff ihnen folgt.

Dieser Satz trifft etwas Grundlegendes an der Sicherheitslage von KI-Agenten. Die Angriffsfläche besteht nicht mehr nur aus Code im herkömmlichen Sinn. Ein wachsender Teil davon sind natürlichsprachliche Anweisungen, die ein KI-Agent mit Rechten auf Systemebene interpretiert und ausführt. Eine SKILL.md-Datei ist ein Textdokument. Funktional ist sie auch ein ausführbares Programm.

Am 5. Februar hat Snyk einen ergänzenden Scan des gesamten ClawHub-Marktplatzes veröffentlicht: 283 von rund 4.000 Skills, etwa 7,1 Prozent, enthalten Fehler, die sensible Zugangsdaten preisgeben. Beliebte Skills wie moltyverse-email und youtube-data weisen Agenten an, API Keys und Passwörter im Klartext durch das Kontextfenster des LLM zu reichen.

OpenClaw-Gründer Peter Steinberger reagierte mit der Ankündigung einer Partnerschaft mit VirusTotal. Jeder auf ClawHub veröffentlichte Skill wird jetzt automatisch mit der Funktion Code Insight von VirusTotal gescannt. Sie nutzt Gemini, um aus Sicherheitssicht zu analysieren, was ein Skill tatsächlich tut: ob er externen Code herunterlädt, auf sensible Daten zugreift oder Anweisungen enthält, die den Agenten zu unsicherem Verhalten drängen könnten. Als harmlos eingestufte Skills werden automatisch freigegeben, verdächtige bekommen einen Warnhinweis, und alles, was als bösartig markiert wird, wird blockiert. Alle aktiven Skills werden täglich neu gescannt. Steinberger sprach offen über die Grenzen: „Sicherheit heißt Defense in Depth. Das ist eine Schicht. Weitere kommen.“

Die Erkenntnisse von Cisco gehen aber über verseuchte Marktplätze hinaus. Die Forschenden dokumentierten sogenannte Sleeper-Agent-Angriffe: bösartige Anweisungen, die in den persistenten Speicherdateien eines Agenten (etwa MEMORY.md) platziert werden und ruhen, bis ein bestimmtes Triggerwort im Gespräch fällt. OpenClaw speichert zusammengefasste Interaktionsverläufe, die das Modell in neuen Sessions wieder interpretiert, in der Regel ohne Integritätsprüfung der gespeicherten Inhalte. Deshalb kann ein Angreifer Anweisungen einbetten, die erst auftauchen, wenn Tage oder Wochen nach der ursprünglichen Injection ein bestimmtes Thema oder Stichwort zur Sprache kommt. Die Forschenden dokumentierten außerdem Techniken, mit denen Agenten über ihre vorgesehenen Laufzeitgrenzen hinaus agieren, und zwar nicht durch neue Privilegien auf OS-Ebene, sondern durch den Missbrauch bereits erteilter Berechtigungen, um auf Ressourcen außerhalb des vorgesehenen Geltungsbereichs zuzugreifen. Dazu kommt das Abgreifen von Zugangsdaten über die verbundenen Dienste des Agenten hinweg.

Das Muster hinter diesen Enthüllungen ist mehr als die Tatsache, dass OpenClaw Schwachstellen hat. Jede dieser Schwachstellen entspringt denselben Designannahmen: dass weitreichender Systemzugriff für nützliche Agenten ein akzeptabler Standard ist, dass Skill-Dateien in natürlicher Sprache harmlos sind, dass von Nutzern im Gespräch mitgeteilte Zugangsdaten flüchtig sind und dass persistenter Speicher ein Feature ist und keine Angriffsfläche. Zusammengenommen definieren diese Annahmen das Bedrohungsmodell nicht nur von OpenClaw, sondern von autonomen KI-Agenten als Kategorie. Der gemeinsame Nenner all dieser Vorfälle ist der Zusammenbruch von Grenzen: Nicht vertrauenswürdige Eingaben werden zu Anweisungen, Erweiterungen zu einer Lieferkette, Speicher zu zustandsbehafteter Malware und Secrets zu Chat-Artefakten.

Das ungewollte Red Team

Es gibt ein Muster, das öffentlich selten angesprochen wird, aber immer deutlicher wird, wenn Sie sich die Anreizstruktur ansehen: Die Open-Source-Community rund um Agenten funktioniert als groß angelegtes, unbezahltes Sicherheitsforschungsprogramm für die kommerzielle KI-Branche.

Überlegen Sie, was Anthropic, OpenAI oder Google tun müssten, um gleichwertige Threat Intelligence zu sammeln. Sie müssten autonome Agenten mit minimalen Leitplanken in reale Umgebungen ausrollen, sie mit echten Zugangsdaten und Diensten von Nutzern verbinden, sie echten Angreifern mit handfesten finanziellen Motiven aussetzen und jeden auftretenden Angriffsvektor akribisch katalogisieren. Und das in großem Maßstab: über Hunderttausende Installationen, über Messaging-Plattformen, Cloud-Anbieter und Betriebssysteme hinweg.

Kein kommerzielles KI-Unternehmen könnte dieses Experiment absichtlich durchführen. Das Reputations- und Haftungsrisiko wäre untragbar. Genau das passiert aber faktisch von selbst im OpenClaw-Ökosystem. Die Nutzer tragen den Diebstahl ihrer Zugangsdaten und die Kompromittierung ihrer Systeme. Das Open-Source-Projekt trägt den Reputationsschaden: Gary Marcus nannte OpenClaw am 2. Februar auf seinem Substack „im Grunde ein waffenfähig gemachtes Aerosol“. Andrej Karpathy, der Moltbook anfangs als „das Unglaublichste in Richtung Sci-Fi-Takeoff, was ich in letzter Zeit gesehen habe“ gelobt hatte, vollzog am selben Tag die Kehrtwende, nannte es „einen brennenden Müllcontainer“ und riet dringend davon ab, solche Systeme leichtfertig zu betreiben.

Und die Sicherheitserkenntnisse, öffentlich gemacht über Blogposts, GitHub-Repositories, CVE-Datenbanken und Konferenzvorträge, fließen frei in die Wissensbasis jedes Unternehmens, das kommerzielle Agenten baut. Aus Sicht des Ökosystems wandern die Lehren aus diesen Fehlschlägen unweigerlich flussaufwärts. Jeder Bericht von Cisco, jede Enthüllung von Wiz, jede Analyse von VirusTotal ist ein Kapitel im Threat-Intelligence-Handbuch, das mitbestimmt, wie Anthropic die Tool-Use-Architektur von Claude entwirft, wie OpenAI Codex-Skills strukturiert und wie Google seine Agenten-Integrationen härtet.

Die ökonomische Struktur ist asymmetrisch. Die Kosten der Entdeckung (kompromittierte Zugangsdaten, offengelegte API Keys, Einbrüche auf Systemebene) tragen einzelne Nutzer und die Open-Source-Community. Der Wert dieser Entdeckung, nämlich praxiserprobte Threat Intelligence über reale Angriffsvektoren gegen autonome Agenten, fällt überproportional den finanzstarken kommerziellen Laboren zu, die diese Lehren einarbeiten können, bevor sie ihre eigenen Produkte ausliefern.

Böswillig muss das nicht sein. Strukturell ist es aber schon. Und es erinnert an ein Muster, das es schon einmal gab.

Der Präzedenzfall

Anfang der 2000er-Jahre waren es Open-Source-Projekte und ihre Communitys, die die Hauptlast der Internet-Sicherheitsforschung trugen. Die in Apache, OpenSSL und dem Linux-Kernel entdeckten Schwachstellen verbesserten nicht nur diese Projekte, sondern prägten die Sicherheitsarchitektur jedes kommerziellen Produkts, das auf dem Internet-Stack aufbaute. Als 2014 die Heartbleed-Schwachstelle in OpenSSL bekannt wurde, war damit nicht einfach ein Fehler in einer Bibliothek behoben. Sie löste ein grundlegendes Umdenken darüber aus, wie die Branche mit Speichersicherheit und dem Design kryptografischer Bibliotheken umgeht, und führte über Initiativen wie die Core Infrastructure Initiative zu deutlich mehr Geld für Open-Source-Sicherheit.

Bei KI-Agenten läuft es ähnlich, nur komprimiert von Jahren auf Wochen. OpenClaw kam von der Open-Source-Veröffentlichung in rund sechzig Tagen auf über 150.000 GitHub-Sterne. Angriffstechniken werden in einem Tempo entwickelt, eingesetzt und entdeckt, das die interne Sicherheitsforschung jeder einzelnen Organisation überholt.

Der entscheidende Unterschied zu früheren Open-Source-Sicherheitszyklen: Damals lagen die Schwachstellen in Infrastruktur, die Open-Source- und kommerzielle Produkte direkt teilten. Alle setzten OpenSSL ein. Bei KI-Agenten lassen sich die Sicherheitslehren übertragen (Prompt-Injection-Muster, Angriffe auf die Skill-Lieferkette, Fehler im Umgang mit Zugangsdaten, das Ausnutzen von persistentem Speicher), die Implementierungen aber nicht. Kommerzielle Labore können jede Fehlerart studieren und andere Systeme bauen, die genau diese Fehler vermeiden, ohne ihre eigenen Nutzer je diesen Risiken ausgesetzt zu haben.

Was das für die Sicherheit kommerzieller Agenten bedeutet

Die im OpenClaw-Ökosystem dokumentierten Schwachstellen lassen sich direkt auf die Designentscheidungen übertragen, die kommerzielle Agentenplattformen gerade treffen.

Prompt Injection über externe Datenquellen, also der Mechanismus, mit dem ein bösartiges Dokument oder eine Nachricht das Verhalten eines Agenten kapert, ist eine Schwachstellenklasse, die jeden Agenten betrifft, der nicht vertrauenswürdige Eingaben verarbeitet. Der Schweregrad unterscheidet sich je nach Architektur deutlich: Vollständig autonome lokale Agenten mit Shell-Zugriff stehen an einem Extrem, gehostete Agenten, die über Tool-APIs mit Capability-Sandboxing arbeiten, haben ein spürbar anderes Risikoprofil. Der zugrunde liegende semantische Angriffsvektor ist aber derselbe, und OpenClaw zeigt in großem Maßstab, wie echte Angreifer ihn im Produktivbetrieb ausnutzen.

Verseuchte Lieferketten über Skill-Marktplätze sind das Feld, auf dem die Befunde von VirusTotal besonders lehrreich sind. Die Unterscheidung zwischen fahrlässig unsicheren Skills (vibe-gecodet ohne Sicherheitsmodell) und absichtlich als Waffe gebauten Skills (die hightower6eu-Kampagne) zeigt zwei verschiedene Angriffsflächen, die verschiedene Antworten brauchen. Automatisierte Scans erwischen die zweite Sorte, irgendwann. Die erste ist langfristig wohl gefährlicher, weil sie ein Grundrauschen an Ausnutzbarkeit erzeugt, das versierte Angreifer bei Gelegenheit nutzen können. Jede Plattform, die ein Erweiterungs-Ökosystem aufbaut, muss sich um beide kümmern.

Die Preisgabe von Zugangsdaten über den Gesprächsverlauf, der Mechanismus, durch den 1,5 Millionen API Keys in der Datenbank von Moltbook landeten, bestätigt den Grundsatz, dass Secrets zur Laufzeit über Umgebungsvariablen eingespeist werden sollten und nie durch das Kontextfenster eines LLM laufen dürfen. Der Fall Moltbook zeigt, wie dieses Versagen in großem Maßstab aussieht, wenn Nutzer das ignorieren.

Verzögerte Aktivierung über persistenten Speicher, wohl der folgenreichste Befund, ist für jeden kommerziellen Agenten besonders relevant, der über Sessions hinweg Zustand hält. Wenn sich Anweisungen platzieren lassen, die ruhen, bis eine Trigger-Bedingung eintritt, gerät die Annahme ins Wanken, man könne das Verhalten eines Agenten zum Zeitpunkt der Interaktion bewerten. Das erfordert laufende Überwachung des gespeicherten Zustands, und dieses Problem wird schwieriger, je ausgefeilter Speichersysteme werden.

Was das für Unternehmen bedeutet

Für Organisationen, die den Einsatz von KI-Agenten prüfen, liefert die Lage rund um OpenClaw eine Warnung und einen Rahmen zugleich.

Die Warnung ist simpel: Die Angriffsfläche autonomer KI-Agenten ist breiter und tiefer, als den meisten Organisationen bewusst ist. Prompt Injection, die Kompromittierung der Skill-Lieferkette und das Abgreifen von Zugangsdaten über den Gesprächsverlauf sind keine theoretischen Risiken. Sie sind dokumentiert, reproduzierbar und werden aktiv ausgenutzt.

Die praktischen Lehren sind ebenso klar. Bauen Sie Fähigkeiten intern auf, statt sie von nicht vertrauenswürdigen Marktplätzen zu beziehen: Die gesamte ClawHub-Kompromittierung spricht dafür, Skills im eigenen Haus zu entwickeln, wo Sie jede Anweisung kontrollieren, der Ihr Agent folgt. Behandeln Sie Gesprächsprotokolle als sensible Daten, denn alle Zugangsdaten und proprietären Informationen, die durch das Kontextfenster eines Agenten laufen, sind potenziell zugänglich. Betreiben Sie Agenten in sauber isolierten Umgebungen mit minimalen Berechtigungen, denn Container-Isolation allein hat sich als unzureichend erwiesen. Und bauen Sie die Fähigkeit auf, persistenten Speicher auf Injection zu überwachen. Das haben die meisten Organisationen noch nicht, brauchen es aber dringend.

Für Organisationen, die Agentensysteme bauen oder ausrollen, ergibt sich aus den OpenClaw-Enthüllungen ein minimaler Sicherheits-Stack, der über einzelne Plattformen hinaus gilt: capability-basierte Tool-APIs, die Zugriff standardmäßig verweigern, statt ihn zu gewähren; strikte Isolation von Secrets, bei der Zugangsdaten zur Laufzeit eingespeist werden und nie ins Kontextfenster des LLM gelangen; Tainting nicht vertrauenswürdiger Eingaben, das Anweisungen von Daten trennt, bevor das Modell sie verarbeitet; signierte Skills mit reproduzierbaren Builds und Herkunftsprüfung für jeden Erweiterungs-Marktplatz; und Integritätsprüfungen des Speichers mit Diff-Alarmen, die unerwartete Änderungen am gespeicherten Agentenzustand zwischen Sessions melden.

Kommerzielle Agentenplattformen sind gegen diese Schwachstellenklassen übrigens nicht immun. Die MCP-Spezifikation von Anthropic wurde anfangs ohne Authentifizierung ausgeliefert, und bei Referenzimplementierungen von MCP-Servern wurden Path-Traversal-Schwachstellen bekannt. Der Unterschied liegt im Grad und in der Exposition, nicht im grundlegenden Design. Jeder ausreichend fähige Agent, der über Vertrauensgrenzen hinweg arbeitet, wird mit Varianten dieser Bedrohungen konfrontiert sein.

Die Frage der Verpflichtung

Das Ganze hat eine unangenehme ethische Seite, die ausgesprochen gehört. Die OpenClaw-Nutzer, deren Zugangsdaten offengelegt wurden, haben sich nicht als Versuchspersonen für das Sicherheitsforschungsprogramm der KI-Branche gemeldet. Sie haben zu einem Werkzeug gegriffen, weil es spannend und wirklich nützlich war, weil OpenClaw, wie Cisco selbst einräumte, von den Fähigkeiten her bahnbrechend ist. Der Zielkonflikt zwischen Fähigkeit und Sicherheit ist kein Bug im System, sondern die grundlegende Spannung im Kern agentischer KI.

Die Unternehmen, die von diesen unfreiwilligen Feldtests am ehesten profitieren, haben zumindest ein Interesse daran, das Open-Source-Sicherheitsökosystem zu stärken, das diese Erkenntnisse hervorbringt. Der Skill Scanner von Cisco, als Open Source verfügbar, ist ein Beitrag. Die Partnerschaft mit VirusTotal ist ein weiterer. Das Ökosystem braucht aber mehr: standardisierte Sicherheits-Frameworks für Agent Skills, geprüfte Erweiterungs-Marktplätze mit echter Verifizierung über automatisierte Scans hinaus und vor allem Agentenarchitekturen, die von Haus aus sicher sind, statt Sicherheit als optionale Schicht zu behandeln, die Nutzer selbst konfigurieren müssen.

Die Open-Source-Community rund um Agenten erzeugt unschätzbar wertvolle Threat Intelligence, zu hohen persönlichen Kosten für ihre Mitglieder. Die kommerzielle KI-Branche steht vor der Frage, ob sie einen ernsthaften Beitrag zur Sicherheitsinfrastruktur leistet, die diese Menschen schützt, oder ob sie einfach die Lehren übernimmt und weiterzieht.

Quellen:

Aus dem Englischen übersetzt: zum Originalbeitrag

Gestalten Sie die Zukunft Ihres Unternehmens mit KI

Tauchen Sie ein in unsere spannenden Workshops und rüsten Sie Ihr Team mit den Werkzeugen und dem Wissen aus, um im Zeitalter der KI führend zu sein.

Kontaktieren Sie uns
Scroll to top