Ein KI-Berater erzählte Axios, einer seiner Kunden habe in einem einzigen Monat eine halbe Milliarde Dollar für Claude ausgegeben, nachdem niemand ein Nutzungslimit gesetzt hatte. Begegnen Sie der Zahl mit der Skepsis, die eine Anekdote aus zweiter Hand verdient. Die Ursache ist allerdings banal und verdient es, ernst genommen zu werden: Es gab keinen Deckel. Das ist kein Einzelfall. Microsoft hat den Großteil seiner internen Claude-Code-Lizenzen gekündigt, unter anderem wegen der Kosten, und KI-Tarife für Unternehmen sind, wie Axios anmerkt, nicht die All-you-can-eat-Angebote, nach denen sie aussehen. Die halbe Milliarde ist das grelle Extrem. Der Normalfall verläuft leiser, und das Versagen dahinter ist in beiden Fällen dasselbe: kein Deckel und kein Ort, an dem man einen anbringen könnte.
Nehmen Sie die Rechnung also als das, was sie ist: kein Preisproblem, das sich mit einem billigeren Modell oder einem besseren Tarif lösen ließe, sondern die erste Wirkung ungesteuerter Autonomie, die die Finanzabteilung sehen kann.
Die Einheit der Ausgaben hat sich geändert
Ein Jahrzehnt lang bedeuteten Softwarekosten Lizenzplätze: ein Abo mal Kopfzahl, ein Posten, den Sie ein Jahr im Voraus planen konnten. Die Kosten waren begrenzt, weil das, was sie verursachte, ein Mensch war. Agenten haben das beendet. Eine einzige Nutzeraktion fächert sich auf: Der Agent plant, holt Daten, ruft ein Tool auf, reflektiert, versucht es erneut und liest in jeder Runde seinen ganzen Kontext neu. Eine Aktion geht hinein, eine unbegrenzte Zahl von Aufrufen kommt heraus.
An einem Nachmittag habe ich acht Claude-Code-Instanzen auf ein einziges Repository angesetzt. Sie stimmten sich über ein gemeinsames Log ab, ohne Orchestrator über sich, härteten ein Tool, an dem ich gebaut hatte, und schrieben zusammen 7,2 Millionen Token Output. (Derselbe Lauf protokollierte über eine Milliarde Cache-Read-Token, aber das ist doppelt gezähltes erneutes Lesen pro Runde, und Token aus dem Cache sind die billigsten, die es gibt.) Sie machen keine Pause, langweilen sich nicht und merken nicht, dass sie teuer sind. Dem, was da Geld ausgibt, können Sie nicht sagen, dass es aufhören soll, denn es ist kein Jemand. Es ist ein Prozess, und ein Prozess hat kein Urteilsvermögen in Bezug auf sein eigenes Budget.
Mit meinem Abo war das kein Problem, und so dem Thema zu begegnen ist vermutlich am gefährlichsten: Was nichts kostet, hinterlässt keine Spur. Rechnen Sie es ab wie ein nutzungsbasiertes Konto, mit rund 25 Euro pro Million Token, und dieser Nachmittag kostet ein paar hundert Euro. Keine Millionen, keine Zahl, die jemand eskaliert. Lassen Sie aber Agenten an einer Handvoll kleiner Projekte an ein paar Nachmittagen pro Woche laufen, und diese unauffälligen Sessions summieren sich auf Tausende Euro im Monat, still eingesammelt, ohne dass eine einzelne Abbuchung groß genug wäre, um irgendwo Alarm auszulösen.
Das Verhalten in diesem Lauf war tadellos gesteuert, durch gemeinsame Regeln, die alle Agenten gelesen hatten. Die Ausgaben steuerte nichts. Das sind zwei verschiedene Achsen, und nur eine davon taucht auf der Rechnung auf.
Ein Dashboard sagt Ihnen, was schon verbrannt ist
Das Standardmittel gegen ausufernde Cloud-Kosten ist FinOps: jede Anfrage taggen, nach Team aufsummieren, jeder Gruppe zeigen, was sie verbrannt hat, und es weiterverrechnen. Sichtbarkeit hilft, aber sie ist keine Kontrolle. Ein Dashboard sagt Ihnen, was schon verbrannt ist: ein Obduktionsbericht, keine Sicherung. Bis sich ein Monat kleiner, vernünftig wirkender Sessions zu einer Zahl addiert, die man hinterfragen sollte, sind die Token verbraucht.
Autonome Ausgaben zu steuern heißt, die Entscheidung auf den Moment des Aufrufs zu verlegen: ihn abzulehnen, bevor das Geld weg ist, statt ihn danach zu verbuchen. Es gibt genau eine Stelle im Stack, die jeden Aufruf sieht, bevor er hinausgeht: das Gateway, einen Proxy zwischen Ihren Anwendungen und jedem Modellanbieter. Die ganze Branche ist bei derselben Form gelandet: ein einziger OpenAI-kompatibler Endpunkt, hinter dem sich jeder Anbieter austauschen lässt.
Diese Konvergenz ist ein Signal. Wenn ein Dutzend unabhängiger Produkte beim selben Nadelöhr landet, ist dieses Nadelöhr keine Mode, sondern der Ort, an dem Kontrolle sitzen muss. Deshalb ist das Gateway wichtig, nicht wegen seiner Feature-Liste: Es ist die einzige Schicht, die Nein sagen kann, bevor das Geld ausgegeben wird. Alles andere macht den Aufruf entweder selbst oder zählt ihn hinterher.
Was ein Deckel verlangt
Akzeptieren Sie, dass der Verursacher sich nicht selbst stoppen kann, dann ergeben sich die wichtigen Kontrollen von selbst. Sie alle greifen vor der Ausgabe, und zwar in der Granularität, in der heute ausgegeben wird.
Deckeln Sie Token, nicht Anfragen. Hier liegen die meisten Teams falsch. Anfragen sind nicht austauschbar: Ein einziger Aufruf mit 128.000 Token Kontext kann so viel kosten wie Dutzende gewöhnliche. Ein Limit, das Anfragen zählt, winkt genau die durch, die Ihr Konto leert. Messen Sie, was Ihnen verrechnet wird, und blockieren Sie an der Budgetgrenze.
Geben Sie virtuelle Keys aus, keine echten. Ein Agent sollte nie ein Secret des Anbieters in der Hand haben. Geben Sie ihm einen rotierenden Proxy-Key, der an ein Budget, ein Ablaufdatum und eine Liste erlaubter Modelle gebunden ist, und verwahren Sie die echten Zugangsdaten in einem Vault. Eine Leine, nicht die Schlüssel zum Gebäude.
Machen Sie Routing zur Policy, nicht zur Vorliebe. Sich selbst überlassen, greift ein Agent bei jedem Schritt zum stärksten Modell, auch bei den trivialen. Ein Gateway kann billige Arbeit an billige oder lokale Modelle schicken und die Frontier-Modelle für das aufheben, was sie verdient. Entscheidend ist, dass die Wahl dem Agenten aus der Hand genommen wird.
Prüfen Sie an der Grenze. Erkennen und schwärzen Sie Namen, Adressen und Kennungen, bevor ein Prompt hinausgeht, und führen Sie Audit-Logs, die die Regeln überdauern, denen Sie unterliegen. Ein Filter am Gateway begrenzt die Bytes, die hinausgehen. Ein Policy-Dokument begrenzt einen Menschen, und in einer Agenten-Pipeline sitzt kein Mensch an der Tastatur, den man begrenzen könnte.
Nichts davon ist exotisch. Es ist derselbe Instinkt, der Sie einen Agenten als unprivilegierten Benutzer statt als root laufen lässt: Sie begrenzen, worauf er zugreifen kann, weil Sie beschlossen haben, seinem Urteil nicht zu trauen. Das Gateway ist dieser Instinkt an der Netzwerkgrenze statt im Betriebssystem.
Gateways, die deckeln, und Gateways, die nur zusehen
Der Markt erfindet sich alle paar Monate neu, aber die Produkte lassen sich sauber nach der einzigen Frage sortieren, die zählt: Deckelt es die Ausgaben, bevor sie anfallen, oder meldet es sie nur hinterher? Die neuesten gehen übers Zählen hinaus. agentgateway, die Data Plane der Linux Foundation in Rust, parst den Request-Body im OpenAI-Format, zieht Modellnamen, Token-Zahlen und Tool-Aufrufe heraus und wendet Policies an, bevor der Aufruf hinausgeht. Der Deckel wird zum vollwertigen Feature.
| Gateway | Hosting | Am besten für | Deckelt Ausgaben, bevor sie anfallen? | Worauf Sie achten sollten |
|---|---|---|---|---|
| LiteLLM | Selbst gehostet, Open Source | Teams, die volle Kontrolle wollen und die Infrastruktur selbst betreiben | Ja: hierarchische Token-Budgets (RBAC/SSO nur in der Enterprise-Version) | Redis und Postgres betreiben Sie selbst |
| OpenRouter | Managed SaaS | Schnellster Einstieg zu Hunderten Modellen hinter einem Key | Ja: Guthaben- und Ausgabenlimits pro Key | Der Datenverkehr läuft über einen Dritten |
| Portkey | Managed / selbst hostbar | Governance-orientierte Betriebe, die SOC2/HIPAA und Budgets brauchen | Ja: virtuelle Keys mit Budgetdeckel (kostenpflichtige Tarife) | Analytics und Zugriffskontrolle stützen sich auf die SaaS-Schicht |
| Cloudflare AI Gateway | Managed, Edge | Teams, die schon auf Cloudflare sind und Caching und DLP wollen | Teilweise: Limits für die Anfragerate und Kostenanalysen, keine Token-Budgets | Die Ausgabenkontrolle ist gröber als pro Token |
| Vercel AI Gateway | Managed | Web-Stacks auf Vercel; Routing ohne Datenspeicherung | Teilweise: Ausgaben-Tracking und Rate Limits, DX-first | Teil der Vercel-Plattform, wird mit ihr abgerechnet |
| Helicone | Managed, Open-Source-Kern | Observability: jeden Aufruf im Detail sehen | Nein: nur Monitoring | Seit der Übernahme durch Mintlify im März 2026 im Wartungsmodus |
| Kong AI Gateway | Selbst gehostet / Enterprise | Bestehende Kong-Nutzer, die LLM-Verkehr wie jede andere API behandeln | Ja, aber Token-Limits gibt es nur in der Enterprise-Version | KI-Funktionen liegen hinter dem Enterprise-Tarif |
| Bifrost (Maxim AI) | Selbst gehostet, Open Source (Go) | Setups mit hohem Durchsatz, die Tempo und Governance brauchen | Ja: hierarchische Budgets für virtuelle Keys | Neuer; die Angabe „50-mal schneller als LiteLLM“ stammt von Maxim AI selbst |
| Eden AI | Managed | LLMs plus OCR, Sprache und Bildverarbeitung über eine API | Eingeschränkt: Kostenoptimierung über Routing | Breite über LLMs hinaus, weniger Tiefe bei Deckeln auf Token-Ebene |
| Agentgateway / kgateway | Selbst gehostet, Open Source (Linux Foundation) | Routing von Tool-Aufrufen und Agenten, nicht nur von Modellen | Ja: Budget- und Ausgabenkontrollen, dazu MCP und A2A | Auf Kubernetes ausgerichtet; zielt auf die Agenten-Schicht |
| LLM Gateway | Managed oder selbst gehostet | Eine einfache einheitliche API über viele Anbieter | Eingeschränkt: Kosten-Tracking und Routing | Schwächer bei Enterprise-Governance |
Das ist eine Landkarte für den Einstieg, keine Rangliste. Die veränderlichen Teile (Tarifgrenzen, aktive Entwicklung, genaue Limits) ändern sich schnell, prüfen Sie also zuerst den aktuellen Stand. Lesen Sie die Deckel-Spalte vor allen anderen: Ein Gateway, das Ausgaben nur beobachtet, ist ein hübscheres Dashboard, keine Sicherung. Helicone ist das warnende Beispiel: ein gut gebautes Observability-Gateway, das in den Wartungsmodus rutschte, nachdem Mintlify es übernommen hatte. Heute leistungsfähig heißt nicht morgen gewartet.
Die Schwelle ist der Durchsatz, nicht die Kopfzahl
Sie brauchen nicht immer eines. Die Grenze zieht nicht die Unternehmensgröße, sondern der Anteil Ihres Aufrufvolumens, der von Software statt von Menschen kommt. Für eine Assistenten-Integration und ein paar Menschen, die einen Knopf drücken, reicht ein Tarif pro Lizenzplatz. Ein einzelner Entwickler kann sogar einen Schwarm auf einem privaten Abo betreiben und nie eine Rechnung sehen, und genau deshalb lässt sich das nicht verallgemeinern. Sobald ein Unternehmen zentrale Budgets, Zuordnung und Schwärzung über Teams hinweg braucht, ist es in der nutzungsbasierten Abrechnung, wo jeder dieser erneuten Lesevorgänge gezählt und verrechnet wird.
Und das Gateway ist nicht gratis. Die Open-Source-Varianten kosten keine Lizenz, erwarten aber, dass Sie die Datenspeicher betreiben, auf die sie sich stützen. Die Managed-Varianten nehmen Ihnen diese Last ab und geben Ihnen dafür eine Abhängigkeit. Kosten zu steuern kostet selbst etwas, und wer so tut, als wäre es anders, bekommt die zweite Überraschung.
Wo der nächste Kampf stattfindet
Sobald die Durchsetzung am Gateway sitzt, zählt es nicht mehr nur, was Ihre Agenten tun. Es entscheidet, was sie ausgeben dürfen und, über seine Filter, was sie sagen dürfen. Das ist echte Macht an einem Ort, und damit ist die nächste Frage unausweichlich: Wer schreibt die Policy, unter der die Agenten laufen, und setzt sie eine Maschine durch, oder ist sie ein Absatz in einem Wiki, den alle einvernehmlich ignorieren?
Die Entwicklung ist schon weiter. Die schwierigen Probleme sind jetzt Agenten, die an andere Agenten delegieren und externe Tools aufrufen. Die Protokolle für diese Schicht (MCP für Agent-zu-Tool, A2A für Agent-zu-Agent, beide inzwischen unter dem Dach der Linux Foundation) standardisieren, wie Agenten Tools und einander erreichen, nicht aber, wer für ihr Tun bezahlt.
Das Gateway wird zu dem Ort, an dem ein Unternehmen entscheidet, was seine autonomen Systeme dürfen und was nicht. Deshalb lohnt es sich im ganzen Stack am meisten, es richtig zu machen, und am meisten, es zu kompromittieren. Zentrale Kontrolle ist der Sinn der Sache. Sie ist auch der nächste Kampf.
Aus dem Englischen übersetzt: zum Originalbeitrag