Claude 3.5 Sonnet von Anthropic bringt eine neue Funktion mit: Das Modell kann über einen Ansatz namens „Computer Use“ eine Benutzeroberfläche steuern. Die Funktion ist derzeit in der Beta-Phase und erlaubt dem Modell, ähnlich wie ein menschlicher Benutzer mit Computer-Desktops umzugehen. Für die Fähigkeiten von KI ist das ein deutlicher Sprung.
Computer Use
Herkömmliche Large Language Models (LLMs) arbeiten vor allem innerhalb einer textbasierten Oberfläche und können auf die Prompts der Benutzer nur mit Text antworten. Claude 3.5 Sonnet durchbricht diese Grenze: Das Modell kann grafische Benutzeroberflächen (GUIs) wahrnehmen und bedienen und schlägt damit im Grunde die Brücke zwischen der digitalen Welt und dem Verständnis der KI.
Die Mechanik der Steuerung
„Computer Use“ beruht auf einer Kombination ausgefeilter Technologien, darunter Computer Vision und eine eigens dafür entwickelte API. Vereinfacht läuft es so ab:
- Tools und Prompts: Entwickler stellen Claude eine Reihe vordefinierter „Computer-Use-Tools“ zur Verfügung, von denen jedes für eine bestimmte Aktion in einer GUI-Umgebung gedacht ist. Zusammen mit den Prompts der Benutzer liefern diese Tools Claude die nötigen Anweisungen und den Kontext. Ein Tool könnte zum Beispiel definiert sein als „auf einen Button klicken“ oder „Text in ein Feld eingeben“.
- Auswahl und Ausführung der Tools: Claude analysiert den Prompt und entscheidet, welches Tool am besten zur jeweiligen Aufgabe passt. Dann formuliert es eine strukturierte Anfrage, um das gewählte Tool auszuführen.
- Externe Ausführung und Feedback: Diese Anfrage geht an ein externes System, typischerweise eine containerisierte Umgebung wie Docker, in der die eigentlichen Implementierungen der Tools liegen. Das externe System führt das Tool aus und damit die angeforderte Aktion auf einem Computer.
- Auswertung des Ergebnisses und Iteration: Das Ergebnis der Ausführung wird erfasst und an Claude zurückgegeben, meist als Screenshot oder als Feedback in Textform. Claude verarbeitet diese Rückmeldung und entscheidet, ob die Aufgabe erledigt ist oder weitere Aktionen nötig sind.
Dieser Kreislauf, der sogenannte „Agent Loop“, läuft weiter, bis Claude die Aufgabe als erledigt einstuft.
Fähigkeiten und Beispiele
Mit diesem „Computer Use“-Framework kann Claude 3.5 Sonnet eine Reihe von Aufgaben erledigen, die für LLMs bisher unmöglich waren, darunter:
- Navigation auf Websites: Claude kann Websites durchstöbern, auf Links klicken und Webformulare bedienen.
- Bedienung von Anwendungen: Das Modell kann verschiedene Desktop-Anwendungen starten und steuern, darunter Office-Pakete und Webbrowser.
- Informationen sammeln: Claude kann Daten aus Websites, Dokumenten und Tabellenkalkulationen extrahieren.
- Automatisierung von Aufgaben: Wiederkehrende Aufgaben wie Dateneingabe oder das Ausfüllen von Formularen lassen sich automatisieren, weil Claude GUIs interpretieren und bedienen kann.
Praktische Anwendungen und Potenzial
Die Folgen dieser Technologie sind enorm: Sie könnte von Grund auf verändern, wie wir mit Computern umgehen und Aufgaben automatisieren. Mögliche Anwendungen sind unter anderem:
- Geschäftsprozesse verschlanken: Monotone Büroarbeiten automatisieren, etwa das Erstellen von Berichten oder das Bearbeiten von Rechnungen.
- Barrierefreiheit verbessern: Menschen mit Behinderungen können Computer per Sprachbefehl oder über alternative Eingabemethoden bedienen und steuern.
- Software personalisieren: Oberflächen und Abläufe von Software an die Bedürfnisse und Vorlieben einzelner Benutzer anpassen.
Grenzen und weitere Entwicklung
Man muss dazusagen, dass „Computer Use“ noch in den Kinderschuhen steckt. Die Quellen nennen mehrere Einschränkungen, darunter:
- Latenz: Die Interaktion kann derzeit langsam sein, was den Einsatz in zeitkritischen Situationen einschränkt.
- Genauigkeit und Zuverlässigkeit: Claudes Computer-Vision-Fähigkeiten sind nicht perfekt und können zu Fehlern bei der Bestimmung von Koordinaten oder beim Ausführen von Aktionen führen.
- Sicherheitsrisiken: Schwachstellen wie Prompt Injection, bei der in Inhalte eingebettete bösartige Anweisungen Claudes Verhalten beeinflussen können, geben Anlass zu Sicherheitsbedenken.
Anthropic arbeitet aktiv daran, diese Einschränkungen zu beheben und die Funktion zuverlässiger und sicherer zu machen.
Ein Blick in die Zukunft der KI
Trotz der aktuellen Einschränkungen ist „Computer Use“ in Claude 3.5 Sonnet ein deutlicher Fortschritt für die Fähigkeiten von KI und bringt uns einer Zukunft näher, in der KI nahtlos mit unserer digitalen Welt interagiert und sie erweitert. Wenn die Technologie ausgereift ist, könnte sie verändern, wie wir arbeiten, lernen und mit Technologie umgehen.
Aus dem Englischen übersetzt: zum Originalbeitrag