Die digitale Automatisierung entwickelt sich laufend weiter, und doch klafft eine große Lücke zwischen dem, was Automatisierungstechnologien leisten könnten, und ihrem Einsatz in der Praxis. Moderne LLMs haben über Legacy-Apps auf Computern und Smartphones so gut wie keine Kontrolle: Sie können auf dem Desktop keinen Cursor bewegen, keinen Text in Felder eingeben und keine Apps starten. In diesem Bereich gibt es allerdings Fortschritte, denn die Forschung untersucht, wie sich Desktop-GUIs mit LLMs im Auftrag von autonomen Agenten steuern lassen.
Dieser Blogbeitrag sieht sich die vorderste Front der Automatisierung an. Dort geht es darum, Aufgaben zu automatisieren, und zwar nicht nur in Anwendungen, die für die Interaktion mit Agenten gebaut wurden, sondern in Anwendungen aller Art, egal wofür sie ursprünglich gedacht waren. Wir bewegen uns auf eine Zukunft zu, in der Agenten Aufgaben in jeder beliebigen Anwendung reibungslos erledigen. Das schließt die Automatisierungslücke und läutet eine neue Ära digitaler Effizienz ein.
Die Entwicklung digitaler Assistenten
Im Zentrum dieser technologischen Entwicklung stehen hochentwickelte Agentensysteme. Sie sollen die unterschiedlichsten digitalen Aufgaben automatisieren, von der Bedienung von Unternehmenssoftware bis zu Recherchen und Buchungen im Web. Alle diese Systeme brauchen API-Zugriff, um Dienste von Drittanbietern einzubinden. Die Assistenten von OpenAI etwa benötigen OpenAPI-Beschreibungen der APIs, damit sie bei Bedarf externe Dienste aufrufen können.
Open Interpreter
Das Projekt Open Interpreter bietet eine Chat-Oberfläche, über die Nutzer mit ihren Desktop-Anwendungen kommunizieren und sie steuern können. Das Open-Source-Werkzeug geht über die klassische Arbeit auf der Kommandozeile hinaus: Software lässt sich damit im Gespräch bedienen und steuern. Unter der Haube nutzt es vorhandene Automatisierungsfunktionen (zum Beispiel Automator-Skripte unter macOS), die es im Auftrag der Nutzer erstellt und ausführt.
Aufgabenorientierte Desktop-Automatisierung mit ASSISTGUI
ASSISTGUI führt einen Benchmark für Desktop-Automatisierung ein, der sich auf das Betriebssystem Windows konzentriert. Er bewertet, wie gut Modelle Maus und Tastatur bedienen können, und soll so verbessern, wie Agenten Desktop-GUIs verstehen und mit ihnen umgehen. Das ebnet den Weg für intuitivere und wirksamere Automatisierungswerkzeuge. Die Studie schlägt außerdem ein fortgeschrittenes Actor-Critic-Embodied-Agent-Framework vor, das einen GUI-Parser und einen Reasoning-Mechanismus integriert, um Aufgaben besser auszuführen. Trotz des Potenzials dieses Frameworks zeigen die Versuchsergebnisse, wie komplex die Automatisierung von Desktop-GUIs von Natur aus ist: Das beste Modell erreichte nur eine Erfolgsquote von 46 %.
UFO: Ein UI-fokussierter Agent für die Interaktion mit Windows
UFO ist ein UI-fokussierter Agent für die Interaktion mit Windows, der GPT-Vision zur Automatisierung von Aufgaben nutzt. UFO arbeitet mit einem Dual-Agent-Framework, das die GUIs von Anwendungen analysiert und mit ihnen interagiert, sodass sich mehrere Anwendungen nahtlos bedienen lassen. Ein Modul für die Interaktion mit Bedienelementen ermöglicht Action Grounding und die vollautomatische Ausführung von Aufgaben über Befehle in natürlicher Sprache. Weil das Framework zwischen Anwendungen wechseln kann und sich erweitern lässt, bewältigt es auch komplexe Aufgaben und zeigt, wie wirksam und vielseitig es Aufgaben unter Windows automatisiert.
Bessere visuelle GUI-Agenten mit SeeClick
Die in SeeClick vorgestellte Forschung befasst sich damit, wie sich GUI Grounding für fortgeschrittene visuelle GUI-Agenten nutzen lässt. Der Ansatz soll die Fähigkeit der Agenten verbessern, grafische Benutzeroberflächen zu interpretieren und mit ihnen zu interagieren, damit sie visuelle Aufgaben effizienter und vielseitiger erledigen.
Bessere Steuerung mobiler Geräte mit MobileAgent
Die Forschung zu MobileAgent legt den Schwerpunkt darauf, die Steuerung mobiler Geräte durch fortgeschrittene Mensch-Maschine-Interaktion und die Einbindung von Standard Operating Procedures (SOP) zu verbessern. Die Arbeit ist ein großer Schritt hin zu einer ausgereifteren und benutzerfreundlicheren mobilen Automatisierung, bei der Agenten Aufgaben auf mobilen Plattformen natürlicher und wirksamer ausführen können.
Was das für Branchen und Arbeitsabläufe bedeutet
Diese Fortschritte haben weitreichende Folgen. Digitale Agenten werden fähiger und intelligenter, und sobald sie Legacy-Software über menschenähnliche Eingaben steuern, können sie ein breiteres Spektrum an Aufgaben übernehmen. Die möglichen Anwendungen sind zahlreich und vielfältig, von schlankeren Verwaltungsabläufen bis zu besserem Kundenservice. Das steigert die Effizienz und eröffnet Unternehmen wie Einzelpersonen neue Möglichkeiten, ihre täglichen Aufgaben anzugehen.
Ausblick
Blickt man nach vorn, deutet die Integration hochentwickelter digitaler Agenten auf eine Zukunft hin, in der Automatisierung dynamischer ist und besser auf menschliche Bedürfnisse reagiert. Dabei geht es um mehr als das Automatisieren von Aufgaben: Es geht um ein digitales Ökosystem, das lernen, sich anpassen und weiterentwickeln kann, irgendwann auch von selbst.
Alles in allem bereiten die Fortschritte bei der digitalen Aufgabenautomatisierung den Boden für eine Zukunft, in der unser Umgang mit digitalen Systemen nahtloser, intuitiver und effizienter wird. Je weiter wir das Potenzial dieser Technologien ausloten, desto weiter rückt die Grenze des Möglichen, und das verspricht eine Zukunft, in der digitale Automatisierung unsere Welt maßgeblich mitgestaltet.
Aus dem Englischen übersetzt: zum Originalbeitrag