Ferret-UI 2: Auf dem Weg zu einem universellen UI-Verständnis für LLMs

Ferret-UI 2 ist ein multimodales Large Language Model (MLLM), das dafür gebaut ist, UIs auf iPhone, Android, iPad, Web und AppleTV zu interpretieren, in ihnen zu navigieren und mit ihnen zu interagieren. Es verbessert das UI-Verständnis, unterstützt die Wahrnehmung in hoher Auflösung und bewältigt komplexe, am Nutzer ausgerichtete Aufgaben auf all diesen unterschiedlichen Plattformen.

Kernarchitektur: multimodale Integration

Die Grundarchitektur von Ferret-UI 2 verbindet einen visuellen Encoder vom Typ CLIP ViT-L/14 mit Large Language Models (LLMs), entweder Llama-3-8B oder Vicuna-13B. Sie setzt einen ausgefeilten Mechanismus um, der Bild und Sprache verschmilzt und räumliche und semantische Informationen gleichzeitig verarbeitet.

Architektonisch hebt sich Ferret-UI 2 durch adaptives N-Gridding für den Umgang mit Auflösungen ab. Herkömmliche Ansätze arbeiten mit einer festen Auflösung. Dieses System nutzt dagegen einen dynamischen Gridding-Algorithmus, der sowohl auf Recheneffizienz als auch auf den Erhalt von Information optimiert. Der Algorithmus berechnet eine optimale Grid-Konfiguration, indem er eine kombinierte Verlustfunktion minimiert. Diese berücksichtigt die Verzerrung des Seitenverhältnisses ebenso wie den Verlust an Pixelinformation, unter der Nebenbedingung einer maximalen Grid-Größe von N×N.

Trainings-Pipeline und Datenarchitektur

Die Trainings-Pipeline führt Daten aus mehreren Quellen zusammen und bereitet sie je nach Plattform eigens auf. Für iOS-Plattformen übernimmt das System von Menschen annotierte Bounding Boxes, kombiniert mit einer durch OCR unterstützten Texterkennung mit einem Konfidenz-Schwellenwert von 0,5. Trainingsdaten für Weboberflächen liest es direkt aus DOM-Strukturen aus, sodass die hierarchischen Beziehungen zwischen den UI-Elementen erhalten bleiben.

Die Trainingsarchitektur kennt drei Aufgabenkategorien:

1. Elementare Aufgaben:
   • Referring-Aufgaben: OCR-Erkennung, Widget-Klassifikation und Vorhersage der Antippbarkeit
   • Grounding-Aufgaben: Aufzählen von Widgets, Lokalisieren von Text und Lokalisieren von Widgets
2. Fortgeschrittene Wahrnehmungsaufgaben:
   • Wahrnehmungs-QA über mehrere Runden mit Modellierung räumlicher Beziehungen
   • Umfassendes Szenenverständnis mit hierarchischer Zerlegung
3. Interaktionsaufgaben:
   • Modellierung der Nutzerabsicht unter Berücksichtigung des Zustands
   • Erkennen plattformspezifischer Interaktionsmuster

Mechanismus für den plattformübergreifenden Transfer

Das System arbeitet mit einem einheitlichen Label-Raum aus 13 standardisierten Widget-Klassen, der den Wissenstransfer zwischen den Plattformen ermöglicht. Dahinter steckt eine sorgfältige Zuordnung, die die semantische Entsprechung über die UI-Paradigmen der einzelnen Plattformen hinweg erhält.

Beim Transfer Learning zeigen sich beeindruckende Leistungswerte:

• Der Transfer iPhone → iPad erreicht 80,2 % Genauigkeit bei elementaren Aufgaben
• Der Transfer Web → Mobile hält 55,5 % Genauigkeit
• Durchschnittliche plattformübergreifende Leistung: 70,3 %

Diese Werte sprechen für eine robuste Merkmalsrepräsentation, die gut über Plattformgrenzen hinweg generalisiert.

Implementierungsdetails und Leistungsoptimierung

Die Implementierung enthält mehrere wichtige Optimierungen:

1. Adaptive Auflösungsverarbeitung: Das System extrahiert Merkmale dynamisch abhängig von der Eingabeauflösung, wobei der N-Grid-Parameter eine Obergrenze für die Rechenkomplexität festlegt. Das erlaubt eine effiziente Verarbeitung bei zugleich originalgetreuer Merkmalsextraktion.
2. Multimodale Merkmalsfusion: Die Architektur nutzt Attention-Mechanismen, über die Informationen in beide Richtungen zwischen visuellen und sprachlichen Merkmalen fließen. So versteht das Modell UI-Elemente und ihre Beziehungen im Kontext.
3. Plattformspezifische Optimierung: Das Modell hat auf die jeweilige Plattform abgestimmte Verarbeitungspfade, die auf unterschiedliche Seitenverhältnisse und Interaktionsparadigmen optimieren und dabei ein einheitliches semantisches Verständnis beibehalten.

Eine große technische Herausforderung bestand darin, die Leistung über unterschiedliche Auflösungen und Seitenverhältnisse hinweg konstant zu halten. Das adaptive N-Gridding löst das mit einem effizienten Algorithmus, der optimale Grid-Konfigurationen findet und die Rechenkomplexität dabei begrenzt hält.

Leistungskennzahlen und Analyse

Das System zeigt über mehrere Bewertungsmetriken hinweg eine robuste Leistung:

• Multi-IoU-Score: 41,73 (gegenüber dem Baseline-Wert von 39,81)
• GPT-4V-Bewertung: 89,7 (gegenüber dem Baseline-Wert von 85,97)
• Effizienz des plattformübergreifenden Transfers: die Leistungskennzahlen bleiben zu rund 70 % erhalten

Diese Werte zeigen deutliche Verbesserungen bei Genauigkeit und Generalisierungsfähigkeit gegenüber früheren Ansätzen.

Wie es weitergeht: auf dem Weg zur autonomen UI-Interaktion

Die Fortschritte bei der UI-Erkennung, für die Ferret-UI 2 als Beispiel steht, sind ein entscheidender Schritt hin zu KI-Systemen, die zur autonomen Interaktion mit Oberflächen fähig sind. Noch mehr Gewicht bekommt das im Zusammenhang mit dem kürzlich von Apple vorgestellten CAMPHOR (Collaborative Agents for Multi-input Planning and High-Order Reasoning On Device), einem ausgefeilten Agenten-Framework für KI-Verarbeitung auf dem Gerät. In der hierarchischen Architektur von CAMPHOR koordiniert ein übergeordneter Reasoning-Agent spezialisierte Agenten, und das könnte sehr wirkungsvoll mit dem robusten UI-Verständnis von Ferret-UI 2 zusammenspielen. Diese Kombination lässt eine spannende Zukunft erahnen, in der Sprachassistenten wie Siri komplexe, mehrstufige Aufgaben allein über Befehle in natürlicher Sprache ausführen könnten.

Überlegen Sie, was eine solche Integration technisch bedeuten würde:

1. Hierarchische Aufgabenzerlegung: Der Reasoning-Agent von CAMPHOR könnte komplexe Nutzeranfragen in einzelne Teilaufgaben zerlegen. Das plattformübergreifende Verständnis von Ferret-UI 2 würde für jede Teilaufgabe das präzise Erkennen und Bedienen von UI-Elementen ermöglichen. Das kombinierte System könnte den Kontext über mehrere Anwendungszustände hinweg im Blick behalten.
2. Multimodale Integration: Sprachbefehle ließen sich in präzise Abfolgen von UI-Interaktionen übersetzen. Das adaptive N-Gridding von Ferret-UI 2 würde dafür sorgen, dass Elemente auf den Oberflächen verschiedener Geräte genau getroffen werden. Rückkopplungsschleifen in Echtzeit könnten Aufgaben dynamisch anpassen, wenn sich der UI-Zustand ändert.
3. Plattformübergreifende Ausführung: Aufgaben ließen sich nahtlos über die Oberflächen von iOS, iPadOS und macOS hinweg ausführen. Der einheitliche Label-Raum von Ferret-UI 2 würde konsistente Interaktionsmuster ermöglichen. Plattformspezifische Optimierungen könnten automatisch angewendet werden, ohne dass die Aufgabe ihren Zusammenhang verliert.

Das technische Fundament, das die Architektur von Ferret-UI 2 legt (vor allem der ausgefeilte Umgang mit Auflösungen und das plattformübergreifende Verständnis), könnte für diese Vision der autonomen UI-Interaktion entscheidend werden. Während sich diese Technologien weiterentwickeln, nähern wir uns womöglich einem Paradigmenwechsel in der Art, wie Menschen ihre Geräte bedienen: Komplexe, mehrstufige Abläufe ließen sich allein mit Befehlen in natürlicher Sprache anstoßen und zu Ende bringen.

Die Kombination aus dem UI-Verständnis von Ferret-UI 2 und dem Framework zur Agentenkoordination von CAMPHOR deutet auf eine Zukunft hin, in der KI-Systeme Oberflächen nicht nur verstehen, sondern sich selbstständig in ihnen bewegen und mit ihnen interagieren, um komplexe Ziele der Nutzer zu erreichen. Das ist nicht nur ein Fortschritt in der UI-Technik, sondern eine grundlegende Weiterentwicklung der Mensch-Computer-Interaktion.

Mit Blick auf die Zukunft dürften sich die Lösungen, die Ferret-UI 2 für technische Probleme gefunden hat (von der Auflösungsanpassung bis zum plattformübergreifenden Verständnis), als entscheidende Bausteine für anspruchsvollere KI-Systeme erweisen, die UIs autonom bedienen können. Der Weg vom UI-Verständnis zur autonomen Interaktion ist komplex, aber mit Systemen wie Ferret-UI 2 und CAMPHOR kommen wir diesem Ziel deutlich näher.

Foto von Verina

Aus dem Englischen übersetzt: zum Originalbeitrag