LLMs in der Hosentasche: Ein Überblick über CAMPHOR von Apple

Large Language Models (LLMs) verstehen auch komplexe Anfragen und beantworten sie bemerkenswert gut, doch ihre Abhängigkeit von der Verarbeitung auf dem Server stellt mobile Assistenten vor erhebliche Probleme.

Es geht vor allem um zwei Punkte:

• Datenschutz: Mobile Assistenten brauchen oft Zugriff auf sensible persönliche Informationen, um genaue und passende Antworten zu geben. Werden diese Daten auf entfernten Servern gespeichert und verarbeitet, wirft das Datenschutzfragen auf, denn Nutzer zögern womöglich, so sensible Informationen preiszugeben.
• Latenz: Die Verarbeitung auf dem Server verzögert den Weg vom Verstehen einer Anfrage bis zu ihrer Ausführung. Das kann die Nutzererfahrung verschlechtern, vor allem bei Aufgaben, die mehrere Interaktionen zwischen Server und Gerät erfordern.

Um diese Grenzen zu umgehen, haben Forscher untersucht, wie sich Small Language Models (SLMs) direkt auf den Geräten der Nutzer betreiben lassen. SLMs bieten schnellere Inferenz, geringere Latenz und besseren Datenschutz. Sie haben allerdings ihre eigenen Probleme, vor allem bei der Genauigkeit und beim knappen Speicher.

Hier setzt CAMPHOR an.

CAMPHOR: Ein Multi-Agenten-System, das Anfragen auf dem Gerät versteht

CAMPHOR ist ein neuartiges Multi-Agenten-Framework für SLMs auf dem Gerät. Es verarbeitet mehrere Nutzereingaben und zieht seine Schlüsse aus dem persönlichen Kontext lokal, sodass die Privatsphäre der Nutzer gewahrt bleibt.

Die wichtigsten Merkmale von CAMPHOR:

• Hierarchische Architektur: In der hierarchischen Architektur von CAMPHOR zerlegt ein übergeordneter Reasoning-Agent komplexe Aufgaben und koordiniert Experten-Agenten, die jeweils für bestimmte Funktionen zuständig sind. Zu diesen Experten-Agenten gehören:
• Personal Context Agent: Ruft relevante persönliche Informationen vom Gerät des Nutzers ab.
• Device Information Agent: Holt gerätespezifische Informationen wie Standort, Uhrzeit und Bildschirminhalt.
• User Perception Agent: Erfasst die letzten Aktivitäten des Nutzers auf dem Gerät.
• External Knowledge Agent: Sucht Informationen in externen Quellen wie Websuchmaschinen.
• Task Completion Agent: Erzeugt Funktionsaufrufe, die die Absicht des Nutzers abbilden und Aufgaben erledigen.
• Parameter-Sharing und Prompt-Komprimierung: Die Agenten teilen sich Parameter, und Techniken zur Prompt-Komprimierung kommen hinzu. Damit senkt CAMPHOR Modellgröße, Latenz und Speicherbedarf, was es für das Deployment auf dem Gerät tauglich macht.

So geht CAMPHOR vor

Wie CAMPHOR arbeitet, zeigt dieses Beispiel:

Anfrage des Nutzers: „Kannst du mir die günstigsten Flugoptionen nach Barcelona im nächsten Monat zeigen und den Flug in meinen Kalender eintragen? Und sag meinem Reisepartner Bescheid, was wir für die Reise planen.“

Die Antwort von CAMPHOR:

1. Zerlegung der Aufgabe: Der übergeordnete Reasoning-Agent teilt die Anfrage in Teilaufgaben auf:

• Den aktuellen Standort des Nutzers abrufen.
• Den „Reisepartner“ in den Kontakten des Nutzers finden.
• Die günstigsten Flüge nach Barcelona im nächsten Monat suchen.
• Den gewählten Flug in den Kalender des Nutzers eintragen.
• Den Reisepartner über die Reise informieren.

1. Zusammenarbeit der Agenten: Der übergeordnete Reasoning-Agent weist diese Teilaufgaben den passenden Experten-Agenten zu:

• Der Device Information Agent ruft den aktuellen Standort des Nutzers ab.
• Der Personal Context Agent sucht den Kontakt „Reisepartner“ heraus.
• Der External Knowledge Agent sucht nach Flügen.
• Der Task Completion Agent trägt den Flug in den Kalender ein und schickt dem Reisepartner eine Nachricht.

1. Erzeugen der Funktionsaufrufe: Jeder Experten-Agent erzeugt Funktionsaufrufe, die zu seiner Aufgabe und zu den Werkzeugen auf dem Gerät des Nutzers passen. Der Task Completion Agent könnte etwa Funktionen wie create_calendar_event und send_imessage_message erzeugen.

Durch diese Zusammenarbeit in einer Hierarchie kann CAMPHOR komplexe Anfragen wirksam verstehen und beantworten und nutzt dabei persönliche Informationen sicher und effizient auf dem Gerät des Nutzers.

Wie gut CAMPHOR abschneidet

Um die Wirksamkeit von CAMPHOR zu bewerten, erstellten die Forscher einen neuartigen Datensatz, den CAMPHOR-Datensatz. Er simuliert die Smartphone-Umgebung eines Nutzers mit vielfältigen persönlichen Informationen und Werkzeugen. Auf diesem Datensatz passten sie SLM-basierte CAMPHOR-Agenten per Fine-Tuning an und verglichen ihre Leistung mit verschiedenen LLMs auf dem neuesten Stand der Technik, die mit unterschiedlichen Prompting-Strategien liefen.

Die Ergebnisse zeigen:

• SLMs mit Fine-Tuning schneiden bei den Metriken zur Aufgabenerledigung deutlich besser ab als instruktionsbasierte LLMs.
• Prompt-Komprimierung verkleinert die Prompts wirksam und kostet dabei kaum Genauigkeit. Für das Deployment auf dem Gerät ist sie deshalb entscheidend.
• RAG-basierte Ansätze werden häufig genutzt, um LMs auf externe Daten zu stützen. Hier stoßen sie aber an Grenzen, weil der Retrieval-Recall nicht optimal ist, vor allem bei zusammengesetzten Anfragen.

CAMPHOR: Eine vielversprechende Zukunft für persönliche Assistenten auf dem Gerät

CAMPHOR ist eine vielversprechende Lösung für personalisierte, private und effiziente mobile Assistenten. Mit SLMs auf dem Gerät und einer Multi-Agenten-Architektur geht CAMPHOR die Grenzen herkömmlicher serverseitiger LLMs wirksam an. Die aktuelle Forschung konzentriert sich noch auf Anfragen mit einer einzigen Interaktion. Künftige Arbeiten sollen CAMPHOR so erweitern, dass es auch Gespräche über mehrere Runden und komplexes Feedback zur Laufzeit bewältigt.

Aus dem Englischen übersetzt: zum Originalbeitrag