de.wedoany.com-Bericht: Forscher der Zhejiang-Universität und des Kuaishou-Teams haben MemGUI-Agent vorgestellt, der es mobilen GUI-Agenten ermöglicht, bei langfristigen Aufgaben das Kontextgedächtnis aktiv zu verwalten und kritische Informationsverluste zu vermeiden. Das Team stammt vom APRIL-Labor der Zhejiang-Universität und der Kuaishou-Haupttechnologieabteilung. Gleichzeitig wurde der Datensatz MemGUI-3K für Handheld-GUI-Agenten mit der durchschnittlich längsten Schrittanzahl als Open Source veröffentlicht. Das auf diesem Datensatz trainierte Modell MemGUI-8B-SFT erzielte auf den Langzeitaufgaben-Benchmarks MemGUI-Bench und MobileWorld die besten Ergebnisse unter den Open-Data-Modellen.
Bisher neigten mobile GUI-Agenten bei der Ausführung von langfristigen Aufgaben über mehrere Apps und Schritte hinweg zu Informationsverschlechterung. Wichtige Informationen wie Preise, Kontakte, Spezifikationen und Daten, die in frühen Phasen erfasst wurden, werden in späteren Schritten verwässert, falsch wiedergegeben oder vollständig vergessen. Traditionelle ReAct-basierte Agenten hängen die Gedanken, Aktionen und Ergebnisse jedes Schrittes an den Kontext an, was zu zwei Problemen führt: Erstens wächst der Verlauf linear an, was die Eingabelänge und die Rechenkosten kontinuierlich erhöht; zweitens werden wichtige Fakten durch Rauschen überlagert, sodass der Agent sich zwar erinnert, dass er Parameter nachgeschlagen hat, aber die genauen Werte vergisst.
Das Kerndesign von MemGUI-Agent ist Context-as-Action (ConAct), das die Kontextverwaltung auf die gleiche Ebene wie UI-Klicks, Eingaben und Wischbewegungen hebt. Bei jedem Schritt gibt der Agent nicht nur die nächste Aktion aus, sondern auch, wie das eigene Arbeitsgedächtnis organisiert werden soll. ConAct zerlegt den Kontext in drei strukturierte Felder: Gefalteter Aktionsverlauf (Folded Action History), der den komprimierten historischen Verlauf speichert, wobei das Modell abgeschlossene Aufgaben in Zusammenfassungen faltet; Gefalteter UI-Status (Folded UI State), der vollständige UI-Fakten wie Telefonnummern, Produktpreise, Spezifikationen usw. speichert; und Aufzeichnung des letzten Schrittes (Recent Step Record), der die Beobachtung, Absicht, Aktion und das Ergebnis des letzten Schrittes festhält.
Die Forscher erstellten weiterhin den Datensatz MemGUI-3K, um kleinere Modelle zu trainieren. Dieser Datensatz wurde aus 128 Seed-Aufgaben von MemGUI-Bench erweitert, durch Entitätsersetzung, Gedächtnisoperationsverstärkung und Aufgabenvereinfachung ergänzt und umfasst schließlich 2956 erfolgreiche Trajektorien, die 26 Android-Apps und 7 Funktionsszenarien abdecken, woraus 64430 SFT-Proben extrahiert wurden. Die durchschnittliche Trajektorienlänge beträgt 28,8 Schritte, 65,1 % der Trajektorien verwenden mindestens eine Gedächtnisoperation, und 88,7 % enthalten mindestens eine spannenübergreifende Faltung. Diese Statistiken zeigen, dass der Datensatz darauf abzielt, dem Modell beizubringen, wie das Arbeitsgedächtnis bei langfristigen Aufgaben verwaltet wird.
Auf dem MemGUI-Bench-Benchmark erreichte MemGUI-Agent-235B (Zero-Shot) 37,5 % Pass@1, 62,5 % Pass@3 und 46,8 % IRR, was im Vergleich zum gleichen 235B-ReAct-Baseline eine Verbesserung von 13,3 Prozentpunkten bei Pass@1 bedeutet. MemGUI-8B-SFT erreichte auf dem gleichen Benchmark 23,4 % Pass@1, 35,9 % Pass@3 und 30,2 % IRR, was im Vergleich zur Qwen3-VL-8B-Instruct-Baseline eine Verbesserung von 14,0, 15,6 bzw. 15,1 Prozentpunkten darstellt. Auf dem Out-of-Distribution-Benchmark MobileWorld GUI-Only erzielte MemGUI-Agent-235B eine Erfolgsrate von 29,1 %, 14,6 Prozentpunkte höher als die Baseline; MemGUI-8B-SFT erreichte eine Erfolgsrate von 17,9 % und übertraf damit die 17,7 % von OpenMobile-8B.
Komponenten-Ablationsstudien zeigen, dass das alleinige Hinzufügen von UI-Gedächtnisoperationen, historischen Faltungen oder Selbsterklärungsschritten Verbesserungen bringt, aber alle drei Komponenten unverzichtbar sind. Vollständiges ConAct erreichte auf MemGUI-Bench-40 einen Pass@1 von 40,0 %, eine deutliche Verbesserung gegenüber der ReAct-Baseline von 5,0 %. Fehleranalysen zeigen, dass ConAct hauptsächlich kontextinduzierte Halluzinationen reduziert, wobei die Gesamtfehlerzahl um etwa 41 % sank, wobei die Verbesserungen bei Prozesshalluzinationen und Ausgabehalluzinationen am deutlichsten waren. Diese Forschung verlagert das Gedächtnisproblem von GUI-Agenten von externen Engineering-Modulen in das strategische Modell selbst, sodass der Agent während der Ausführung von Aktionen lernt, den Ausführungsprozess selbst zu verwalten.
Der Erstautor der Arbeit ist Liu Guangyi, Doktorand am APRIL-Labor der Zhejiang-Universität, und der korrespondierende Autor ist Professor Liu Yong von der Zhejiang-Universität. MemGUI-Agent ist vollständig als Open Source verfügbar; Code, Daten, Modelle, Trainings- und Evaluierungspipelines sind bereits veröffentlicht.
Der Engpass bei langfristigen Handyaufgaben liegt darin, dass das Modell bildschirm-, schritt- und appübergreifende UI-abgeleitete Fakten speichern muss, darunter Preise, Telefonnummern, Produktspezifikationen, Social-Media-Beiträge und zu kopierenden Text. Das passive Anhängen von Verlaufsaufzeichnungen ist weder kompakt noch zuverlässig. ConAct ermöglicht es dem Agenten, bei jedem Schritt fünf strukturierte Inhalte auszugeben: Gedanken, Faltung, Tool-Aufruf, UI-Beobachtung und Aktionsabsicht. Tool-Aufrufe umfassen sowohl normale UI-Aktionen als auch Gedächtnisoperationen wie memory_add, memory_update und memory_delete. Dies bedeutet, dass die Kontextverwaltung vom selben multimodalen Strategiemodell in einem einzigen Vorwärtsdurchlauf durchgeführt wird.
Die Forscher fanden heraus, dass die Anwendung des ConAct-Protokolls auf bestehende Modelle nicht automatisch die Leistung verbessert. Zero-Shot-Experimente mit verschiedenen Größen von Qwen3-VL-Modellen zeigten, dass nur das stärkste Qwen3-VL-235B-Thinking deutlich von ConAct profitiert, während kleinere Modelle oder 235B-Instruct bei der Verwendung von ConAct im Zero-Shot-Modus sogar eine Leistungsverschlechterung aufwiesen. Dies bestätigt, dass aktive Kontextverwaltung kein einfacher Prompt-Trick ist; das Modell muss lernen, wann es den Verlauf komprimieren, wann es UI-Erinnerungen schreiben und wie es wiederverwendbare Schrittbeschreibungen generieren muss.
In der Datenerfassungsphase verwendeten die Autoren Qwen3-VL-235B-Thinking als Lehrermodell, um Aufgaben in der Android-Umgebung gemäß dem vollständigen ConAct-Protokoll auszuführen. Anschließend wurde durch trajektorienbasierte Filterung und schrittweise Plausibilitätsfilterung sichergestellt, dass die überwachten Trainingsdaten keine redundanten, fehlerhaften oder umwegigen Schritte enthielten.
Aus diesem Datensatz wurden 57951 plausible Trainingsschritte und 6479 plausible Testschritte extrahiert. Laut Datenstatistik beträgt die durchschnittliche Trajektorienlänge von MemGUI-3K 28,8 Schritte, der Median liegt bei 25 Schritten; 23,8 % der Faltungen sind spannenübergreifende Faltungen, d. h. mehrere Schritte werden zu einer Teilaufgabenzusammenfassung komprimiert.
Der Experimentbericht beschreibt zwei Arten von Agent-Einstellungen: Die erste ist MemGUI-Agent-235B, der die Gewichte von Qwen3-VL-235B-Thinking beibehält und das ConAct-Protokoll im Zero-Shot-Modus verwendet; die zweite ist MemGUI-8B-SFT, ausgehend von Qwen3-VL-8B-Instruct, mit LoRA SFT auf MemGUI-3K. Auf MemGUI-Bench erreichte MemGUI-Agent-235B 37,5 % Pass@1, 62,5 % Pass@3 und 46,8 % IRR. Im Vergleich zur ReAct-Baseline mit demselben 235B-Backbone verbesserte sich Pass@1 um 13,3 Prozentpunkte, Pass@3 um 15,6 Prozentpunkte und IRR um 16,8 Prozentpunkte. Im Vergleich zum agentischen Workflow mit Gemini-2.5-Pro erzielte es ebenfalls eine stärkere Gesamtleistung.
Auf MobileWorld GUI-Only erzielte MemGUI-Agent-235B eine Erfolgsrate von 29,1 %, 14,6 Prozentpunkte höher als die Qwen3-VL-235B-Thinking-Baseline. MemGUI-8B-SFT erreichte eine Erfolgsrate von 17,9 %, 8,5 Prozentpunkte höher als Qwen3-VL-8B-Instruct und übertraf auch die 17,7 % von OpenMobile-8B.
Komponenten-Ablationsstudien wurden auf MemGUI-Bench-40 durchgeführt. Die ReAct-Baseline hatte nur einen Pass@1 von 5,0 %. Nach alleinigem Hinzufügen von UI-Gedächtnisoperationen stieg Pass@1 auf 17,5 %; nach alleinigem Hinzufügen von historischen Faltungen stieg Pass@1 auf 22,5 %; nach alleinigem Hinzufügen von Selbsterklärungsschritten stieg Pass@1 auf 25,0 %. Vollständiges ConAct erreichte einen Pass@1 von 40,0 %, Pass@3 von 62,5 % und IRR von 51,0 %. Diese drei Komponenten adressieren unterschiedliche Probleme: Historische Faltungen kontrollieren das Kontextwachstum, UI-Gedächtnis speichert präzise Fakten, und Selbsterklärungsschritte liefern zuverlässiges Rohmaterial für nachfolgende Erinnerungen und Faltungen.
Fallstudien zeigen, dass bei langfristigen Handy-GUI-Aufgaben wichtige Informationen oft nur kurz auf einer Zwischenseite erscheinen, der Agent sie aber Dutzende von Schritten später oder sogar nach einem App-Wechsel weiterhin genau verwenden muss. Die Vorgehensweise von MemGUI-Agent besteht darin: Beim Erkennen wichtiger Fakten diese aktiv in das UI-Gedächtnis zu schreiben, nach Abschluss einer Teilaufgabe den Verlauf in eine kompakte Historie zu falten, sodass das Modell den strukturierten Status direkt auslesen und die zuvor gesehenen Informationen in nachfolgende Apps einbringen kann.
Die Klassifizierung von Fehlerfällen zeigt, dass in der Zero-Shot-Ablationsumgebung von MemGUI-Bench-40 die Gesamtfehlerzahl durch vollständiges ConAct von 99 auf 58 sank, ein Rückgang um etwa 41 %. Davon sanken Prozesshalluzinationen von 52 auf 30 und Ausgabehalluzinationen von 30 auf 13, was die deutlichste Verbesserung darstellt. Dies deutet darauf hin, dass ConAct hauptsächlich kontextbedingte Halluzinationen löst, während die Verbesserungen bei Wissenslücken und Intentionsverständnis geringer ausfallen, was darauf hindeutet, dass App-Wissen, Aufgabenintentionsverständnis und Umgebungsrobustheit des Modells weiterhin Engpässe darstellen.
Für langfristige mobile Automatisierungsaufgaben ist die Verlagerung des Gedächtnisproblems von GUI-Agenten von externen Modulen in das strategische Modell selbst, sodass der Agent nicht nur Aktionen ausführt, sondern auch lernt, den Ausführungsprozess selbst zu verwalten, ein wichtiger Schritt vom bloßen Klicken zum erfolgreichen Erledigen von Aufgaben.
