de.wedoany.com-Bericht: Im verstärkenden Lernen nach dem Training großer Sprachmodelle ist der Rollout-Prozess, bei dem eine große Anzahl von Inferenzantworten generiert wird, oft mit hohen Rechenkosten verbunden, wobei viele dieser Stichproben jedoch möglicherweise keine effektiven Trainingssignale liefern. Um dieses Problem anzugehen, hat ein Forschungsteam der Abteilung für Automatisierung der Tsinghua-Universität ein Optimierungsframework namens POPO (Group Prioritized Off-Policy Optimization) vorgeschlagen, das darauf abzielt, den Verbrauch ineffektiver Stichproben im RLVR-Training (Reinforcement Learning with Verifiable Rewards) durch gruppenpriorisierte Off-Policy-Optimierung signifikant zu reduzieren.
Der Kernvorteil von RLVR liegt darin, dass die Belohnungssignale automatisch durch Regeln verifiziert werden können. Beim Training mit Methoden wie GRPO (Group Relative Policy Optimization) generiert das Modell jedoch eine Gruppe von Antworten auf denselben Prompt. Wenn alle Antworten dieser Gruppe richtig oder alle falsch sind, ist die Belohnungsvarianz null, was dazu führt, dass die relativen Vorteile innerhalb der Gruppe verschwinden und die Stichproben kaum zur Parameteraktualisierung beitragen. Diese als „ineffektive Stichproben“ bezeichnete Situation tritt bei RLVR sehr häufig auf, insbesondere bei zu einfachen oder zu schwierigen Aufgaben, bei denen das Modell große Rechenressourcen verbraucht, ohne effektive Gradienten zu erhalten.
Zu den bestehenden Lösungsansätzen gehören: DAPO, das durch die Vergrößerung des Kandidaten-Batches und zusätzliche Rollouts ineffektive Gruppen herausfiltert, jedoch auf Kosten erhöhter Generierungskosten; prädiktive Sampling-Methoden, die vor dem Rollout die Erfolgswahrscheinlichkeit des Prompts schätzen, aber bei großen Datenmengen oder Training mit wenigen Epochen an Stabilität mangeln; und Trajektorien-Replay-Methoden, die zwar historisch erfolgreiche Antworten speichern, aber Herausforderungen wie die Beurteilung der Effektivität innerhalb der Gruppe und Off-Policy-Verzerrungen nicht bewältigen können.
Der Kernansatz von POPO besteht darin, einen kleinen Replay-Puffer zu verwalten, der effektive Response-Gruppen aus dem aktuellen Training speichert. In jedem Trainingsschritt führt das Modell zunächst einen Rollout für den aktuellen Batch durch und teilt dann die Response-Gruppen basierend auf der Belohnungsvarianz in effektive Gruppen (Varianz größer als null) und ineffektive Gruppen (Varianz gleich null) ein. POPO behält die effektiven Gruppen bei und führt für die Positionen der ineffektiven Gruppen keinen erneuten Rollout durch, sondern entnimmt stattdessen die aktuellsten effektiven Gruppen aus dem Puffer, um sie zu ergänzen. Diese Strategie ermöglicht es, den Trainingsbatch hauptsächlich aus effektiven Stichproben zusammenzusetzen, ohne die Kosten für neue Rollouts zu erhöhen.
Im Gegensatz zum üblichen Trajektorien-Replay wählt POPO das Replay auf Gruppenebene. Eine Gruppe enthält einen Prompt und eine entsprechende Gruppe von Responses, wobei die gesamten Gruppendaten von derselben historischen Strategie stammen, was die Konsistenz innerhalb der Gruppe bewahrt und eine spätere Off-Policy-Korrektur erleichtert. Für die Auswahl der Replay-Gruppen stützt sich POPO hauptsächlich auf zwei Kriterien: „Qualität“ (Belohnungsvarianz ungleich null) und „Distanz zur aktuellen Strategie“ (bevorzugtes Replay der zuletzt gespeicherten effektiven Gruppen).
Um das Problem der Verzerrung von Replay-Daten zu adressieren, führt POPO eine entkoppelte Off-Policy-Optimierung ein, die die Rollen von „Verhaltensstrategie“ und „proximaler Beschränkungsstrategie“ trennt. Für Replay-Stichproben verwendet der Algorithmus Importance Sampling zur Korrektur von Off-Policy-Verzerrungen, während er gleichzeitig die Trust-Region-Beschränkungen beibehält, die mit den On-Policy-Stichproben konsistent sind, und so sowohl Verzerrungskorrektur als auch Trainingsstabilität gewährleistet.
Die Arbeit bewertet die Leistung von POPO in drei Aufgabentypen: mathematisches Denken, numerische Planung und visuelle Geometrie. Bei den Aufgaben zum mathematischen Denken wurden die Modelle DeepSeek-R1-Distill-Qwen-1.5B und 7B auf dem DeepScaleR-Datensatz trainiert; für die numerische Planung wurde Qwen2.5-3B auf dem Countdown-34-Teildatensatz trainiert; für die visuelle Geometrie wurde Qwen2.5-VL-3B-Instruct auf Geometry3k trainiert und getestet. Zu den Vergleichsmethoden gehören die Baselines GRPO, DAPO, MoPPS und ARPO.
Aus den Trainingskurven geht hervor, dass POPO bei mehreren Aufgaben schneller konvergiert als GRPO, ARPO und MoPPS, wobei die Gesamtleistung nahe an DAPO heranreicht, die Rollout-Kosten jedoch deutlich reduziert werden. Bei DSR-1.5B erreicht POPO eine durchschnittliche In-Distribution-Punktzahl von 55,1, gleichauf mit DAPO, und eine durchschnittliche Out-of-Distribution-Punktzahl von 32,9, leicht über DAPOs 32,7, während die Trainingszeit von 30 Stunden bei DAPO auf 16 Stunden sinkt. Bei DSR-7B erreicht POPO eine durchschnittliche In-Distribution-Punktzahl von 63,3 (über DAPOs 63,2) und eine durchschnittliche Out-of-Distribution-Punktzahl von 51,2 (über DAPOs 50,8), bei einer Reduzierung der Trainingszeit von 55 auf 34 Stunden. Bei der Countdown-Aufgabe erreicht POPO eine durchschnittliche Genauigkeit von 60,4 %, nahe an DAPOs 61,5 %, aber mit nur 205k Rollouts (DAPO: 877k) und einer Reduzierung der Trainingszeit von 5,6 auf 3,2 Stunden. Bei der Geometry-Aufgabe erzielt POPO 50,0 Punkte, nahe an DAPOs 50,6, mit 492k Rollouts (DAPO: 1438k) und einer Reduzierung der Trainingszeit von 11,2 auf 6,8 Stunden.
Ablationsstudien bestätigen die Notwendigkeit der einzelnen Designentscheidungen von POPO. Die Methode zur Suche nach Replay-Gruppen mittels KL-Divergenz (POPO-KL) erzielt eine ähnliche Leistung, ist aber rechenintensiver; die Methode, die nur ineffektive Gruppen herausfiltert, ohne den Batch aufzufüllen (GRPO-filter), ist POPO unterlegen; das Replay ohne Unterscheidung effektiver Gruppen (POPO-ineff) führt zu einer deutlichen Leistungseinbuße; und das Replay von Stichproben aus der fernen Vergangenheit (POPO-stale) führt zu einem Leistungseinbruch. Hinsichtlich des Optimierungsziels führt die einfache Behandlung von Replay-Daten als aktuelle On-Policy-Daten zu einem Leistungseinbruch, während das entkoppelte Off-Policy-Ziel die besten Ergebnisse liefert.
Weitere Analysen zeigen, dass POPO bei verschiedenen Response-Group-Größen (k=4, 8, 16, 32) stabil besser abschneidet als GRPO und nahe an DAPO herankommt. Es kann auch auf andere grundlegende RLVR-Algorithmen wie RLOO und PPO angewendet und mit aktiven Sampling-Methoden wie MoPPS kombiniert werden.
Die Arbeit weist darauf hin, dass der Kernwert von POPO darin liegt, das RLVR-Training von „viel generieren, viel filtern“ hin zu „weniger Verschwendung“ zu verlagern, indem bereits erzeugte hochwertige effektive Stichproben zwischengespeichert und wiederverwendet werden, um die Verschwendung durch ineffektive Rollouts zu reduzieren und gleichzeitig die Trainingsstabilität zu erhalten. Am Beispiel der Daten dieser Arbeit zeigt sich, dass POPO bei der DeepScaleR-7B-Aufgabe mit nur etwa 30 % des Rollout-Budgets eine Leistung nahe der von DAPO erreicht. In Zukunft plant das Team, eine hybride Strategie zu erforschen, die einen kurzfristigen FIFO-Puffer mit einem langfristigen Reservoir kombiniert, um die Anzahl der Online-Rollouts weiter zu reduzieren und die kontrollierte Nutzung von Offline-Daten zu erhöhen.
Die Arbeit wurde vom Team von Professor Ji Xiangyang von der Abteilung für Automatisierung der Tsinghua-Universität durchgeführt. Zu den Autoren gehören Yixiu Mao, Yun Qu, Cheems Wang, Heming Zou und Xiangyang Ji. Der Erstautor Yixiu Mao ist Doktorand an der Abteilung für Automatisierung der Tsinghua-Universität und derzeit Praktikant im Tongyi Qianwen Large Model Team von Alibaba. Die Arbeit wurde auf arXiv unter der Nummer 2606.01281v1 veröffentlicht.
