Google aktualisiert Android Bench zur Bewertung großer Sprachmodelle für die Android-Entwicklung

de.wedoany.com-Bericht: Google hat den Android Bench-Benchmark aktualisiert, der zur Bewertung der Leistung großer Sprachmodelle bei Android-Entwicklungsaufgaben dient. Google-Ingenieure haben die Testmethodik überarbeitet, neue Modelle hinzugefügt und ermöglichen es Entwicklern, an der Entwicklung des Testsets mitzuwirken.

Der Schwerpunkt dieses Updates liegt auf der Umstellung auf das Harbor-Framework, das für die Durchführung aller Android Bench-Tests verantwortlich ist. Diese Änderung gewährleistet eine konsistentere Modellbewertung, reproduzierbare Ergebnisse und eine schnellere Integration neuer Testszenarien. Darüber hinaus bewertet das neue System nicht nur die Antwortqualität, sondern auch die Kosten und Effizienz des jeweiligen LLM.

Drittanbieter-Entwickler können nun die Ausrichtung des Benchmarks beeinflussen. Google ermutigt Entwickler, reale Arbeitsaufgaben zu teilen und Methoden zur Modellbewertung zu diskutieren, was dazu beiträgt, das Testset regelmäßig zu aktualisieren und die Nutzungsszenarien von LLMs in der Android-Entwicklung genauer abzubilden.

In der Ergebnistabelle wurden mehrere Sprachmodelle hinzugefügt, darunter Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Max und Qwen 3.7 Plus. Derzeit belegen die ersten drei Plätze Claude Fable 5, GPT 5.5 und Claude Sonnet 5.