Rockchip und Agora veröffentlichen gemeinsame Roboter-Parallelsteuerungslösung mit einer Latenz von unter 200 Millisekunden

de.wedoany.com-Bericht: Der chinesische Halbleiterhersteller Rockchip und der Echtzeit-Interaktionsdienstleister Agora haben gemeinsam eine standardisierte Roboter-Parallelsteuerungslösung vorgestellt. Die Lösung basiert hardwaretechnisch auf den wichtigsten Roboter-Chips RK3588 und RK3576 von Rockchip, ist tief in das selbst entwickelte Rockit-Multimedia-Framework integriert und kombiniert die Audio-/Video-Funktionen von Agora RTC mit den Echtzeit-Signalisierungsfähigkeiten von RTM. In 4G-, 5G- und Wi-Fi-Netzwerken liegt die Ende-zu-Ende-Latenz der Lösung stabil unter 200 Millisekunden, der Median der Netzwerklatenz beträgt lediglich 76 Millisekunden. Dies bietet Robotern aller Kategorien standardisierte Fernbildübertragung und Echtzeit-Eingriffsmöglichkeiten durch Menschen.

Der Markt für Serviceroboter wächst derzeit rasant, mit hoher Nachfrage nach vierbeinigen Robotern, Mährobotern, industriellen Inspektionsrobotern und anderen Geräten. Die Parallelsteuerung ist ein zentrales Muss für die Mensch-Roboter-Integration. Die Branche leidet jedoch unter fragmentierten Kommunikationslösungen, langen Entwicklungszyklen und der Anfälligkeit der Steuerung in schwachen Netzumgebungen. Die nun vorgestellte Hardware-Software-Lösung nutzt die zugrunde liegende Rechenleistung der Rockchip-Chips, um eine vollständige Kette vom Endgerät bis zur Cloud zu schaffen und so die Entwicklungskosten für Hersteller zu senken.

Die Parallelsteuerung ist die Sicherheitsbasis für die skalierte Einführung von Robotern. Die autonome Navigation und Hindernisvermeidung von Robotern bewältigt Standardszenarien, doch in unbekannten Situationen wie Fabrikhallen mit Gegenständen, unebenem Gelände im Freien oder plötzlichen Hindernissen im Haushalt ist ein manueller Ferneingriff erforderlich. In komplexen realen Umgebungen ist der ultimative menschliche Eingriff ein langfristiger Bedarf; die Parallelsteuerung ist die Sicherheitsgarantie für den kommerziellen Einsatz von Robotern. Bisher entwickelten Hersteller oft eigene Kommunikationsverbindungen, was zu monatelangen Einrichtungszeiten führte. In schwachen Netzumgebungen traten leicht Bildverzögerungen und Befehlsverluste auf. Die RK3588 und RK3576 von Rockchip sind bereits zu den branchenweit dominierenden Hauptsteuerchips für Roboter geworden. Durch die gemeinsame Optimierung auf dieser Ebene erhalten Geräte mit dieser Chip-Serie nativ stabile Fernsteuerungsfähigkeiten.

Bei dieser Lösung handelt es sich nicht um eine einfache Schnittstellenkopplung, sondern um eine gemeinsame Optimierung der gesamten Kette – vom Befehlssatz des Rockchip-Chips bis zur Cloud-Signalisierung. Kernstück ist die Hardwarebeschleunigung durch das selbst entwickelte Rockit-Framework von Rockchip. Das Rockit-Framework verwendet eine modulare Architektur, die grundlegende Funktionen wie Erfassung, Kodierung/Dekodierung und Bildvorverarbeitung einheitlich kapselt und die komplexe zugrunde liegende Logik des Chips verbirgt. Agora hat auf Basis dieses Frameworks eine spezielle Anpassung vorgenommen und kann direkt die Hardware-Kodierungs-/Dekodierungseinheiten von Rockchip nutzen, wodurch Verluste durch mehrfache Datenkonvertierungen reduziert werden. Dies senkt die Latenz und verkürzt die Entwicklungszeit.

In Bezug auf die Hardware-Rechenleistung des Chips ist der RK3588 mit einer Achtkern-CPU und einer selbst entwickelten NPU mit 6 TOPS Rechenleistung ausgestattet. Er unterstützt die Hardware-Kodierung/Dekodierung mehrerer 8K-Streams und kann gleichzeitig mehrere Aufgaben wie SLAM-Wahrnehmung, KI-Erkennung und hochauflösende Bildübertragung ausführen. Der RK3576 wiederum zeichnet sich durch seine heterogene Architektur aus, die Echtzeitsteuerung und geringen Stromverbrauch vereint. Die Hauptsteuerchips von Rockchip werden bereits in großen Stückzahlen an führende Roboterunternehmen wie Unitree, Deep Robotics, Ecovacs und Geek+ als universelle Roboter-Rechenplattform geliefert.

Bei der Optimierung der Hardware-Integration des Frameworks ist die Rockit-Media-Pipeline tief mit der Echtzeit-Kommunikations-Engine von Agora verbunden. Der gesamte Prozess der Audio-/Videoerfassung, -kodierung, -übertragung und -wiedergabe wird hardwarebeschleunigt, was sowohl die Echtzeitfähigkeit der Steuerung als auch den geringen Stromverbrauch des Gesamtsystems gewährleistet.

Gemeinsame Tests beider Unternehmen zeigen herausragende gemessene Kernleistungsdaten der Lösung. Die Ende-zu-Ende-Latenz liegt unter 200 Millisekunden, in den meisten Szenarien sogar bei nur 150 Millisekunden. Der Median der Netzwerklatenz beträgt 76 Millisekunden, was eine natürliche Synchronisation der Steuerungsrückmeldung ermöglicht. Bei einem Paketverlust von 80 % bei Audio/Video bleibt das Bild kontinuierlich und die Fernsteuerung wird nicht unterbrochen. Bei einer Verlustrate von 70 % bei Steuersignalen liegt die Zustellrate von Befehlen wie Drehen, Greifen, Starten und Stoppen bei nahezu 100 %. Die gesamte Lösung nutzt die zugrunde liegende Rechenleistung des Chips, um die zentralen Probleme der Fernsteuerung zu lösen und trägt dazu bei, Sicherheitsbedenken für den kommerziellen Einsatz der Geräte auszuräumen.

Dank der ausgewogenen Rechenleistung der Rockchip-Chips deckt die Lösung fünf Hauptanwendungsbereiche ab. Im Industriesektor eignet sie sich für Roboterarme, AGVs und Inspektionsroboterhunde und ermöglicht ferngesteuerte Arbeiten in gefährlichen Werkhallen sowie die koordinierte Steuerung mehrerer Maschinen. In der Landwirtschaft kann sie für Ernte-, Teepflück- und Mähroboter eingesetzt werden, um eine Echtzeitübertragung von Feldbildern und die ferngesteuerte Fehlerbehebung zu ermöglichen. Im städtischen Dienstleistungsbereich unterstützt sie Kehr- und Lieferroboter und gewährleistet eine stabile Steuerung in offenen Parkumgebungen. Im Haushalt kann sie für Begleit- und Saugroboter genutzt werden und ermöglicht die Fernansicht und Echtzeitinteraktion über mobile Endgeräte. Im Bereich der öffentlichen Sicherheit ist sie für Feuerwehr- und Grenzpatrouillengeräte geeignet und erfüllt die Anforderungen an die Echtzeitübertragung von Bildern von Gefahrenorten und ferngesteuerte Eingriffe.

Jedes Team, das auf Basis des RK3588 oder RK3576 Roboter entwickelt, kann sich direkt an Agora oder Rockchip wenden, um ein vollständiges Entwicklungs-Demo zu erhalten, die Parallelsteuerungsfähigkeit schnell zu integrieren und die Markteinführungszeit zu verkürzen.