de.wedoany.com-Bericht: Das Forscherteam um Professor Zhang Man vom College of Information and Electrical Engineering der China Agricultural University hat in der chinesischen Fachzeitschrift „Engineering“ der Chinesischen Akademie der Ingenieurwissenschaften einen Forschungsartikel mit dem Titel „Multimodal Feature Representation Mechanism for 3D Detection of Agricultural Obstacles with Few or Zero Samples“ veröffentlicht. Die Studie adressiert den Bedarf an sicherer Wahrnehmung von Feldhindernissen für die autonome Navigation intelligenter Landmaschinen und schlägt eine auf multimodaler Merkmalsrepräsentation basierende Methode zur 3D-Erkennung landwirtschaftlicher Hindernisse mit wenigen oder keinen Proben vor. Dies bietet neue Ansätze für den sicheren und zuverlässigen autonomen Betrieb landwirtschaftlicher Maschinen in unstrukturierten Feldumgebungen. Die Zeitschrift „Engineering“ wurde 2015 von der Chinesischen Akademie der Ingenieurwissenschaften gegründet und wird von SCI, EI, Scopus und anderen Datenbanken erfasst. Ihr aktueller SCI-Impact-Faktor beträgt 12,2, und sie belegte zeitweise den Spitzenplatz unter den Fachzeitschriften für Ingenieurwissenschaften weltweit.
Die autonome Navigation landwirtschaftlicher Maschinen ist eine wichtige Grundlage für die Intelligenzsteigerung landwirtschaftlicher Geräte. Die sichere Wahrnehmung von Hindernissen in komplexen Feldumgebungen ist der Schlüssel für einen zuverlässigen autonomen Betrieb. In den letzten Jahren haben Deep-Learning-Methoden, die Kameradaten mit LiDAR-Daten fusionieren, bedeutende Fortschritte bei der 3D-Hinderniserkennung erzielt. Diese Methoden sind jedoch in der Regel auf umfangreich annotierte Trainingsdaten angewiesen. Feldumgebungen zeichnen sich durch Unstrukturiertheit, ausgeprägte saisonale Unterschiede und eine komplexe Vielfalt an Hindernistypen aus. Die Kosten für die Erfassung und Annotation multimodaler Daten sind hoch, und die Generalisierungsfähigkeit der Modelle unter Bedingungen mit wenigen oder gar keinen Proben bleibt das Hauptproblem, das ihre praktische Anwendung einschränkt.
Das vom Forschungsteam vorgeschlagene multimodale Merkmalsrepräsentationssystem integriert einen Bild- und Punktwolken-Positionskorrektor. Es nutzt die von Beidou-Navigationssatellitensystemen und Trägheitsmesseinheiten bereitgestellten Lageinformationen, um durch unwegsames Gelände verursachte Probenlageabweichungen zu korrigieren und so die Genauigkeit, Zuverlässigkeit und Konsistenz der multimodalen Daten zu verbessern. Gleichzeitig werden ein semantischer Merkmalscodierer, ein Geometrie-Intensitäts-Merkmalscodierer und ein räumlicher Fusionsdecoder für die Vogelperspektive aufgebaut. Diese vereinen die semantischen Bildinformationen mit den geometrischen und Intensitätsinformationen der Punktwolken in einem einheitlichen semantisch-geometrisch-intensitätsbasierten Fusionsrepräsentationsraum. Dadurch werden die wesentlichen Beziehungen zwischen den Kategorien erfasst und die Fähigkeit des Modells verbessert, neue Hinderniskategorien unter eingeschränkten Annotationsbedingungen zu erkennen.
Das Team führte Feldversuche auf der Versuchsstation der China Agricultural University in Zhuozhou durch. Diese deckten typische Einsatzszenarien landwirtschaftlicher Maschinen wie Betonstraßen, unbearbeitetes Land und Weizenfelder ab. Es wurden multimodale Daten typischer Hindernisse wie Mähdrescher, Traktoren und Personen erfasst. Die Ergebnisse zeigen, dass die vorgeschlagene Methode eine gute Balance zwischen Erkennungsleistung, Betriebseffizienz und Datenabhängigkeit erreicht. Sie kann die Abhängigkeit des Modells von Trainingsproben um 30 % bis 40 % reduzieren. Unter vollständigen Trainingsbedingungen erreichten die Genauigkeit, der Recall, der F1-Score und die Erkennungsgeschwindigkeit Werte von 95,03 %, 97,01 %, 96,01 % bzw. 16,56 FPS. In einem Zero-Shot-Szenario, in dem für die Hinderniskategorie keinerlei Trainingsproben vorlagen, erzielte die vorgeschlagene Methode dennoch einen F1-Score von 81,63 %.
Diese Ergebnisse tragen dazu bei, die Abhängigkeit der 3D-Hinderniserkennung in komplexen landwirtschaftlichen Umgebungen von umfangreichen annotierten Daten zu verringern. Sie verbessern die Fähigkeit intelligenter Landmaschinen zur sicheren Wahrnehmung unter Bedingungen mit unbekannten Hindernissen, komplexem Gelände und mehreren Objektkategorien. Dies bietet eine technische Grundlage für die autonome Navigation, dynamische Hindernisvermeidung und den zuverlässigen Betrieb intelligenter landwirtschaftlicher Geräte.
Die Arbeit wurde von der China Agricultural University, der Beijing Forestry University, der CRRC Academy und anderen Einrichtungen gemeinsam durchgeführt. Die China Agricultural University ist die erstgenannte Einheit. Professor Zhang Man ist der korrespondierende Autor des Artikels. Der Masterstudent des Jahrgangs 2021 und Preisträger der universitären herausragenden Masterarbeit des Jahres 2024, Wang Tianhai, ist der Erstautor. Die Forschung wurde durch das National Key Research and Development Program of China (2022YFD2001600-2022YFD2001601) gefördert. Auf Einladung der Zeitschrift „Engineering“ nahm Professor Zhang Man am 30. Juni 2026 an der Fachvorlesung „Landwirtschaftliche Sensoren“ der Engineering-Akademie teil und berichtete online über die Forschungsergebnisse.
