Forschende decodierten die neuronale Aktivität eines gelähmten Probanden in Echtzeit, um einen personalisierten virtuellen Avatar zu steuern, der durch Sprache und Gesten kommunizieren kann. Bildquelle: University of California, San Francisco
Die Fachzeitschrift „Nature Neuroscience" veröffentlichte am 14. eine neue neurowissenschaftliche Studie: Ein einzelnes Gehirnimplantat kann gleichzeitig die Sprache und Gesten eines gelähmten Patienten decodieren. Ein US-amerikanisches Forschungsteam decodierte die neuronale Aktivität eines gelähmten Probanden in Echtzeit, um einen personalisierten virtuellen Avatar zu steuern, der durch Sprache und Gesten kommunizieren kann. Die Ergebnisse treiben die Entwicklung von Brain-Computer-Interfaces voran und könnten gelähmten Patienten zu einer natürlicheren Kommunikation verhelfen.
Die natürliche menschliche Kommunikation kombiniert häufig Sprache mit Gesten, etwa Winken, Nicken oder anderen Bewegungen des Oberkörpers. Schlaganfälle und neurodegenerative Erkrankungen wie die amyotrophe Lateralsklerose können sowohl die Sprachfähigkeit als auch die motorischen Fähigkeiten des Körpers beeinträchtigen und die soziale Interaktionsfähigkeit der Patienten schwächen.
Brain-Computer-Interfaces sollen Gehirnaktivität in Befehle zur Steuerung externer Geräte umwandeln, um verlorene Funktionen wiederherzustellen. Die Technologie der Brain-Computer-Interfaces baut auf mehr als zehn Jahren Forschung auf. Frühere Ansätze verwendeten häufig Elektroden auf der kortikalen Oberfläche oder in den Kortex eindringende Mikroelektroden, um die neuronale Aktivität in den sprachbezogenen motorischen Arealen aufzuzeichnen und anschließend mithilfe von maschinellem Lernen die beabsichtigten Laute, Wörter und Sätze in Text oder synthetische Sprache umzuwandeln; der motorische Ansatz konzentrierte sich lange auf die Steuerung von Cursorn, Roboterarmen oder Greifbewegungen über die Arm- und Handregionen. Sprache und Bewegungen der oberen Extremitäten bzw. des Kopf- und Gesichtsbereichs überlappen jedoch teilweise im sensomotorischen Kortex, sodass separat trainierte Decoder, die „nur sprechen" oder „nur bewegen", bei paralleler Nutzung gegenseitige Störungen verursachen können. Auch frühere Studien konzentrierten sich meist getrennt auf Sprache oder Bewegung.
In der aktuellen Studie zeichnete das Team der University of California, San Francisco, mithilfe eines über dem sensomotorischen Kortex platzierten Gehirnimplantats die neuronale Aktivität von drei Teilnehmern mit Lähmungen des Sprechapparats und der Gliedmaßen auf. Zunächst wiesen sie nach, dass ein einzelnes Implantat Signale erfassen kann, die mit verschiedenen Bewegungsarten zusammenhängen, darunter Bewegungen der oberen Extremitäten sowie sprachbezogene Mund- und Gesichtsbewegungen wie Schulterzucken, Faustballen und -schwingen oder Nicken. Anschließend setzten sie bei zwei der Teilnehmer parallele Sprach- und Gestendecoder ein, um einen Ganzkörper-Avatar zu steuern; die Teilnehmer wurden aufgefordert, bestimmte Gesten auszuführen, auf Dialogaufforderungen zu reagieren oder beides gleichzeitig zu tun.
In Dialogaufgaben decodierte das System die Sprache und Gesten der beiden Teilnehmer präzise: Bei einem der Teilnehmer erreichte die mediane Genauigkeit der Sprach- und Gestendecodierung in drei Dialogaufgabenblöcken jeweils 100 %.
Das Team stellte fest, dass das gleichzeitige Training des Systems mit Sprach- und Gestendaten die Leistung verbessern und Fehler reduzieren kann. Es wies darauf hin, dass diese Technologie vor der Anwendung weitere Teilnehmer sowie Tests mit größeren Wortschatz- und Gestensätzen erfordert.