Gesten, Sprache und eine kompakte, KI-gestützte Mensch-Maschine-Schnittstelle am Rand

Autoren: Jordan Rose, Field Application Engineer bei Rutronik, und Stephan Menze, Leiter des globalen Innovationsmanagements bei Rutronik

Multimodale Schnittstelle basierend auf PSOC

Berührung, Sprache und Gesten: Ein Demonstrator zeigt, wie moderne Mensch-Maschine-Interaktion auf engstem Raum realisiert werden kann. Eingebettete Intelligenz in Kombination mit flexiblen Schnittstellen ermöglicht intuitive und hochreaktive Bedienkonzepte.

Die Art und Weise, wie Menschen mit Maschinen interagieren, entwickelt sich rasant. Obwohl Touchscreens bereits zum Alltag gehören, gewinnen kontaktlose Bedienkonzepte zunehmend an Bedeutung, insbesondere in Anwendungsbereichen, in denen Hygiene, Umgebungsbedingungen oder physische Einschränkungen eine wichtige Rolle spielen.

Der vorgestellte Demonstrator (Abbildung 1) zeigt, wie verschiedene Sensorprinzipien – Radar, Sprache und Berührung – in einem einzigen eingebetteten System kombiniert werden können, um eine robuste Mensch-Maschine-Schnittstelle (HMI) zu realisieren. Ziel war es, die Zuverlässigkeit des Erkennungssystems gegenüber äußeren Einflüssen wie hellem Sonnenlicht, Regen, Umgebungsgeräuschen oder Situationen mit verschmutzten Händen bzw. getragenen Handschuhen zu demonstrieren. Der im Rahmen interner und Kundenprojekte entwickelte Demonstrator dient als praktische Grundlage für den Wissenstransfer zu Hardware, Software und Algorithmen für die Gestenerkennung mittels Radar und Sprachsteuerung.

Allgemeine Systemarchitektur

Der Demonstrator vereint alle wesentlichen Elemente einer modernen multimodalen Mensch-Maschine-Schnittstelle in einem kompakten Design. Die Integration von Gesten- und Sprachsteuerung, Motorsteuerung und grafischer Visualisierung erfordert eine sorgfältig abgestimmte Architektur, die diverse Sensor- und Aktorschnittstellen verwalten und parallele Echtzeitverarbeitung unterstützen kann.

Eine der größten Herausforderungen bestand darin, heterogene Komponenten mit unterschiedlichen elektrischen Schnittstellen – von Hochgeschwindigkeits-Display-Anschlüssen bis hin zu latenzkritischen Sensoreingängen – auf einer einzigen Mikrocontroller-Plattform zu integrieren. Der Infineon PSoC Edge stellt die für die Signalverarbeitung und Steuerung notwendige Rechenleistung und Peripherie bereit. Das Echtzeitbetriebssystem FreeRTOS koordiniert die einzelnen Aufgaben und verwaltet Datenflüsse und Steuerbefehle über den internen AHB-Bus.

Tabelle 1. Hauptkomponenten des Demonstrators

Gestenerkennung mittels 60-GHz-Radar

Die Gestenerkennung ist das zentrale Steuerungselement des Demonstrators. Erfasst werden Bewegungen nach links und rechts, die die Motordrehzahl erhöhen oder verringern, sowie eine „Drücken“-Geste zum Anhalten. Kern des Systems ist ein 60-GHz-FMCW-Radarsensor zur Bewegungserkennung. Die gesamte Signalverarbeitung erfolgt auf dem Cortex-M55-Kern des PSoC Edge. Da kein maschinelles Lernen zum Einsatz kommt, verkürzt sich die Entwicklungszeit und das Training entfällt.

Gestenerkennungsprozess (Abbildung 2):

• Eingabedaten: Magnitude und Einfallswinkel (AoA), wobei nur der Azimut verwendet wird, da derzeit nur die linke und rechte Richtung unterschieden werden.
• Erfassung: 60-GHz-FMCW-Radar mit einer Sende- und drei Empfangsantennen, das für jede Antenne ein unabhängiges Signal liefert.
• Bewegungserkennung: FFT-Doppler für jedes Antennensignal, um sich bewegende Ziele zu identifizieren und statische Objekte zu unterdrücken.
• Richtungsbestimmung: Berechnung des Azimutwinkels aus den Phasendifferenzen zwischen den Empfangsantennen.
• Gestenklassifizierung: Analyse der zeitlichen Entwicklung des Azimutwinkels zur Erkennung von Bewegungen wie „nach links wischen“, „nach rechts wischen“ oder „klicken“.

Abbildung 2. Gestenerkennung mit dem Infineon BGT60TR13C-Radar. (Quelle: Rutronik System Solutions)

Die Latenz beträgt etwa 10 ms nach Bewegungsende. Gesten können in Entfernungen zwischen 5 und 30 cm erkannt werden, bei korrekter Systemkonfiguration sogar in größeren Entfernungen, selbst unter komplexen Bedingungen mit Reflexionen und typischen Umwelteinflüssen wie Sonnenlicht. Durch die Berücksichtigung des Höhenwinkels (vertikaler Winkel) können zusätzliche Gesten wie Aufwärts- oder Abwärtsbewegungen erkannt werden.

Die Gestenerkennung wird durch Sprachsteuerung auf Basis von Schlüsselworterkennung ergänzt. Sprachsignale werden von einem MEMS-Mikrofon erfasst, im Cortex-M55 des PSoC Edge vorverarbeitet und von einem trainierten neuronalen Netzwerk ausgewertet. Dieses Netzwerk, bestehend aus mehreren Faltungsschichten, ist für die Erkennung einer begrenzten Anzahl klar definierter Schlüsselwörter wie „Start“ oder „Stopp“ optimiert.

Das Modell wurde in Python mit Keras und TensorFlow entwickelt und anschließend mithilfe des ML Configurators von Infineon an den PSOC Edge angepasst. Die Inferenz wird auf dem Cortex-M55 mit einem optimierten TensorFlow Lite Micro durchgeführt.

Prozess der Schlüsselwortfindung (Abbildung 3):

• Audioaufnahme: Das digitale MEMS-Mikrofon (16 kHz) liefert PDM-Daten.
• Vorverarbeitung: Umwandlung in eine MEL-Filterbank durch Zeitsegmentierung (≈530 µs).
• Inferenz: Auswertung von MEL-Spektren mithilfe eines mehrschichtigen Faltungs-CNN.
• Ergebnis: Das erkannte Schlüsselwort wird als Steuerbefehl an den Motor oder andere Systemfunktionen übertragen.

Abbildung 3. Prozess der Stichwortfindung. (Quelle: Rutronik System Solutions)

BLDC-Motorsteuerung mit Hall-Sensoren

Ein bürstenloser Gleichstrommotor (24 V, maximal 4.800 U/min), der direkt vom Mikrocontroller gesteuert wird, reagiert unmittelbar auf Gesten- und Sprachbefehle. Dank integrierter Hall-Sensoren erfasst das System die aktuelle Drehzahl und passt sie entsprechend den empfangenen Befehlen an.

Das Infineon IFX007T Dreifach-Halbbrückenmodul dient zur Steuerung und wird über PWM-Signale und digitale Steuerleitungen angesteuert. Die Drehzahlregelung erfolgt mit einer Abtastfrequenz von 1 kHz und gewährleistet so schnelle und präzise Änderungen.

Touchscreen-Benutzeroberfläche

Der Systemstatus wird über einen 7-Zoll-kapazitiven Touchscreen mit einer Auflösung von 1.024 × 600 Pixeln angezeigt. Das Display zeigt unter anderem die Motordrehzahl, erkannte Gesten und den Status der Sprachsteuerung an.

Die grafische Benutzeroberfläche wird direkt auf dem Mikrocontroller mithilfe der Open-Source-Bibliothek LVGL generiert. Durch die effiziente Nutzung von Speicher und Rechenressourcen können die grafische Benutzeroberfläche, die Gestenerkennung und die Echtzeit-Sprachverarbeitung gleichzeitig ausgeführt werden. Die Bildwiederholrate von ca. 10 Bildern pro Sekunde ist ausreichend, um Statusmeldungen anzuzeigen und Betriebsinformationen bereitzustellen.

Spezifische Herausforderungen und Erkenntnisse

Ein zentrales Merkmal des Demonstrators ist der direkte Vergleich zweier Ansätze: konventionelle Signalverarbeitung und maschinelles Lernen. Bei der Gestenerkennung mittels 60-GHz-Radar wurde bewusst auf maschinelles Lernen verzichtet, da es funktional nicht erforderlich war. Dies ermöglicht eine robuste, schnelle und trainingsfreie Erkennung sowie eine hohe Unempfindlichkeit gegenüber externem Licht, akustischen Störungen und Veränderungen der Handposition.

Im Gegensatz dazu nutzt die Sprachsteuerung mittels Keyword-Spotting ein neuronales Netzwerk, das für eine begrenzte Anzahl von Schlüsselwörtern vortrainiert und optimiert wurde. Hier entfaltet maschinelles Lernen sein volles Potenzial und ermöglicht präzise Reaktionen auf klar definierte, wiederkehrende Ereignisse. Die Algorithmen greifen auf öffentlich verfügbare Datensätze zurück, um die Erkennungsstabilität zu verbessern.

Dieser hybride Ansatz – der klassische Signalverarbeitung nutzt, wo sie Geschwindigkeit und Robustheit bietet, und maschinelles Lernen, wo es die Erkennungsfähigkeiten verbessert – zeigt, wie verschiedene Methoden kombiniert werden können, um eine praktische und vielseitige HMI-Lösung zu entwickeln.

Ein weiteres Ziel war der Nachweis, dass alle Funktionen – Gestenerkennung, Sprachsteuerung, Motorsteuerung und grafische Visualisierung – vollständig auf einem einzigen Mikrocontroller implementiert werden können. Dies erforderte eine nahtlose Hardware- und Softwareintegration sowie die Echtzeitverarbeitung mehrerer Sensordatenströme innerhalb der begrenzten Ressourcen einer eingebetteten Plattform. Dazu gehörte die Koordination verschiedener Schnittstellen, die Minimierung der Latenz und die effiziente Priorisierung von Daten. Die modulare Architektur und die strikte funktionale Trennung ermöglichen eine flexible Anpassung des Systems an unterschiedliche Anwendungen und bieten Entwicklern eine sofort einsatzbereite Grundlage.

Perspektiven und Transfer in reale Anwendungen

Die Kombination von Radar, Audio und Motorsteuerung in einem einzigen System beweist nicht nur die technologische Machbarkeit, sondern bietet auch eine praktische Plattform für den Wissenstransfer. Kunden profitieren von sofort einsatzbereiten Softwarebeispielen, mit denen sie eigene Tests durchführen oder schnell kundenspezifische Anwendungen entwickeln können, wodurch sich die Implementierungszeiten deutlich verkürzen.

Der Demonstrator kann als Referenzplattform genutzt und an spezifische Projekte angepasst werden. Er eignet sich auch für spezielle Umgebungen wie Reinräume oder Gloveboxen. Die Hardware- und Softwareplattform sowie ergänzende Ressourcen – Beispielcode, Schaltpläne, Anwendungshinweise und Anleitungen – sind auf Anfrage erhältlich. Spezifische Anpassungen sind ebenfalls möglich, beispielsweise durch die Integration neuer Funktionen, die Modifizierung der Spracherkennung oder die Erweiterung der Gestenerkennung.

Ein Beispiel für Übertragbarkeit ist die Implementierung eines neuronalen Netzes auf einer RDK2-Plattform in Verbindung mit einem RAB3-Radar. Sobald die Prinzipien der Datenerfassung, des Trainings und des Einsatzes neuronaler Netze verstanden sind, lassen sich diese Methoden problemlos auf andere Plattformen übertragen. Das Toolset von Infineon unterstützt diesen Prozess und vereinfacht die Portierung.

Darüber hinaus sind zukünftige Erweiterungen im Bereich der Radartechnologie geplant, um neue Anwendungsfälle zu entwickeln und den Funktionsumfang zu erweitern. Daher ist der Demonstrator nicht nur eine aktuelle Technologieplattform, sondern auch eine offene Grundlage für die Entwicklung intelligenter, sensorbasierter HMI-Lösungen für eingebettete Systeme.