Gestes, voix et une interface homme-machine compacte basée sur l'IA en périphérie

Auteurs : Jordan Rose, ingénieur d’application chez Rutronik, et Stephan Menze, responsable de la gestion de l’innovation mondiale chez Rutronik

Interface multimodale basée sur PSOC

Toucher, voix et gestes : une démonstration illustre comment l’interaction homme-machine moderne peut être mise en œuvre dans des espaces restreints. L’intelligence embarquée, associée à des interfaces flexibles, permet des concepts de manipulation intuitifs et très réactifs.

La façon dont les humains interagissent avec les machines évolue rapidement. Si les écrans tactiles font déjà partie intégrante de notre quotidien, les concepts de fonctionnement sans contact prennent une importance croissante, notamment dans les applications où l'hygiène, les conditions environnementales ou les limitations physiques sont des facteurs déterminants.

Le démonstrateur présenté (Figure 1) illustre comment différents principes de détection – radar, voix et toucher – peuvent être combinés au sein d'un même système embarqué afin de créer une interface homme-machine (IHM) robuste. L'objectif était de démontrer la fiabilité du système de reconnaissance face à des facteurs externes tels qu'une forte luminosité, la pluie, le bruit ambiant ou des situations où les mains sont sales ou gantées. Développé dans le cadre de projets internes et clients, ce démonstrateur constitue une base pratique pour le transfert de connaissances relatives au matériel, aux logiciels et aux algorithmes de reconnaissance gestuelle par radar et commande vocale.

Architecture générale du système

Ce démonstrateur réunit, dans un format compact, tous les éléments essentiels d'une interface homme-machine multimodale moderne. L'intégration de la commande gestuelle et vocale, de la commande motrice et de la visualisation graphique exige une architecture soigneusement coordonnée, capable de gérer diverses interfaces de capteurs et d'actionneurs, ainsi que de prendre en charge le traitement parallèle en temps réel.

L'un des principaux défis consistait à intégrer des composants hétérogènes dotés d'interfaces électriques différentes — des connexions d'affichage haute vitesse aux entrées de capteurs à latence critique — sur une plateforme de microcontrôleur unique. Le PSoC Edge d'Infineon fournit la puissance de traitement et les périphériques nécessaires au traitement et au contrôle du signal. Le système d'exploitation temps réel FreeRTOS coordonne les différentes tâches et gère les flux de données et les commandes de contrôle via le bus AHB interne.

Tableau 1. Principaux composants du démonstrateur

Reconnaissance gestuelle utilisant un radar à 60 GHz

La reconnaissance gestuelle est l'élément de contrôle principal du démonstrateur. Les mouvements de gauche à droite, qui augmentent ou diminuent la vitesse du moteur, sont détectés, ainsi qu'une simple pression pour l'arrêter. Le système repose sur un capteur radar FMCW de 60 GHz pour la détection de mouvement. Le traitement du signal est entièrement réalisé par le cœur Cortex-M55 du PSoC Edge. L'absence d'apprentissage automatique permet de réduire le temps de développement et d'éliminer toute phase d'entraînement.

Processus de reconnaissance gestuelle (Figure 2) :

• Données d'entrée : magnitude et AoA (angle d'arrivée), en utilisant uniquement l'azimut, car actuellement seules les directions gauche et droite sont distinguées.
• Capture : radar FMCW 60 GHz avec une antenne d'émission et trois antennes de réception, fournissant un signal indépendant par antenne.
• Détection de mouvement : FFT Doppler pour chaque signal d’antenne afin d’identifier les cibles mobiles et de supprimer les objets statiques.
• Détermination de la direction : calcul de l'angle d'azimut à partir des différences de phase entre les antennes de réception.
• Classification des gestes : analyse de l’évolution temporelle de l’angle d’azimut pour détecter des mouvements tels que « glisser vers la gauche », « glisser vers la droite » ou « cliquer ».

Figure 2. Reconnaissance gestuelle à l'aide du radar Infineon BGT60TR13C. (Source : Rutronik System Solutions)

Le délai de latence est d'environ 10 ms après la fin du mouvement. Les gestes sont reconnaissables à des distances comprises entre 5 et 30 cm, voire plus si le système est correctement configuré, même dans des conditions de réflexion complexes et en présence de facteurs environnementaux typiques comme la lumière du soleil. La prise en compte de l'élévation (angle vertical) permettrait la reconnaissance de gestes supplémentaires, tels que les mouvements vers le haut ou vers le bas.

La reconnaissance gestuelle est complétée par la commande vocale basée sur la détection de mots-clés. Les signaux vocaux sont capturés par un microphone MEMS, prétraités par le Cortex-M55 du PSoC Edge, puis analysés par un réseau neuronal entraîné. Ce réseau, composé de plusieurs couches convolutionnelles, est optimisé pour reconnaître un ensemble limité de mots-clés clairement définis, tels que « démarrer » ou « arrêter ».

Le modèle a été développé en Python avec Keras et TensorFlow, puis adapté au PSOC Edge grâce à l'outil ML Configurator d'Infineon. L'inférence est réalisée sur le Cortex-M55 avec une version optimisée de TensorFlow Lite Micro.

Processus de repérage des mots clés (Figure 3) :

• Capture audio : Le microphone numérique MEMS (16 kHz) fournit des données PDM.
• Prétraitement : conversion en banc de filtres MEL par segmentation temporelle (≈530 µs).
• Inférence : évaluation des spectres MEL à l'aide d'un CNN convolutionnel multicouche.
• Résultat : Le mot-clé reconnu est transmis comme commande au moteur ou à d'autres fonctions du système.

Figure 3. Processus de repérage des mots clés. (Source : Rutronik System Solutions)

Commande de moteur BLDC avec capteurs à effet Hall

Un moteur à courant continu sans balais (24 V, jusqu'à 4 800 tr/min), piloté directement par le microcontrôleur, assure une réponse immédiate aux commandes gestuelles et vocales. Grâce à des capteurs à effet Hall intégrés, le système détecte la vitesse actuelle et l'ajuste en fonction des commandes reçues.

Le module triple demi-pont Infineon IFX007T est utilisé pour la commande, piloté par des signaux PWM et des lignes de commande numériques. La régulation de vitesse est effectuée à une fréquence d'échantillonnage de 1 kHz, garantissant des changements rapides et précis.

interface utilisateur tactile

L'état du système est affiché sur un écran tactile capacitif de 7 pouces d'une résolution de 1.024 × 600 pixels. L'écran affiche notamment la vitesse du moteur, les gestes reconnus et l'état de la commande vocale.

L'interface graphique est générée directement sur le microcontrôleur à l'aide de la bibliothèque open source LVGL. L'utilisation efficace de la mémoire et des ressources de traitement permet l'exécution simultanée de l'interface graphique, de la reconnaissance gestuelle et du traitement vocal en temps réel. La fréquence de rafraîchissement d'environ 10 images par seconde est suffisante pour l'affichage des états et le retour d'information opérationnel.

Défis spécifiques et leçons apprises

L'une des principales caractéristiques de ce démonstrateur est la comparaison directe entre deux approches : le traitement conventionnel du signal et l'apprentissage automatique. Dans le cas de la reconnaissance gestuelle par radar à 60 GHz, l'apprentissage automatique a été délibérément omis, car il n'était pas nécessaire au fonctionnement du système. Ceci permet une détection robuste, rapide et sans apprentissage, ainsi qu'une forte immunité à la lumière extérieure, aux interférences acoustiques et aux variations de position de la main.

À l'inverse, la commande vocale par détection de mots-clés utilise un réseau neuronal pré-entraîné et optimisé pour un ensemble limité de mots-clés. Dans ce domaine, l'apprentissage automatique déploie tout son potentiel, permettant des réponses précises à des événements récurrents et clairement définis. Les algorithmes s'appuient sur des ensembles de données publics pour améliorer la stabilité de la reconnaissance.

Cette approche hybride – utilisant le traitement classique du signal là où il assure rapidité et robustesse, et l’apprentissage automatique là où il améliore les capacités de reconnaissance – démontre comment différentes méthodes peuvent être combinées pour développer une solution IHM pratique et polyvalente.

Un autre objectif était de démontrer que toutes les fonctions (reconnaissance gestuelle, commande vocale, commande motrice et visualisation graphique) pouvaient être entièrement implémentées sur un seul microcontrôleur. Pour y parvenir, il a fallu une intégration matérielle et logicielle parfaite, ainsi qu'un traitement en temps réel de multiples flux de données de capteurs, compte tenu des ressources limitées d'une plateforme embarquée. Cela a impliqué la coordination de différentes interfaces, la minimisation de la latence et une priorisation efficace des données. L'architecture modulaire et la stricte séparation des fonctions permettent d'adapter le système avec souplesse à différentes applications et offrent aux développeurs une base prête à l'emploi.

Perspectives et transfert aux applications concrètes

L'intégration du radar, du système audio et du contrôle moteur au sein d'un système unique démontre non seulement sa faisabilité technologique, mais offre également une plateforme pratique pour le transfert de connaissances. Les clients bénéficient d'exemples de logiciels prêts à l'emploi qui leur permettent de réaliser leurs propres tests ou de développer rapidement des applications personnalisées, réduisant ainsi considérablement les délais de mise en œuvre.

Le démonstrateur peut servir de plateforme de référence et être adapté à des projets spécifiques. Il convient également aux environnements particuliers tels que les salles blanches ou les boîtes à gants. La plateforme matérielle et logicielle, ainsi que les ressources complémentaires (exemples de code, schémas électriques, notes d'application et instructions), sont disponibles sur demande. Des adaptations spécifiques sont également possibles, par exemple l'intégration de nouvelles fonctions, la modification de la reconnaissance vocale ou l'extension des capacités de reconnaissance gestuelle.

Un exemple de transférabilité est la mise en œuvre d'un réseau neuronal sur une plateforme RDK2, en association avec un radar RAB3. Une fois les principes d'acquisition de données, d'apprentissage et de déploiement des réseaux neuronaux assimilés, ces méthodes peuvent être facilement transférées vers d'autres plateformes. L'écosystème d'outils d'Infineon facilite ce processus et simplifie la portabilité.

De plus, des développements futurs dans le domaine de la technologie radar sont prévus afin de créer de nouveaux cas d'utilisation et d'élargir le champ des fonctionnalités. Par conséquent, le démonstrateur constitue non seulement une plateforme technologique actuelle, mais aussi une base ouverte pour le développement de solutions IHM intelligentes, basées sur des capteurs, pour les environnements embarqués.