Gant IA pour personnes sourdes et muettes

Abstract

Le handicap auditif engendre des barrières de communication majeures, isolant so cialement les personnes sourdes et muettes. Pour surmonter les limites des systèmes de vision artificielle, ce projet présente la conception et la réalisation de GESTÉO, un gant intelligent multimodal dédié à la traduction empathique de la langue des signes en texte et en parole en temps réel. L'architecture matérielle s'articule autour d'un microcontrôleur ESP32 interfacé avec des capteurs de flexion, une centrale inertielle (MPU-6050) pour la cinématique spatiale, et un capteur photopléthysmographique (MAX30102) pour l'acquisition physiologique. Le sys tème déploie une approche d'intelligence artificielle hybride Edge-to-Cloud : un routage dyna mique dirige les données vers une Forêt Aléatoire (Random Forest) pour les gestes statiques ou un réseau profond DeepConvLSTM pour la dynamique temporelle. Une stratégie novatrice de fusion de données, incluant un mécanisme « Idle Lock », permet de filtrer les artefacts de mouvement et d'extraire la charge émotionnelle à partir du rythme cardiaque. De plus, l'inté gration du modèle de langage Llama 3.1 assure une traduction contextuelle et naturelle, resti tuée visuellement et vocalement via une application mobile immersive développée sous Unity 3D. Les expérimentations menées sur le prototype fabriqué valident la robustesse du dispositif, atteignant une précision de reconnaissance de 96,2 % sur un ensemble de données de 16 classes gestuelles. Le système maintient une latence globale d'environ 1,5 seconde, garantissant une communication fluide, couplée à une autonomie énergétique estimée à 4,5 heures. En combi nant l'intelligence artificielle séquentielle et l'informatique affective, ce projet dépasse la tra duction littérale pour offrir une interaction véritablement empathique, contribuant ainsi signi ficativement à l'inclusion socio-professionnelle des personnes malentendantes et ouvrant de nouvelles perspectives pour les interfaces homme-machine.