Rupture de la barrière des 15 % : un système proactif basé sur des données réelles pour un robot social déclenché par des signaux non verbaux de l'utilisateur

Le déploiement d'un robot humanoïde téléopéré dans un magasin de détail, pendant six jours consécutifs en conditions réelles, a permis de mesurer un phénomène jusque-là peu documenté : 15,3% des prises de parole du robot ont été déclenchées non pas par une commande vocale du client, mais par un signal non verbal, comme le fait de s'approcher, de faire un signe de la main, de pointer du doigt ou de montrer un objet. Ce chiffre est significatif car la quasi-totalité des robots de service actuels reposent sur des pipelines audio en cascade, reconnaissance vocale puis modèle de langage puis synthèse vocale (STT-LLM-TTS), qui ignorent par construction tout ce qui n'est pas parlé. À partir de l'observation des comportements clients, les chercheurs ont défini un ensemble de gestes fréquents et pertinents pour le service, puis développé un système de reconnaissance temps réel, multi-personnes et multi-étiquettes, fonctionnant directement à partir du flux vidéo.

Cette limite des systèmes audio-only a une portée concrète pour les intégrateurs et décideurs qui déploient des robots d'accueil ou de vente : un robot purement conversationnel laisse filer près d'une interaction sur six, celles où le client agit avant ou sans parler. Les auteurs proposent un cadre de dialogue qui conditionne la génération de réponses du modèle de langage sur des jetons de gestes reconnus, et mobilise en option un modèle vision-langage lorsqu'un client montre un article, ce qui permet une réaction proactive sans règles écrites à la main. C'est une preuve que l'ajout de perception visuelle légère à un pipeline LLM existant peut combler un angle mort réel, mesuré en conditions de terrain plutôt qu'en démonstration contrôlée.

L'étude s'inscrit dans un mouvement plus large de robots de service en magasin qui cherchent à dépasser le simple assistant vocal pour gérer des interactions multimodales, un axe déjà exploré par des architectures comme Helix ou GR00T N2 côté manipulation, mais ici appliqué à l'interaction sociale en point de vente. Le système a été validé hors ligne sur les tours de parole déclenchés par du non-verbal, puis démontré sous forme de prototype en ligne réagissant en temps réel. Aucun acteur français ou européen n'est mentionné dans cette publication, qui reste à ce stade une contribution de recherche plutôt qu'un produit commercialisé.