RecherchearXiv cs.RO 3 juin 2026

Suivi du visage ou du corps pour l'interaction humain-robot : un jeu de données égocentrique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié en juin 2026 sur arXiv (arXiv:2606.03694) une évaluation systématique des méthodes de suivi visuel pour la robotique sociale, en s'appuyant sur un jeu de données original capturé via le robot social Furhat. L'enjeu central est la continuité d'identification des utilisateurs pendant une interaction : lorsqu'un robot perd de vue son interlocuteur, même brièvement, il peut confondre deux personnes distinctes, phénomène désigné sous le terme "identity switch" (IDSW). L'étude compare deux approches (suivi par le visage versus suivi par le corps entier) et évalue l'effet de deux mécanismes complémentaires : la mémoire spatiale étendue et la réidentification par apparence (ReID). Le pipeline optimisé qui en résulte réduit les IDSW de 49 %, limitant ainsi les ruptures de dialogue entre humains et robots.

Les résultats mettent en lumière une tension technique inattendue : la ReID améliore substantiellement la stabilité du suivi corporel, mais dégrade celui du visage en raison d'une sensibilité aux angles de profil. Ce comportement antagoniste n'est pas anodin pour les intégrateurs de systèmes HRI, qui ne peuvent pas transposer mécaniquement les mêmes optimisations à toutes les modalités de tracking. Plus fondamentalement, l'étude confirme que les modèles de vision par ordinateur les plus performants, conçus pour la vidéosurveillance ou la conduite autonome, ne couvrent pas les contraintes propres à la robotique sociale : occlusions mutuelles entre interlocuteurs, mouvements brusques, sorties et rentrées dans le champ de vision à courte distance. Le fossé entre démo contrôlée et déploiement réel reste ouvert pour les systèmes HRI en environnements denses.

Furhat Robotics, entreprise suédoise spécialisée dans les robots conversationnels à tête projetée, fournit ici la plateforme matérielle, ce qui oriente naturellement l'évaluation vers les contextes face-à-face rapprochés. Dans le secteur plus large de la perception pour l'interaction humain-robot, des laboratoires académiques européens comme l'INRIA ou TU Delft, ainsi que des acteurs industriels tels SoftBank Robotics, travaillent sur des problématiques proches. Le point de friction central souligné par les auteurs reste l'absence de benchmarks publics capturant des occlusions denses à courte distance : sans jeux de données nativement sociaux, la validation des modèles de perception HRI demeure partielle. Les prochaines étapes naturelles consisteraient à tester ce pipeline sur d'autres plateformes et en conditions multi-utilisateurs réelles.

Impact France/UE

Furhat Robotics (Suède, UE) fournit la plateforme matérielle de l'étude, et l'INRIA est cité parmi les laboratoires européens travaillant sur des problématiques similaires, ce qui ancre ces avancées en perception HRI dans l'écosystème de recherche européen.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

R2RI : un jeu de données multi-vues d'événements et RGB pour l'interaction robot-robot

Des chercheurs publient R2RI (Robot-to-Robot Interaction), un jeu de données présenté comme le premier conçu spécifiquement pour la tâche d'interaction robot-robot (RRI). Il réunit plusieurs robots humanoïdes de modèles différents, mis en scène dans des interactions calquées sur des comportements sociaux humains réels. Chaque scène est filmée selon deux points de vue complémentaires : une vue égocentrique, issue des capteurs embarqués de chaque robot, et une vue exocentrique, captée par des caméras fixes extérieures. Le corpus compte plus de 6,5 millions d'images et environ 5 000 vidéos à 120 images par seconde, dans deux domaines : RGB classique et caméra événementielle, qui ne transmet que les changements de luminosité pixel par pixel, avec une latence très faible et une bonne tenue aux mouvements rapides. Les auteurs comparent les avantages et limites de chaque domaine en confrontant des approches de l'état de l'art sur plusieurs tâches clés de perception et d'interaction. Données et annotations sont publiées sur GitHub (MagriniGabriele/R2RI), pour toutes les tâches et toutes les modalités. L'enjeu est d'abord méthodologique. La modélisation des interactions entre agents autonomes pèse sur les systèmes collaboratifs, la robotique sociale et la coexistence homme-robot. Elle manquait pourtant de référence à grande échelle, ce qui empêchait de comparer les méthodes entre elles. Pour un intégrateur ou un responsable d'exploitation, l'intérêt est concret : à mesure que des flottes de robots hétérogènes partagent un même espace (entrepôt, usine, site logistique), la capacité d'un robot à interpréter les gestes et intentions d'un autre devient un sujet d'ingénierie, au-delà de la simple détection d'obstacles. L'ajout du flux événementiel est notable, car ce type de capteur est précisément pertinent pour des mouvements rapides ou des éclairages difficiles, où le RGB souffre de flou et de latence. Une réserve s'impose toutefois : il s'agit d'un jeu de données, sans démonstration de déploiement. Les interactions sont scénarisées et enregistrées en environnement contrôlé, et le résumé ne précise ni les modèles de robots utilisés, ni les tâches évaluées, ni les scores obtenus. L'écart entre benchmark et comportement autonome en conditions réelles reste donc entier. Ce travail s'inscrit dans une tendance visible de la vision et de la robotique : les jeux de données d'interaction se sont d'abord concentrés sur l'humain, avec des corpus d'interactions homme-homme ou homme-robot, alors que l'interaction entre machines restait quasi absente. Avec la multiplication des humanoïdes en phase pilote chez plusieurs acteurs américains et chinois, la question de la coordination entre robots de marques différentes va gagner en importance. Les suites probables sont l'adoption du jeu de données comme banc d'essai par d'autres laboratoires, puis l'entraînement de modèles de perception sociale ou de politiques multi-agents. Aucun calendrier industriel n'est annoncé et aucun acteur européen n'est cité dans le résumé. La valeur réelle de R2RI se jugera à son adoption par la communauté et à la diversité des plateformes qu'il couvre effectivement.

RecherchePaper

1 source

2arXiv cs.RO

ZeroWBC : apprentissage de l'interaction naturelle corps entier pour humanoïdes à partir de données égocentrées humaines

Une équipe de recherche a publié sur arXiv (référence 2603.09170v2) ZeroWBC, un cadre d'apprentissage du contrôle corporel complet pour robots humanoïdes qui se passe entièrement de données de télé-opération. Le système apprend à partir de vidéos égocentrées humaines -- c'est-à-dire filmées du point de vue d'un opérateur -- associées à des annotations de mouvement corps-entier et de texte. Concrètement, une image initiale prise en vue subjective est combinée à une instruction en langage naturel ; un modèle vision-langage (VLM) affiné génère alors des tokens de mouvement humain futur, qui sont décodés en trajectoires continues et retargetés vers le robot humanoïde. Ces mouvements de référence, accompagnés des trajectoires de la racine et des parties clés du corps, alimentent ensuite une politique de suivi de mouvement interactif. Les expériences ont été conduites sur le robot Unitree G1, un humanoïde compact commercialisé à environ 16 000 dollars. L'apport central de ZeroWBC réside dans l'élimination du coût de collecte des données de télé-opération, traditionnellement un verrou majeur pour l'apprentissage du contrôle corps-entier à grande échelle. En exploitant le stock immense de vidéos humaines égocentrées déjà disponibles, la méthode ouvre un paradigme de scalabilité que les approches par démonstration robotique directe ne peuvent pas égaler facilement. L'introduction d'une récompense de suivi orientée interaction -- qui priorise l'alignement global des trajectoires tout en préservant la naturalité du mouvement -- tente de combler le gap entre génération de gestes plausibles et exécution physiquement cohérente. C'est un résultat de recherche académique, pas un produit déployé en production : les vidéos présentées montrent des comportements variés en scène statique, mais les conditions réelles d'un environnement industriel dynamique n'ont pas été testées. ZeroWBC s'inscrit dans un courant plus large de méthodes "zéro-démonstration robot" qui cherchent à transférer la richesse des données humaines vers des systèmes incarnés, à l'instar des travaux sur les politiques visuomotrices à base de VLA (Vision-Language-Action). Sur le terrain concurrent, des approches comme ACT, UMI ou les pipelines de diffusion de Physical Intelligence (Pi-0) misent encore largement sur la télé-opération directe ou les données simulées. Unitree, constructeur chinois dont le G1 est l'une des plateformes humanoïdes les plus accessibles du marché, bénéficie ici d'une visibilité croissante comme banc d'essai académique de référence. Les prochaines étapes naturelles seraient d'étendre ZeroWBC à des scènes dynamiques, de tester la robustesse en dehors du labo, et d'évaluer si le sim-to-real tient face à la variabilité réelle des interactions objet-robot.

RechercheOpinion

1 source

3arXiv cs.RO

MobileOcc : un jeu de données d'occupation sémantique sensible à l'humain pour robots mobiles

Une équipe de recherche publie MobileOcc, un jeu de données d'occupation sémantique 3D pour robots mobiles opérant en environnements piétons denses, un scénario peu couvert comparativement à la conduite autonome. L'article, référencé arXiv 2511.16949, décrit un pipeline d'annotation combinant occupation d'objets statiques et un nouveau cadre d'optimisation de maillage pour les humains : leur géométrie déformable est reconstruite à partir d'images 2D puis affinée avec des points LiDAR associés. Le jeu de données alimente deux benchmarks, la prédiction d'occupation et la prédiction de vitesse des piétons, testés avec des méthodes monoculaires, stéréo et panoptiques dotées de métriques et d'implémentations de référence reproductibles. La méthode d'annotation est aussi validée sur des jeux de données d'estimation de pose humaine 3D, avec des résultats jugés robustes ; le code et les données sont publiés sur autonomousrobots.nl. La perception d'occupation dense est une brique critique pour la navigation sécurisée des robots mobiles au contact d'humains, en entrepôt, en hôpital ou en espace public, où anticiper position et mouvement d'un piéton conditionne l'évitement de collision. La plupart des jeux de données d'occupation 3D existants visaient l'automobile, avec des scènes routières peu représentatives des couloirs et halls parcourus par les robots de service. Modéliser les humains comme des objets déformables plutôt que comme de simples boîtes englobantes, et publier des baselines multi-capteurs reproductibles, comble un manque de standardisation qui facilitera la comparaison des systèmes de perception chez les intégrateurs. Ce travail s'inscrit dans une tendance de transfert des techniques de perception nées pour la conduite autonome vers la robotique mobile et humanoïde, à mesure que LiDAR et architectures d'occupation 3D se banalisent. MobileOcc reste un jeu de données et un protocole d'évaluation académiques, sans déploiement industriel annoncé, et il s'agit d'une version corrigée de la publication initiale sur arXiv. L'ouverture du code et des données vise à établir une référence que d'autres laboratoires pourront reprendre pour comparer leurs modèles de perception en environnement piéton, chantier ouvert tant pour la recherche que pour de futurs usages commerciaux en robotique de service.

RecherchePaper

1 source

4arXiv cs.RO

Modèle de cognition du monde pour l'interaction humain-robot généralisable

Un article scientifique publié sur arXiv (référence 2607.22999v1) présente WCM, pour World-Cognition Model, un agent robotique conçu pour rendre l'interaction homme-robot aussi fluide que celle qu'offrent déjà les agents conversationnels dans le logiciel. Le système repose sur une architecture baptisée SLAK, acronyme de Sensing, Logic, Action et Knowledge, qui sépare explicitement la perception, le raisonnement, le contrôle moteur et la mémoire. Cette séparation s'appuie sur un runtime asynchrone permettant au raisonnement, au dialogue et à l'exécution de se dérouler en parallèle plutôt que séquentiellement. WCM ajoute un mode d'apprentissage supervisé par l'humain, où l'utilisateur peut enseigner interactivement au robot des tâches longues ou complexes ; ces épisodes d'enseignement, combinés aux exécutions autonomes, sont ensuite convertis en données de supervision par chaîne de raisonnement (chain-of-thought) pour affiner le modèle en continu. Sur neuf tâches réelles d'interaction homme-robot, le système atteint un taux de réussite moyen de 73,8 %, y compris sur des tâches exclues de l'entraînement par chaîne de raisonnement et sur une tâche longue apprise uniquement par démonstration humaine. L'enjeu dépassé ici n'est pas tant la performance brute que la question de la contrôlabilité. Les approches dominantes actuelles, qu'il s'agisse des politiques vision-langage-action (VLA) ou des planificateurs fondés sur des modèles du monde, sont optimisées pour exécuter une instruction, mais laissent peu de visibilité à l'utilisateur sur les raisons d'une action donnée et peu de moyens de corriger ou réorienter le robot en cours de tâche. En proposant un mécanisme explicite de correction et d'enseignement en temps réel, WCM répond à un point de friction identifié par les intégrateurs industriels : un robot qui exécute bien mais s'explique mal reste difficile à déployer et à faire confiance sur des tâches non anticipées. Le travail s'inscrit dans la lignée des recherches récentes sur les modèles de fondation pour la robotique, où des architectures comme les VLA ont cherché à généraliser l'exécution de tâches à partir de démonstrations massives. WCM se positionne en complément plutôt qu'en rupture, en ajoutant une couche cognitive et interactive au-dessus du contrôle bas niveau. Les auteurs ne précisent pas de calendrier de déploiement industriel ni de partenaire commercial ; il s'agit à ce stade d'une publication de recherche, dont la prochaine étape logique serait l'extension à un plus grand nombre de tâches et de plateformes robotiques.

RecherchePaper

1 source