Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
OmniRobotHome : une plateforme multi-caméras pour l'interaction humain-robot en temps réel
RecherchearXiv cs.RO 

OmniRobotHome : une plateforme multi-caméras pour l'interaction humain-robot en temps réel

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié en avril 2026 sur arXiv (arXiv:2604.28197) les spécifications d'OmniRobotHome, une plateforme expérimentale résidentielle instrumentée avec 48 caméras RGB synchronisées au niveau matériel pour le suivi 3D temps réel, sans marqueurs, de plusieurs humains et objets simultanément. Le système est couplé à deux bras manipulateurs Franka, qui réagissent à l'état de la scène en temps réel dans un référentiel spatial partagé. La plateforme cible ce que les auteurs nomment la collaboration "multiadique" : plusieurs humains et robots qui partagent un même espace de travail domestique, agissent en parallèle sur des sous-tâches imbriquées avec des contraintes spatiales et temporelles serrées. Contrairement aux setups dyadiques classiques (un humain, un robot, une tâche), OmniRobotHome enregistre en continu pour constituer une mémoire comportementale long-horizon à partir des trajectoires accumulées.

Le verrou technique que ce travail prétend lever est l'occlusion persistante : en environnement résidentiel réel, les interactions rapprochées entre humains, robots et objets génèrent des changements d'état rapides et des zones aveugles qui rendent le tracking 3D fiable en temps réel extrêmement difficile. Aucune plateforme existante ne combinait, selon les auteurs, la robustesse aux occlusions à l'échelle d'une pièce entière avec une actuation multi-robots coordonnée. Les deux problèmes ciblés, sécurité en environnement partagé et assistance robotique anticipatoire, montrent des gains mesurables grâce à la perception temps réel et à la mémoire comportementale accumulée, bien que les chiffres précis (taux de collision évités, latence, précision du suivi) ne soient pas détaillés dans l'abstract publié.

Ce travail s'inscrit dans une tendance académique vers les plateformes de recherche domestique à grande échelle, aux côtés d'initiatives comme TidyBot (Stanford), HomeRobot (Meta/CMU) ou RoboCasa (UT Austin). L'utilisation de bras Franka, standard de facto en manipulation robotique, facilite la réplication dans d'autres laboratoires. En revanche, la nature preprint de la publication (pas encore soumise à évaluation par les pairs) et l'absence de métriques quantitatives publiées invitent à la prudence avant toute interprétation comme validation de terrain. La prochaine étape déterminante sera l'ouverture éventuelle du dataset ou du code : c'est ce qui distinguerait OmniRobotHome comme infrastructure de référence pour la communauté d'une contribution de laboratoire isolée.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

Estimation du regard pour l'interaction humain-robot : analyse avec la plateforme NICO
1arXiv cs.RO 

Estimation du regard pour l'interaction humain-robot : analyse avec la plateforme NICO

Une équipe de chercheurs a évalué l'état de l'art de l'estimation du regard (gaze estimation) dans un scénario d'interaction humain-robot en espace de travail partagé. Pour cela, elle a constitué un nouveau jeu de données annoté avec la plateforme robotique NICO, puis comparé quatre modèles d'estimation du regard parmi les plus performants. Les erreurs angulaires obtenues sont proches de celles publiées sur les benchmarks généralistes. Mais converties en distance dans l'espace de travail, la meilleure erreur médiane atteint 14,57 cm. L'étude est publiée sur arXiv (version 3) et se conclut par une discussion de ces limites et des recommandations d'intégration. Le résumé disponible ne précise ni les modèles testés, ni la taille du jeu de données. Ce résultat a une portée pratique. Dans la littérature, les modèles de regard sont jugés sur leur erreur angulaire, une métrique qui paraît rassurante mais masque l'impact réel : à une distance de travail typique, quelques degrés d'écart se traduisent par plus d'une dizaine de centimètres sur la table. Un robot ne peut donc pas déterminer de façon fiable quel objet, parmi plusieurs pièces proches, un opérateur regarde. Pour les intégrateurs et les responsables d'atelier qui envisagent le regard comme canal de commande ou d'intention dans la collaboration homme-machine, l'étude montre un écart entre les scores de benchmark et l'utilisabilité en situation réelle. Elle suggère de ne pas s'appuyer sur le regard seul. Il faut le combiner à d'autres modalités (geste de pointage, parole, contexte de la tâche) et concevoir des cibles suffisamment espacées. NICO (Neuro-Inspired COmpanion) est une plateforme humanoïde de recherche développée à l'université de Hambourg, utilisée pour l'interaction sociale et l'apprentissage robotique. Cette étude s'inscrit dans un mouvement plus large visant à mesurer les modèles dans les conditions d'usage, alors que les modèles vision-langage-action (VLA) et les humanoïdes commerciaux misent de plus en plus sur la compréhension des intentions humaines. Il s'agit ici d'un travail académique d'évaluation, sans produit ni déploiement industriel. Les prochaines étapes probables sont l'adaptation des modèles à ce contexte, l'estimation couplée tête-regard et la fusion multimodale.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
SocioGesture : perception adaptative en temps réel des gestes sociaux pour l'interaction homme-robot
2arXiv cs.RO 

SocioGesture : perception adaptative en temps réel des gestes sociaux pour l'interaction homme-robot

Des chercheurs présentent SocioGesture, un système de perception gestuelle sociale conçu pour l'interaction humain-robot en temps réel, décrit dans un article publié sur arXiv le 4 septembre 2026 (arXiv:2609.04545v1). L'objectif est de faire reconnaître à un robot non seulement des commandes explicites, mais aussi des signaux sociaux comme une invitation, un refus ou un signe d'indisponibilité, à partir de capteurs embarqués imparfaits, sujets aux occlusions partielles et aux changements de point de vue. Le système repose sur une représentation compacte du squelette corps-mains avec score de confiance, couplée à un modèle léger à deux flux qui fusionne le mouvement du corps et l'articulation des mains pour une reconnaissance à faible latence directement sur le robot. Pour renforcer la robustesse, les chercheurs entraînent le modèle avec une méthode de corruption volontaire du squelette simulant des mains manquantes, des bras occultés ou des points-clés instables dans le temps, sans alourdir le coût de calcul à l'inférence. Testé sur un jeu de données de gestes sociaux collecté en environnements mixtes intérieur-extérieur, SocioGesture atteint une bonne reconnaissance sur des sujets non vus à l'entraînement, améliore nettement la robustesse face aux occlusions structurées, et tourne en temps réel sur un dispositif de calcul embarqué (edge). Cette avancée cible un angle mort concret de la robotique de service et industrielle: la plupart des systèmes actuels traitent les gestes comme des commandes isolées, mais ignorent les signaux sociaux implicites qui régulent une interaction naturelle en environnement partagé avec des humains, ce qui limite l'acceptabilité et la fluidité des robots déployés en espace public ou en usine. En prouvant qu'un modèle léger peut tourner en embarqué avec robustesse face à l'occlusion, un problème récurrent en conditions réelles, sans démonstration vidéo sélective ni matériel de calcul déporté, l'étude apporte un signal utile aux intégrateurs qui cherchent à dépasser le stade de la démo contrôlée en laboratoire. Le mécanisme d'apprentissage continu, qui met de côté les séquences ambiguës pour un étiquetage différé et permet d'étendre le vocabulaire gestuel sans dégrader les classes déjà apprises, répond aussi à un frein classique au déploiement long terme des robots sociaux. Le travail s'inscrit dans la lignée des recherches en HRI (human-robot interaction) cherchant à rapprocher la perception gestuelle des conditions réelles de terrain, plutôt que des jeux de données propres en studio, une problématique partagée par les laboratoires travaillant sur les modèles vision-langage-action (VLA) et la navigation sociale de robots mobiles ou d'AMR. L'article ne mentionne ni partenariat industriel, ni date de déploiement pilote, ni comparaison chiffrée directe avec des systèmes concurrents commerciaux: il s'agit à ce stade d'une contribution de recherche publiée en preprint, dont la prochaine étape logique serait une validation sur des plateformes robotiques commerciales et des comparaisons benchmark publiques.

RecherchePaper
1 source
Co-policy : création musicale humain-robot en temps réel
3arXiv cs.RO 

Co-policy : création musicale humain-robot en temps réel

Des chercheurs proposent Co-policy, un framework de co-création musicale humain-robot présenté comme preprint sur arXiv (référence 2606.19914). Le système articule trois blocs fonctionnels indépendants : un ancrage sémantique pré-inférence associé à un planificateur multimodal Qwen-VL fine-tuné (baptisé F-Qwen), chargé de convertir la parole, des séquences musicales jouées en direct et les observations visuelles en plans de co-création structurés ; une politique visuomotrice à mélange gaussien (GMP, Gaussian-Mixture Visuomotor Policy), implémentée comme une mixture-density network conditionnelle qui produit des actions robotiques multimodales en un seul passage forward ; et un module de variation musicale opérant sous contraintes à la fois musicales et physiques. Les expériences ont été menées sur un robot réel jouant des carillons (chimes), avec ablations et évaluation experte. Co-policy surpasse les baselines à politique de diffusion sur trois métriques : alignement d'intention, précision d'exécution et fréquence de réponse. Ce qui distingue l'approche des systèmes de lecture robotique classiques, c'est que le robot ne se contente pas de reproduire des notes prédéfinies par l'utilisateur : il génère des réponses musicales complémentaires, en temps réel, en tenant compte du contexte auditif et visuel. Pour un intégrateur ou un décideur R&D, c'est la démonstration que les VLA (Vision-Language-Action models) peuvent s'étendre à des tâches créatives ouvertes, pas uniquement à des tâches de manipulation industrielle ou domestique. La séparation explicite entre couche sémantique (LLM multimodal) et couche d'exécution (GMP en forward pass unique) est aussi une réponse directe au problème de latence qui pénalise les architectures de diffusion dans les contextes temps réel. Le recours à Qwen-VL open-source comme planificateur, fine-tuné plutôt qu'utilisé tel quel, facilite la reproductibilité de la recherche. Co-policy s'inscrit dans un mouvement plus large qui cherche à ancrer physiquement les modèles génératifs, au-delà du contenu numérique désincorporé. La diffusion policy, popularisée notamment par les travaux de Chi et al. (2023), reste la référence dominante pour les politiques visuomotrices génériques, et c'est contre cette baseline que Co-policy se mesure. Aucun acteur commercial, ni français ni européen, n'est impliqué dans ce travail académique. Les suites naturelles identifiées par les auteurs incluent l'extension à d'autres instruments et à des configurations multi-robots ; aucun calendrier ni partenariat industriel n'est annoncé à ce stade.

RechercheOpinion
1 source
H2INT : un Transformer d'interactions humain-humain et humain-robot pour naviguer en foule dense et incertaine
4arXiv cs.RO 

H2INT : un Transformer d'interactions humain-humain et humain-robot pour naviguer en foule dense et incertaine

Une équipe de recherche publie sur arXiv (référence 2609.05300v1, prépublication de septembre 2026) un nouveau cadre d'apprentissage par renforcement baptisé H2INT, pour Human-Human & Human-Robot Interaction Transformer, destiné à la navigation de robots dans des foules denses et imprévisibles. Le système repose sur un Transformer à portes en deux étapes qui encode progressivement les relations humain-humain puis humain-robot, couplé à une politique récurrente chargée de capturer leur évolution temporelle. Un curriculum d'entraînement réduit graduellement la réactivité simulée des piétons afin de complexifier peu à peu les scénarios d'interaction. Point clé de la méthode : la réactivité des piétons au robot influence la dynamique de la foule dès que le robot est visible, mais n'est jamais fournie en entrée à la politique, qui doit donc en déduire les conséquences à partir des seules positions relatives centrées sur le robot. Les expériences, menées en simulation sur plusieurs niveaux de densité de foule et de réactivité, montrent des gains de sécurité et de robustesse par rapport à des méthodes de référence, ainsi qu'un transfert vers des configurations de flux de foule structurellement différentes sans réentraînement. Un déploiement sur robot réel confirme que la politique apprise fonctionne avec des observations limitées. L'enjeu dépasse l'exercice académique : la plupart des politiques de navigation sociale entraînées par apprentissage traitent le mouvement des piétons comme indépendant du robot, ou supposent une réciprocité uniforme entre individus, ce qui ignore une source majeure d'incertitude dans les environnements réels. En modélisant explicitement comment la présence du robot modifie le comportement humain, sans imposer cette information comme donnée d'entrée artificielle, H2INT s'attaque directement à un angle mort connu des robots mobiles autonomes appelés à opérer en entrepôt, hôpital, aéroport ou espace commercial. La capacité démontrée à généraliser sans réentraînement à des topologies de foule inédites est l'élément le plus pertinent pour les intégrateurs, car elle réduit le coût de recalibrage à chaque nouveau site de déploiement, un frein habituel à la commercialisation de la navigation sociale robotisée. Ce travail s'inscrit dans la lignée des recherches en navigation sociale par apprentissage par renforcement, un champ où les limites des hypothèses de réciprocité simplifiée sont documentées depuis plusieurs années. L'abstract ne précise ni les auteurs, ni le laboratoire, ni le matériel robotique utilisé pour la validation réelle, ce qui invite à la prudence tant que ces détails et une évaluation indépendante ne sont pas disponibles. Aucune date de publication en conférence ni de feuille de route de déploiement industriel n'est mentionnée à ce stade.

RecherchePaper
1 source