RecherchearXiv cs.RO 18 août 2026

HiPHI : un benchmark à grande échelle pour le mouvement humain de haute précision et l'interaction avec les objets

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié HiPHI, un jeu de données de mouvement humain corps entier et d'interaction avec des objets, dépassant les 600 heures d'enregistrement, décrit dans un article déposé sur arXiv en août 2026 sous la référence 2608.16222. Construit à partir d'un pipeline de capture de mouvement optique, HiPHI atteint une précision de suivi des marqueurs spatiaux inférieure au millimètre pour le mouvement corps entier, ainsi que des trajectoires d'objets au niveau du maillage (mesh-level). Le dataset s'appuie théoriquement sur FrameNet, un cadre linguistique qui organise les primitives du mouvement humain. Les auteurs publient aussi une suite de benchmarks évaluant quatre axes : la diversité de l'espace des mouvements, l'ancrage des interactions (interaction grounding), la cohérence des objets manipulés, et les applications d'IA physique. Selon les analyses présentées, HiPHI élargit sensiblement la couverture des mouvements par rapport aux jeux de données existants, tout en conservant une fidélité élevée dans la qualité des interactions capturées.

Ce travail cible un goulot d'étranglement jugé critique pour l'apprentissage de politiques robotiques humanoïdes à grande échelle : les vidéos issues d'internet, bien qu'abondantes, manquent d'états physiques précis et d'ancrage réel des interactions, tandis que les jeux de données de capture en laboratoire offrent une haute fidélité mais une couverture comportementale trop étroite. Pour les intégrateurs et laboratoires qui entraînent des modèles vision-langage-action à l'image de Pi-0 ou GR00T N2, ce type de fondation de données conditionne directement la capacité à généraliser des politiques apprises vers des tâches réelles incarnées, autrement dit le passage du simulateur au monde physique. Le papier revendique une amélioration mesurable de la diversité de mouvement, mais il s'agit à ce stade d'un benchmark académique évalué par ses propres auteurs, sans déploiement industriel ni adoption confirmée par un fabricant de robots humanoïdes.

HiPHI s'inscrit dans une lignée de travaux cherchant à combler l'écart entre les grands corpus vidéo génériques et les datasets de mouvement capturés en studio, un problème documenté depuis plusieurs années dans la littérature sur l'apprentissage par imitation pour humanoïdes. Les auteurs positionnent leur contribution face aux jeux de données de mouvement existants, jugés soit trop limités en diversité soit insuffisamment ancrés physiquement, sans nommer de concurrent unique. Le texte souligne une application transversale au-delà de la robotique : les mêmes extensions de couverture pourraient aussi nourrir des modèles de prior de mouvement en infographie, utilisés notamment pour l'animation de personnages. Publié comme preprint arXiv, HiPHI demeure pour l'instant une ressource de recherche ouverte plutôt qu'un produit commercial ; sa valeur pour l'industrie dépendra de la publication effective du dataset et du code, de comparaisons indépendantes, et d'une éventuelle intégration dans des pipelines d'entraînement de robots humanoïdes commerciaux.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

HumanTracker : vers un benchmark complet et aligné sur l'humain pour le suivi de mouvement

Un benchmark nommé HumanTracker vient d'être publié sur arXiv (référence 2608.13555v1) pour évaluer le suivi de mouvement des robots humanoïdes dans les tâches de téléopération et d'imitation corps entier. Le jeu de données rassemble environ 153 heures de trajectoires de capture de mouvement optique, enregistrées auprès de plusieurs performeurs professionnels, et organisées en quatre familles de mouvements accompagnées d'étiquettes textuelles permettant un diagnostic fin des erreurs. Les auteurs introduisent également HumanScore, une métrique alignée sur les préférences humaines, entraînée sur 12 000 paires de mouvements couvrant 24 000 séquences au total. L'objectif affiché est de rendre l'évaluation à la fois plus fidèle à la perception humaine et suffisamment large pour couvrir des comportements riches en contacts et de longue durée, ce que les suites de tests existantes, jugées trop restreintes, ne permettaient pas jusqu'ici. Le problème ciblé touche directement les développeurs de systèmes de contrôle pour humanoïdes: les métriques cinématiques classiques, qui moyennent les écarts de pose image par image, masquent des artefacts physiques critiques comme le glissement des pieds ou des contacts mal synchronisés au sol, deux défauts souvent invisibles dans les scores mais très visibles dans les vidéos de démonstration. En confrontant plusieurs trackers considérés comme état de l'art, les auteurs montrent que HumanScore détecte des échecs de stabilité et de contact que les métriques cinématiques ignorent purement et simplement. Pour les intégrateurs et laboratoires qui évaluent des pipelines de téléopération ou d'imitation par apprentissage, ce travail pointe un écart connu mais rarement quantifié entre scores publiés et qualité perçue réellement, un signal utile face à l'inflation de démonstrations vidéo dans le secteur humanoïde. Il s'agit d'une publication de recherche fraîchement déposée sur arXiv, sans lien annoncé avec un produit commercial ou un déploiement industriel: aucun robot, entreprise ou date de sortie n'est cité dans le papier. HumanTracker s'inscrit dans une vague plus large de travaux académiques cherchant à combler le fossé entre benchmarks de laboratoire et performance réelle des systèmes de contrôle humanoïdes, alors que le secteur multiplie les modèles vision langage action et les démonstrations de téléopération dont l'évaluation reste largement auto rapportée par les fabricants.

RecherchePaper

1 source

2arXiv cs.RO

iGPC : priors de mouvement génératifs pour l'interaction humanoïde sensible aux objets

Des chercheurs proposent iGPC, un cadre qui étend le Generative Pretrained Controller (GPC), un contrôleur humanoïde préentraîné sur de larges corpus de mouvements humains, à l'interaction corps entier avec des objets. Le travail, publié sur arXiv (2610.08120v1), procède en deux étapes. D'abord, GPC est adapté en « experts d'interaction » conditionnés par des indices d'affordance de la scène et par des informations d'état privilégiées (accessibles en simulation, mais pas sur un robot réel). Ces experts conservent le prior de mouvement humain tout en apprenant des comportements de contact propres à chaque tâche : atteindre un objet, s'agripper à un support de l'environnement pour se stabiliser, pousser un objet mobile. Ensuite, un « étudiant » piloté par la perception reprend la politique GPC préentraînée et distille les compétences des experts à partir des seules observations de capteurs embarqués. Deux objectifs d'entraînement complémentaires comblent l'écart entre observations privilégiées et signaux sensoriels. Les auteurs annoncent des résultats concluants sur plusieurs tâches corps entier. Le résumé ne donne ni plateforme matérielle, ni taux de réussite, ni nombre de degrés de liberté, ni validation chiffrée en conditions réelles. L'enjeu est le passage du mouvement naturel à l'interaction physique guidée par la perception, point de blocage récurrent pour les humanoïdes. Les priors issus de données humaines donnent des mouvements fluides et variés, mais ils sont rarement exploités pour des contacts riches avec l'environnement, où la perception bruitée et l'absence d'information privilégiée fragilisent les politiques. Si les résultats tiennent, ils plaident pour un modèle de fond de mouvement réutilisable, adapté ensuite à des tâches de manipulation et de stabilisation, plutôt qu'une politique entraînée de zéro pour chaque scénario. Pour un intégrateur, la capacité à s'appuyer sur un support ou à pousser une charge sans cartographie parfaite de la scène serait pertinente en logistique ou en maintenance. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par des pairs, sans chiffres publics dans le résumé. Il ne permet donc pas d'évaluer l'écart entre démonstration et fiabilité en production. Ce travail s'inscrit dans la lignée des approches de distillation enseignant-étudiant, devenues standard pour le transfert simulation-réel en locomotion et en contrôle corps entier. Il prolonge GPC, proposé récemment pour le contrôle humanoïde général à partir de mouvements humains à grande échelle. Il rejoint aussi les efforts sur les politiques généralistes corps entier des acteurs industriels et académiques, comme GR00T chez NVIDIA, sans rapport de performance direct démontré ici. La suite logique serait une validation sur un robot physique, avec des métriques de robustesse et des comparaisons à des méthodes de référence. Aucune échéance de déploiement ni partenaire industriel n'est mentionné à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Peg-in-Bench : un benchmark modulaire pour l'insertion robotique de haute précision

Des chercheurs du centre de recherche en intelligence artificielle de l'AIST, l'institut public japonais des sciences et technologies industrielles avancées, ont publié en septembre 2026 sur arXiv (2609.00906) Peg-in-Bench, un banc d'essai reconfigurable pour l'insertion robotique de haute précision, la tâche dite "peg-in-hole" qui consiste à insérer une tige dans un trou avec un jeu très serré. L'outil repose sur des pièces entièrement imprimables en 3D, combinant plusieurs géométries de tiges, différents niveaux de tolérance et des structures de base configurables, pour générer un grand nombre de scénarios d'insertion et d'assemblage. Un logiciel de génération de scénarios standardisées et lisibles par machine accompagne le matériel afin d'assurer la reproductibilité des tests ; fichiers STL et outil sont disponibles gratuitement sur le dépôt GitHub aistairc/peg-in-bench. L'insertion de précision reste l'un des points durs de la manipulation robotique, du fait de l'alignement strict et des contacts complexes exigés entre la tige et son logement. Les benchmarks peg-in-hole existants reposent généralement sur des configurations figées, ce qui empêche de mesurer la robustesse et la capacité de généralisation d'une politique face à des scénarios inédits plutôt que sur une seule tâche répétée. En permettant de varier systématiquement la disposition, l'orientation et la structure des tâches sous conditions physiques contrôlées, Peg-in-Bench offre à la recherche un protocole commun pour évaluer la généralisation des politiques de manipulation, un enjeu direct pour les intégrateurs industriels dont l'assemblage de connecteurs électroniques ou de pièces mécaniques dépend de tolérances très faibles. Le projet s'inscrit dans un mouvement plus large visant à remplacer les bancs d'essai figés, simulés ou fabriqués sur mesure en laboratoire, par des protocoles reproductibles et partagés entre équipes. Des pièces entièrement imprimables en 3D et sans matériel propriétaire doivent faciliter l'adoption du même banc d'essai par d'autres laboratoires et permettre des comparaisons directes de résultats, une difficulté récurrente pour évaluer des politiques d'apprentissage par renforcement ou par imitation en manipulation fine. Il s'agit d'une publication de recherche et d'un outil en libre accès, non d'un produit commercial ni d'un déploiement industriel : les auteurs ne communiquent ni sur des essais pilotes ni sur un calendrier de suites, l'adoption future dépendant de l'usage qu'en fera la communauté académique.

RecherchePaper

1 source

4arXiv cs.RO

MotionForge : pipeline de génération de données et benchmark à grande échelle pour la manipulation longue portée d'objets dynamiques avec décalages de domaine

La communauté de recherche en robotique dispose depuis fin septembre 2026 d'un nouveau benchmark baptisé MotionForge, décrit dans un article arXiv (2609.25689) comme le premier à évaluer conjointement les changements de domaine et les interactions de longue durée dans la manipulation d'objets dynamiques. Le système combine un pipeline de génération de données et une suite de simulation couvrant 40 tâches d'interaction dynamique réparties en 11 patterns de mouvement distincts, dont 17 tâches dites longue durée (long-horizon). Deux protocoles structurent l'évaluation : le premier mesure la robustesse des politiques face à des changements de domaine isolés (par exemple uniquement l'arrière-plan) ou combinés (objets, arrière-plans, éclairage et vitesse modifiés simultanément) ; le second est un protocole d'exécution découplé et sensible à la latence, où l'environnement continue d'évoluer indépendamment du temps de calcul nécessaire à la politique pour décider de son action, contrairement aux simulateurs classiques qui figent la scène pendant l'inférence. Ce travail est important parce qu'il expose un décalage jusqu'ici mal quantifié entre les promesses des politiques robotiques généralistes de type vision-langage-action et leurs performances réelles hors environnements statiques ou quasi statiques. Les auteurs rapportent des limitations substantielles de ces politiques dès lors que plusieurs facteurs de domaine varient en même temps, ce qui contredit l'idée reçue selon laquelle le sim-to-real ou la généralisation à grande échelle seraient déjà largement résolus pour la manipulation dynamique. Pour les intégrateurs et décideurs industriels envisageant des déploiements en entrepôt, logistique ou chaîne de production où les objets bougent en continu, ce résultat invite à traiter les métriques de démonstration avec prudence tant que les tests ne reproduisent pas des conditions de domain shift joint et de latence réaliste. MotionForge répond à une lacune identifiée dans les benchmarks dynamiques existants, jugés trop centrés sur des interactions courtes et réactives avec des mouvements simples, sans protocole systématique de test sous changement de domaine ni exécution temps réel agnostique au modèle. En le positionnant comme testbed de référence, les auteurs visent à orienter les prochains travaux de recherche en IA incarnée vers des évaluations plus proches des conditions réelles, sans toutefois annoncer à ce stade de déploiement matériel ni de partenariat industriel.

RecherchePaper

1 source