RecherchearXiv cs.RO 17 juin 2026

HumanoidArena : évaluation de l'apprentissage corporel hiérarchique en vue égocentrique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a déposé en juin 2026 sur arXiv (réf. 2606.17833) HumanoidArena, un environnement de simulation destiné à évaluer l'apprentissage hiérarchique du contrôle de corps entier pour robots humanoïdes. L'architecture repose sur deux niveaux : une politique haut niveau convertit la vision égocentrique embarquée, la proprioception et des instructions textuelles en une action compacte de corps entier, puis un tracker de mouvement généraliste (GMT, General Motion Tracker) exécute cette action en mouvement physiquement stable. Le benchmark propose sept tâches dites "leg-critical", des scénarios d'interaction humain-objet (HOI) ou humain-scène (HSI) où la coordination des membres inférieurs est structurellement indispensable : placement précis du pied, maintien de l'équilibre, ajustement postural et réorientation complète du corps. Les évaluations couvrent deux axes complémentaires : robustesse face aux perturbations externes et transférabilité des politiques entre différents backends GMT.

Ce travail adresse un angle mort méthodologique réel : les benchmarks existants évaluent rarement l'interface entre politique haut niveau et tracker bas niveau, laissant sans réponse la question de l'exécutabilité et de la robustesse des actions intermédiaires produites sous des distributions de tâches variées. Les résultats montrent que le contrôle hiérarchique permet aux politiques d'apprendre à résoudre des interactions complexes impliquant les jambes, mais que les performances sont fortement conditionnées par le GMT utilisé. Surtout, la transférabilité inter-GMT reste fragile, ce qui nuance les hypothèses optimistes sur la modularité des systèmes humanoïdes et pose des questions concrètes aux intégrateurs souhaitant interchanger des modules de locomotion bas niveau sans réentraîner la politique haut niveau.

Le benchmark s'inscrit dans un contexte de forte activité industrielle et académique : Figure AI (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0), NVIDIA (GR00T N2) et Agility Robotics ont tous publié des démonstrations ou des déploiements pilotes entre 2024 et 2026, alimentant la course à l'apprentissage de politiques généralisables. La majorité des benchmarks du secteur privilégient la manipulation bras-main et traitent la locomotion comme un sous-problème résolu ; HumanoidArena repositionne les membres inférieurs comme acteurs à part entière dans la boucle de décision. Les prochaines étapes annoncées comprennent des expériences de transfert sim-to-real et l'intégration de modèles VLA (Vision-Language-Action) comme politiques haut niveau, deux points où l'écart entre simulation et déploiement industriel reste précisément à quantifier.

Dans nos dossiers

Figure Tesla Optimus Agility Robotics — Digit NVIDIA GR00T

À lire aussi

1arXiv cs.RO

Un tokeniseur d'actions hiérarchique spatio-temporel pour l'apprentissage par imitation en contexte en robotique

Des chercheurs ont publié sur arXiv (référence 2604.15215v2) un travail portant sur HiST-AT, un tokeniseur d'actions hiérarchique et spatiotemporel conçu pour l'apprentissage par imitation en contexte. Le principe central repose sur deux niveaux successifs de quantification vectorielle : le premier niveau affecte chaque action à des sous-clusters fins, tandis que le second regroupe ces sous-clusters en clusters plus larges. L'extension spatiotemporelle va plus loin en récupérant simultanément les actions et leurs horodatages associés, permettant au modèle d'exploiter à la fois la géométrie des mouvements et leur séquençage temporel. Les évaluations ont été conduites sur plusieurs benchmarks de manipulation robotique en simulation et en conditions réelles, et les auteurs revendiquent un nouveau niveau de performance de référence sur les tâches d'apprentissage par imitation en contexte. Ce résultat intéresse directement les équipes qui travaillent sur le déploiement rapide de robots dans de nouvelles tâches industrielles sans collecter des milliers de démonstrations. L'apprentissage par imitation en contexte, calqué sur le few-shot prompting des grands modèles de langage, vise à permettre à un robot d'exécuter une nouvelle tâche à partir de quelques exemples fournis dynamiquement, sans réentraînement. La qualité du tokeniseur d'actions est ici le maillon critique : une discrétisation trop grossière des trajectoires efface l'information fine de manipulation ; trop granulaire, elle rend l'espace de tokens ingérable. Le fait que l'approche hiérarchique améliore les résultats par rapport à une quantification à un seul niveau, et que l'ajout de l'information temporelle amplifie encore ce gain, suggère que la structure latente des tâches de manipulation est intrinsèquement multiscale. L'apprentissage par imitation en contexte pour la robotique s'est fortement développé depuis 2023, porté par des modèles comme ACT, Diffusion Policy, et plus récemment les architectures de type VLA (Vision-Language-Action) telles que OpenVLA, pi-zero de Physical Intelligence ou GR00T N2 de NVIDIA. La tokenisation des actions est un point de friction commun à toutes ces approches : comment convertir des trajectoires continues en séquences discrètes manipulables par un transformer. HiST-AT apporte une réponse structurée à ce problème, mais il s'agit à ce stade d'un résultat de recherche publié en preprint, sans validation industrielle ni déploiement annoncé. Les prochaines étapes naturelles seront d'évaluer la robustesse en dehors des benchmarks académiques, notamment sur des tâches de manipulation à haute fréquence ou en environnement non contrôlé.

RechercheOpinion

1 source

2arXiv cs.RO

OccluDex : apprentissage hiérarchique de représentations visuo-tactiles 3D pour la manipulation dextérique égocentrique sous auto-occlusion

Des chercheurs publient sur arXiv OccluDex, un cadre d'apprentissage de représentations visuo-tactiles 3D destiné à la manipulation dextre en vision égocentrique, c'est-à-dire avec une caméra placée du point de vue du robot. Le problème visé est que la main occulte elle-même les surfaces de l'objet et les zones de contact, ce qui prive l'estimation d'état d'une partie de l'information visuelle. L'encodeur repose sur un autoencodeur masqué multi-échelle qui encode progressivement la géométrie 3D partielle. Des jetons tactiles de contact sont ensuite fusionnés avec les caractéristiques géométriques de haut niveau par attention croisée. Il est préentraîné sur des démonstrations humaines visuo-tactiles synchronisées, puis transféré gelé comme backbone perceptif pour de l'apprentissage par renforcement. Deux tâches servent à l'évaluation : la rotation d'un robinet (un tour complet de poignée dans le sens horaire) et la réorientation d'un objet posé sur une table de 180 degrés, sans le renverser. En simulation, les auteurs annoncent une précision supérieure de 12,6 % sur objets inconnus et de 8,3 % sur objets déjà vus, par rapport au meilleur modèle de référence. Des essais physiques avec une main Shadow Hand montrent un transfert sim-to-real zero-shot sur des objets inconnus. Pour les équipes qui développent des mains dextres, l'intérêt tient à l'angle choisi. La plupart des travaux traitent l'occultation comme un bruit à tolérer, alors qu'elle est ici le cœur du problème, et c'est elle qui domine dès que la main se referme sur un objet. Le tactile compense la vision justement là où elle manque. Le préentraînement sur démonstrations humaines et le backbone gelé réduisent aussi le coût de l'apprentissage par renforcement, car l'encodeur n'a pas à être réappris pour chaque tâche. À nuancer toutefois : les gains en simulation sont modestes, et les auteurs ne précisent pas le nombre d'essais réels, le taux de réussite physique ni la variété des objets. Le test se limite à deux tâches et à une seule main, très coûteuse. Le passage vers des mains d'humanoïdes de série reste donc une extrapolation, et l'affirmation sur la manipulation humanoïde est une projection, pas un résultat démontré. Ces travaux s'inscrivent dans la ligne des représentations 3D visuo-tactiles et des autoencodeurs masqués, appliqués à la manipulation dextre, souvent évaluée en simulation puis sur Shadow Hand. Ils se positionnent face à des approches qui combinent nuages de points et tactile sans hiérarchie entre structure globale et contact local. Les modèles VLA généralistes, qui exploitent surtout des images RGB, traitent peu le tactile et l'occultation. Aucun pilote industriel ni calendrier n'est annoncé, et il s'agit d'une publication de recherche préliminaire (v1), non évaluée par les pairs. La suite logique serait une validation sur davantage de tâches, de mains et de capteurs tactiles, avec des statistiques de réussite en conditions réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

HT-Bench : évaluation et apprentissage des représentations tactiles dextériques de la main par vision égocentrique

Une équipe de chercheurs a publié HT-Bench, un benchmark à grande échelle destiné à évaluer les représentations tactiles main entière dans la manipulation robotique dextre, avec un dataset de 10 millions de trames RGB et 7,8 millions de trames tactiles collectées sur 226 tâches distinctes. La publication (arXiv:2606.19161, juin 2026) propose une approche centrée sur la vision égocentrique couplée à des capteurs tactiles couvrant l'intégralité de la main robotique. Le benchmark structure l'évaluation autour de quatre tâches : récupération de similarité tactile fine, inpainting de trames masquées, synthèse vision-vers-tactile, et prédiction multimodale de trames tactiles. En parallèle, les auteurs introduisent HandTouch, un encodeur vision-tactile à quantification vectorielle (VQ), entraîné selon trois phases progressives : spatiale, cross-modale et temporelle. Les gains quantitatifs de HandTouch sur HT-Bench sont nets : le Recall@5 en récupération de similarité tactile passe de 74,65 % à 85,23 %, l'erreur quadratique moyenne (RMSE) en inpainting chute de 0,022 à 0,010, et le score cIoU hors-distribution (OOD) en synthèse vision-tactile progresse de 0,628 à 0,705. Pour l'industrie robotique, cela valide une hypothèse structurante : coupler vision égocentrique et retour tactile main entière constitue une base d'apprentissage généralisable, sans exiger des capteurs ou des embodiments standardisés. C'est un signal concret pour les intégrateurs et équipes R&D travaillant sur la manipulation dextre en environnements non structurés, où percevoir l'état d'une prise sans vision directe reste un verrou majeur. Le domaine du tactile en robotique souffre depuis longtemps d'une fragmentation des formats de capteurs et des protocoles, rendant les comparaisons entre travaux difficiles. HT-Bench s'inscrit dans une dynamique de benchmarking qui émerge en 2025-2026, aux côtés d'initiatives comme RoboSet, DROID ou LIBERO pour la manipulation généraliste. Des laboratoires comme le CMU Robotics Institute et le MIT CSAIL, ainsi que des entreprises comme Sanctuary AI, explorent des approches similaires de fusion tactile-visuelle. Aucun acteur européen n'est directement cité dans ce travail, mais des startups comme Enchanted Tools ou Wandercraft, actives sur la manipulation avancée, pourraient tirer parti d'un tel benchmark pour standardiser leurs évaluations internes. L'étape suivante logique serait l'intégration de HandTouch dans des pipelines VLA (Vision-Language-Action), où le retour tactile reste aujourd'hui largement absent.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage de politiques hiérarchiques par décomposition spectrale

Des chercheurs ont publié le 30 juin 2026 sur arXiv (réf. 2606.29570) une nouvelle architecture de politique robotique appelée Causal Spectral Policy (CSP), fondée sur une décomposition spectrale des séquences d'actions via la transformée en cosinus discrète (DCT). L'observation centrale est la suivante : les composantes basse fréquence d'une séquence de mouvements encodent la trajectoire globale et l'intention de tâche, tandis que les composantes haute fréquence capturent le timing précis, l'alignement et les comportements de contact. CSP génère d'abord un mouvement grossier conditionné sur l'observation visuelle et l'instruction en langage naturel, puis produit des corrections fines conditionnellement sur la trajectoire réalisée, selon un processus causal dit "coarse-to-fine". Les évaluations en simulation et en environnement réel montrent des performances supérieures aux baselines sur des tâches de manipulation sensibles à la précision. L'équipe propose également une augmentation de données par injection de bruit de télé-opération humaine, simulant les imperfections naturelles des démonstrations collectées par opérateur. Cette approche répond à un défi structurel persistant de l'apprentissage par imitation (behavior cloning) : les politiques standards peinent à concilier cohérence globale du mouvement et précision locale au moment du contact. En séparant explicitement ces deux niveaux via la décomposition spectrale, CSP évite que les perturbations haute fréquence ne corrompent la planification de trajectoire, et inversement. La robustesse aux démonstrations bruitées est particulièrement pertinente pour les intégrateurs industriels qui collectent des données de télé-opération à grande échelle, où la qualité des démonstrations est intrinsèquement variable. Cela adresse aussi partiellement le problème du sim-to-real gap : traiter séparément la dynamique globale et les ajustements fins rend la politique moins sensible aux écarts entre simulation et réel. CSP s'inscrit dans un mouvement plus large de raffinement des politiques d'imitation, qui a vu émerger ces dernières années Diffusion Policy (Chi et al., 2023), ACT (Action Chunking with Transformers) ou des modèles VLA comme Pi-0 de Physical Intelligence et OpenVLA. Là où ces approches misent sur l'expressivité de l'architecture ou le volume de données d'entraînement, CSP parie sur un biais inductif structurel emprunté au traitement du signal. Il s'agit à ce stade d'un résultat de preprint sans déploiement industriel annoncé. Les prochaines étapes naturelles incluent des benchmarks sur des tâches de haute précision type assemblage ou vissage, et une validation sur des plateformes matérielles standardisées comme Franka ou UR.

RechercheOpinion

1 source