RecherchearXiv cs.RO 7 octobre 2026

Au-delà du retargeting : téléopération humanoïde du corps entier, à faible latence et robuste, grâce à des primitives de mouvement atomiques apprises

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent une politique de téléopération du corps entier pour humanoïde qui supprime l'étape de retargeting en ligne, jusqu'ici standard dans ce type de système. Détaillée dans un preprint arXiv (2610.07891v1), l'approche mappe le mouvement humain brut directement vers les commandes articulaires du robot, en une seule passe avant du réseau de neurones. Elle a été testée sur un Unitree G1, en simulation puis sur matériel réel, avec quatre sources d'entrée : casque de réalité virtuelle, capture optique de mouvement, génération de mouvement à partir de texte et vidéo monoculaire. Selon les auteurs, la méthode surpasse les approches de référence en latence et en robustesse. L'abstract ne fournit toutefois ni valeur de latence en millisecondes, ni taux de réussite, ni détail sur les baselines retenues.

L'enjeu est double. Le retargeting en ligne, qui adapte la cinématique humaine à la morphologie du robot, ajoute du délai et peut produire des cibles physiquement infaisables, source d'instabilité. Le deuxième problème est la fragilité face aux données hors distribution : les entrées réelles sont bruitées, partielles ou inhabituelles, et les politiques apprises sur des mouvements propres se dégradent alors. Pour y répondre, les auteurs apprennent un codebook de primitives de mouvement du corps entier. Il projette les observations atypiques sur des prototypes de mouvement plausibles et reconstruit un mouvement complet à partir d'entrées incomplètes, par exemple une vidéo qui ne montre qu'une partie du corps. Si les résultats se confirment, cela rapproche la téléopération de la collecte de données à grande échelle, où un opérateur avec un simple casque VR ou une caméra pourrait piloter un humanoïde sans pipeline de calibration lourd. Reste à vérifier la tenue sur des tâches longues, avec contacts et manipulation, qu'un travail de ce type ne démontre pas forcément.

Ce travail s'inscrit dans la lignée des politiques de suivi de mouvement pour humanoïdes entraînées en simulation puis transférées au réel, où le G1 de Unitree est devenu la plateforme académique par défaut grâce à son prix relativement bas. Les systèmes de téléopération du corps entier existants reposent généralement sur une chaîne en deux temps, retargeting puis contrôleur de suivi, que cette étude fusionne en une seule politique. Les travaux concurrents poursuivent des objectifs voisins, notamment les modèles de contrôle généralistes comme GR00T chez NVIDIA, qui visent aussi une interface unifiée pour piloter les humanoïdes. Il s'agit ici d'une publication de recherche, pas d'un produit : aucun déploiement industriel ni calendrier commercial n'est annoncé. La prochaine étape logique serait une validation sur d'autres morphologies que le G1 et sur des tâches de manipulation, ainsi que la publication du code et des mesures de latence détaillées.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Unitree NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Workhorse : apprendre la loco-manipulation humanoïde robuste du corps entier à partir de données humaines

Des chercheurs présentent Workhorse, un système qui apprend la loco-manipulation du corps entier pour humanoïdes à partir de démonstrations humaines enregistrées sans robot (arXiv 2610.09117). L'architecture sépare deux politiques. Un planificateur visuel, alimenté par des images RGB égocentriques et la proprioception, prédit cinq cibles de liens : le torse, les deux poignets et les deux pieds. Un contrôleur de suivi du corps entier, entraîné par apprentissage par renforcement, exécute ensuite ces poses sur le robot. Les deux politiques sont entraînées séparément sur les mêmes poses humaines, sans retargeting vers la morphologie du robot. Chacune est aussi entraînée sur des données augmentées qui imitent les erreurs de l'autre au déploiement. Sur un Unitree G1 réel, le système trie des boîtes avec les mains et un coup de pied, attrape une boîte lancée, puis fait basculer une valise et grimpe dessus. Il récupère aussi après une poussée ou le retrait de la boîte par une personne. Dans une copie simulée de la salle de démonstration, le tri aboutit dans 77 % des épisodes, et dans 64 % sous poussées de 40 N.s. Avec les deux politiques réentraînées sur les mêmes démonstrations, un second humanoïde simulé atteint 83 % sans poussées. L'intérêt tient à la façon de contourner deux goulets d'étranglement. Les humanoïdes peinent à planifier des manipulations riches en contacts, où le corps entier participe, à partir de la seule vision embarquée. Et la téléopération robot, qui produit l'essentiel des données d'entraînement actuelles, coûte cher et passe mal à l'échelle. Utiliser des démonstrations humaines brutes, sans passer par le retargeting, simplifie la collecte et ouvre la voie à des corpus plus larges. L'interface à cinq liens est un compromis lisible : assez abstraite pour être indépendante de l'embodiment, assez riche pour porter des gestes comme un coup de pied. Le résultat sur un second humanoïde, obtenu par simple réentraînement, suggère que l'approche se transfère. Il faut toutefois relativiser les chiffres. Les taux de 77 % et 64 % sont mesurés en simulation, dans une salle répliquée, et ne disent rien de la fiabilité sur le robot réel, qui n'est démontré que par des séquences qualitatives. Les tâches restent des démonstrations de laboratoire, loin des cadences et de la robustesse qu'exige un site industriel. Le travail s'inscrit dans la course aux politiques corps entier pour humanoïdes. Les grands modèles VLA (Pi-0, GR00T N2, Helix) visent des compétences généralistes, tandis que les approches de suivi de mouvement par apprentissage par renforcement se sont multipliées sur le G1, plateforme académique de référence en raison de son coût relativement bas. Workhorse relève d'une troisième voie hiérarchique, avec un planificateur appris sur données humaines et un contrôleur bas niveau robuste. Il s'agit d'une publication de recherche (v1) et non d'un produit : aucun déploiement, calendrier ni partenaire industriel n'est annoncé. La suite logique serait de quantifier les taux de réussite sur matériel réel, d'élargir la diversité des tâches et d'évaluer le passage à l'échelle avec davantage de données humaines.

RecherchePaper

1 source

2arXiv cs.RO

Coordination corps-main à résidu contrôlé pour la téléopération humanoïde du corps entier

Un article publié sur arXiv (2609.18763v1) décrit une méthode pour corriger un défaut connu des systèmes de téléopération de robots humanoïdes à corps entier : la désynchronisation entre le suivi de mouvement du corps et le repositionnement des mains, deux modules aujourd'hui indépendants qui ne préservent pas la géométrie corps-mains, d'où des décalages de pose au poignet et aux doigts lors d'interactions bimanuelles. La méthode, baptisée "gated residual coordination", laisse ces deux modules gelés et leur ajoute des corrections bornées via une porte d'action conditionnée au mouvement, qui répartit l'autorité de correction entre groupes d'articulations, et des portes de récompense liées à la géométrie de référence pendant l'entraînement. Le contrôleur corporel de référence est calibré sur la plateforme humanoïde Agile One par une calibration morphologique multi-pose, puis entraîné avec un tracker basé sur SONIC et un jeu de données de mouvement construit par étapes. En simulation, les erreurs de géométrie poignet-doigts baissent de 39,2 à 56,3% sur des mouvements bimanuels issus du jeu GRAB, tandis que le taux de succès du suivi corporel global sur AMASS passe de 89,03% à 89,29%. Le problème visé est concret pour les intégrateurs de téléopération humanoïde : la cohérence corps-mains conditionne la fiabilité des tâches bimanuelles comme la saisie ou le transfert d'objet entre les mains, un enjeu direct pour la collecte de démonstrations servant à entraîner des modèles vision-language-action et pour le contrôle téléopéré en environnement industriel. L'atout de la méthode tient à sa modularité : elle évite de réentraîner les politiques de suivi corporel ou de retargeting déjà déployées, ce qui limite le coût d'intégration pour des équipes disposant d'une pile de téléopération existante. Le gain de 39 à 56% sur la précision géométrique est net, mais l'amélioration du taux de succès global du suivi corporel reste marginale, et les résultats ne sont pour l'instant validés qu'en simulation, sans démonstration publiée sur robot physique. Ce travail s'inscrit dans la lignée des pipelines de téléopération combinant un tracker de mouvement corporel et un module de retargeting dextre séparé, architecture répandue dans le secteur mais dépourvue jusqu'ici de coordination explicite entre les deux flux de commandes. Les auteurs s'appuient sur les jeux de capture de mouvement AMASS et GRAB, références classiques pour évaluer respectivement le suivi corporel global et l'interaction main-objet. À la différence d'une approche end-to-end entraînée depuis zéro, cette méthode résiduelle vise la compatibilité avec des modules déjà en production, ce qui pourrait faciliter son adoption par des équipes ayant déjà investi dans une pile de téléopération. Les prochaines étapes attendues sont une validation sur robot réel et une extension à des tâches de manipulation plus variées que celles couvertes par GRAB et AMASS.

RecherchePaper

1 source

3arXiv cs.RO

Des jambes aux roues : retargeting de mouvement humain adapté à l'embodiment pour humanoïdes à base mobile

Des chercheurs publient sur arXiv (2610.08381v1) un cadre de retargeting de mouvement humain conçu pour les humanoïdes à base mobile, c'est-à-dire des robots dotés d'une base à roues, d'un axe de levage vertical et de deux bras, sans jambes. Le système prend en entrée un mouvement humain reconstruit à partir de vidéo et le répartit entre trois responsabilités, la base, le lift et les bras, avant toute adaptation propre à un robot donné. Un module d'allocation conserve le chemin issu de l'humain, stabilise le cap, sépare rotation et translation quand c'est nécessaire, recadre temporellement les commandes pour respecter les limites de la base, puis répare les trajectoires du lift et des bras. Un adaptateur de déploiement convertit ensuite la référence en commandes à 50 Hz, grâce à la détection de base immobile, à un filtrage par zone morte et limitation de pente (slew-rate), à une mise à l'échelle de lecture cohérente dans le temps et à des gains linéaire et angulaire distincts. L'évaluation combine des comparaisons dans l'espace de la tâche par rapport à l'humain, un rejeu en simulation sans politique apprise et une exécution qualitative sur un robot physique. L'abstract ne fournit ni payload, ni DOF, ni taux de réussite chiffré, ni nom de plateforme. L'enjeu est pratique. La vidéo humaine est l'une des rares sources de démonstrations réellement extensibles, mais la plupart des méthodes de retargeting supposent un robot à jambes à cinématique proche de l'humain. Or une grande partie des humanoïdes commercialisés pour la logistique et l'industrie sont des manipulateurs mobiles bimanuels sur roues, plus simples à stabiliser et à déployer que la marche bipède. Pour eux, marcher devient un mouvement de base et se pencher devient une coordination entre lift et bras. Combler ce fossé élargit la quantité de données exploitable par ces plateformes. Il faut toutefois relativiser. L'évaluation reste modeste : une exécution physique seulement qualitative, pas d'entraînement de politique, pas de comparaison chiffrée avec des méthodes concurrentes. Le travail démontre la faisabilité d'une référence cinématique propre, pas encore la rentabilité de cette voie par rapport à la téléopération. Ce travail s'inscrit dans le mouvement qui cherche à apprendre à partir de vidéo humaine, dans le prolongement des méthodes de retargeting conçues pour des humanoïdes bipèdes. La contribution est ici l'adaptation à une morphologie différente, plus proche des architectures hybrides roues et bras que privilégient plusieurs acteurs industriels. La suite logique serait une validation quantitative sur des tâches réelles et le couplage de ces références avec l'apprentissage de politiques de type VLA ou par imitation, afin de mesurer le gain réel en volume de données exploitables et en taux de réussite. Aucun pilote, partenaire industriel ni calendrier n'est annoncé à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

FlashDexRetarget : accélérer la génération de données de manipulation dextérique grâce au retargeting multi-mouvement

Des chercheurs du laboratoire DAVIAN Robotics ont publié sur arXiv (2610.01849) FlashDexRetarget, un cadre d'apprentissage par renforcement (RL) qui convertit des démonstrations humaines main-objet en mouvements réalisables par des mains robotiques. Le système combine des observations en nuage de points de l'objet, des caractéristiques de distance main-objet et des encodages de trajectoire future, avec des récompenses complémentaires portant sur le mouvement de l'objet et sur la relation main-objet de référence. Il utilise des réseaux acteur-critique séparés pour la main gauche et la main droite, et adapte l'algorithme off-policy FlashSAC au suivi de mouvement dextre. Sur un benchmark de 50 mouvements, avec un ou deux objets, il atteint 90 % de réussite, soit environ 2,5 fois les méthodes de référence par échantillonnage évaluées. Il demande jusqu'à 100 fois moins de calcul d'entraînement que les références RL évaluées. Les gains sont constants sur deux mains robotiques, la XHand et la Sharpa Wave Hand. Des essais à 200, 500 et 1 000 mouvements montrent une stabilité à plus grande échelle. L'enjeu est celui des données. Les démonstrations humaines forment une source réutilisable pour entraîner des politiques de manipulation dextre, mais elles ne servent que si le retargeting respecte la physique : contacts, forces et dynamique de l'objet. Les approches par échantillonnage réussissent rarement, et les approches RL existantes réclament un entraînement coûteux pour chaque mouvement. Un taux de 90 % avec un calcul très réduit rend plausible la production de grands jeux de données de manipulation, nécessaires aux modèles VLA (vision-langage-action) pour mains à nombreux degrés de liberté. Le résultat le plus intéressant est que l'efficacité s'améliore quand le jeu d'entraînement grandit : le coût par mouvement réussi baisse avec l'échelle, ce qui est contraire à l'intuition. Il faut toutefois rester prudent. Les chiffres viennent d'un benchmark conçu par les auteurs, comparé à des références que ceux-ci ont choisies et évaluées. Le facteur 100 est une borne haute. La validation sur matériel réel se limite à des rejeux qualitatifs de démonstrations capturées, sans politique entraînée à partir de ces données ni déploiement. Le travail s'inscrit dans la course aux données pour la dextérité, où la téléopération, les gants de capture et la vidéo humaine se disputent le rôle de source principale. Le retargeting physique est le maillon qui permet de transformer cette matière humaine en données exploitables par des mains robotiques aux morphologies variées. La présence de la Sharpa Wave Hand, une main dextre récente, montre que la méthode vise des plateformes actuelles. Les auteurs annoncent la mise à disposition de la vidéo et du code sur la page du projet. L'étape suivante à surveiller est l'entraînement de politiques sur ces données retargetées et leur transfert sur robot réel, seul test capable de dire si ce taux de succès en simulation se traduit en capacité de manipulation.

RecherchePaper

1 source