RecherchearXiv cs.RO 30 septembre 2026

OTRetarget : retargeting conjoint du mouvement du robot et de l'objet par transport optimal

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (2609.36602) OTRetarget, une méthode qui transfère des démonstrations humaines vers un humanoïde en retargetant conjointement le mouvement du robot et celui des objets manipulés. Elle représente les interactions de surface par trois quantités : distances signées, points les plus proches sur la surface et directions relatives. Un transport optimal entropique projette ces grandeurs entre les géométries de l'humain, du robot et des objets. Les cibles obtenues alimentent une cinématique inverse sous contraintes, qui arbitre à chaque frame entre préservation des contacts et style du mouvement, en optimisant simultanément les poses du robot et des objets. Sur le jeu de données OMOMO, les auteurs annoncent un score de Jaccard d'interaction robot-objet de 87 % et une erreur de profondeur de 8,7 mm, contre 28 % et 29,3 mm pour OmniRetarget. La validation physique porte sur un humanoïde Unitree G1, avec des politiques corps entier entraînées par apprentissage par renforcement sur les références retargetées. Les mouvements testés incluent la dépose à deux mains d'une boîte sur une table.

Le retargeting est un goulot d'étranglement peu visible de la chaîne qui va de la capture humaine aux politiques de loco-manipulation. Quand les proportions du robot diffèrent de celles de l'opérateur, les contacts avec le sol et les objets dérivent, et les politiques apprennent alors sur des références physiquement incohérentes. La plupart des approches figent la trajectoire de l'objet ou remettent à l'échelle la scène et la démonstration. OTRetarget laisse l'objet libre de s'adapter à la morphologie du robot, sans changer l'échelle de la scène. Le gain annoncé face à OmniRetarget est important, mais il vient d'un benchmark sur données de capture, avec une métrique de contact définie par les auteurs. Il ne dit pas encore quel taux de réussite on obtiendrait sur des tâches longues ou contraintes en cadence. La démonstration matérielle se limite à un G1 de petite taille et à des tâches simples. Aucun temps de cycle, aucune charge utile ni aucun taux d'échec n'est mentionné dans le résumé.

Ces travaux s'inscrivent dans la vague de pipelines « humain vers humanoïde » qui cherchent à produire des données d'entraînement à grande échelle sans téléopération coûteuse. OmniRetarget en est la référence directe, et OTRetarget se positionne explicitement contre lui. Le G1 est devenu la plateforme de recherche par défaut, car elle est abordable et largement répandue dans les laboratoires. Les VLA généralistes comme Pi-0, GR00T N2 ou Helix ont besoin de données cohérentes en contacts, ce qui donne à cette brique un intérêt direct. Les prochaines étapes à surveiller sont la diffusion du code, la validation sur des humanoïdes plus grands et sur des objets déformables ou articulés, ainsi qu'une évaluation sur des scènes multi-objets plus encombrées.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Unitree NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

PriMoRetarget : transfert de mouvement humanoïde par reciblage de mouvement priorisé

PriMoRetarget est un cadre de retargeting de mouvement présenté sur arXiv (2610.12642) qui remplace la pondération relative des objectifs par une hiérarchie de priorités explicite. Le retargeting désigne l'étape de prétraitement qui transfère des données de mouvement humain (capture de mouvement) vers la morphologie d'un robot humanoïde. Dans la pratique, il est formulé comme un problème d'optimisation multi-objectifs pondérée, où il faut équilibrer des critères concurrents : fidélité de la pose, placement des pieds, contacts avec les objets ou avec d'autres personnages. Avec PriMoRetarget, les mises à jour de priorité inférieure sont contraintes de préserver les objectifs de priorité supérieure. Les caractéristiques critiques, comme la position des pieds et les contacts d'interaction, passent donc avant les objectifs de pose. La méthode est évaluée sur quatre jeux de données couvrant le mouvement d'un seul personnage, la manipulation d'objets et les interactions entre personnages. Les auteurs affirment que les mouvements obtenus préservent mieux les interactions utiles à la tâche et fournissent des trajectoires de référence que les contrôleurs suivent plus fiablement qu'avec les méthodes de retargeting couramment utilisées. Le résumé ne chiffre ni les gains ni le taux de suivi, et ne nomme pas les méthodes de référence. L'enjeu est très concret pour quiconque entraîne des politiques de suivi de mouvement pour humanoïdes. Les approches actuelles reposent sur de grandes bases de capture humaine retargetées puis suivies par apprentissage par renforcement en simulation. Des références mal retargetées (pieds qui glissent, mains qui ne touchent plus la caisse, contacts perdus entre deux personnages) produisent des trajectoires physiquement incohérentes que le contrôleur ne peut pas suivre. Le réglage manuel des poids, souvent propre à chaque séquence, est un coût caché des pipelines de données. Remplacer ce réglage par une hiérarchie stricte pourrait réduire le travail d'ingénierie et rendre les jeux de données plus reproductibles. Pour la manipulation et les interactions multi-agents, qui sont les cas où les humanoïdes doivent démontrer une valeur industrielle (portage, passage d'objets, collaboration), préserver les contacts est une condition nécessaire. Il faut toutefois rester prudent : il s'agit d'un preprint v1, non revu par les pairs, évalué en simulation, et le résumé ne donne aucune validation sur robot physique. Le contexte est celui d'une course aux données de mouvement pour les modèles de fondation humanoïdes. Les outils de retargeting dominants reposent sur la cinématique inverse pondérée ou sur l'optimisation de maillage, conçus d'abord pour des mouvements isolés. L'extension aux scènes avec objets et plusieurs acteurs a fait apparaître les limites de la pondération. L'optimisation hiérarchique, qui impose les priorités par contraintes, est une idée ancienne en robotique (commande par tâches prioritaires, projection dans l'espace nul) que ce travail applique à ce problème. Les prochaines étapes à surveiller sont la publication du code, la comparaison chiffrée avec les méthodes de référence et, surtout, des tests de transfert sur matériel réel.

RecherchePaper

1 source

2arXiv cs.RO

Retargeting de mouvement à dense résolution temporelle pour robots à pattes

Une équipe de chercheurs publie sur arXiv (v1, septembre 2026) une méthode baptisée DTMR (Dense Temporal Motion Retargeting) pour adapter à des robots à pattes des mouvements issus d'humains ou d'animaux. Le problème visé est l'écart morphologique entre la source et le robot : une réception de saut ou un temps de vol humain ne sont pas réalisables tels quels par une machine aux masses, couples et inerties différents. Les approches classiques corrigent soit la géométrie, soit le timing, soit les deux en séquence. DTMR optimise le timing et le contrôle dans un seul problème, et le terme « dense » signifie que le tempo est ajusté à chaque pas de contrôle. Le problème est résolu par un MPC (commande prédictive) à échantillonnage, exécuté en parallèle sur GPU. L'évaluation porte sur deux heures de mouvements humains retargetés sur quatre robots humanoïdes. Les auteurs affirment que DTMR surpasse les méthodes de référence, surtout sur les mouvements dynamiques. À budget de déformation temporelle égal, il retargete plus précisément qu'une base qui optimise aussi la dimension temporelle, avec un calcul environ 19 fois plus rapide. Des politiques entraînées sur ces références ont été transférées sur un humanoïde réel. L'intérêt tient à la place de cette étape dans la chaîne de production des comportements humanoïdes. Les politiques apprises par imitation ou par renforcement, qu'elles soient en simulation ou destinées au déploiement, dépendent de la qualité des trajectoires de référence. Si un saut est mal cadencé, la politique apprend soit à compenser par des artefacts, soit échoue. Ne déformer le temps que là où c'est nécessaire préserve le reste du mouvement, ce qui compte pour les gestes expressifs ou les tâches de loco-manipulation. Le gain d'un facteur 19 réduit le coût de préparation de grands corpus de mouvements, un goulot réel pour qui veut passer de quelques démos à des bibliothèques de compétences. Il faut toutefois rester prudent : le transfert réel n'est mentionné que sur un seul robot, sans taux de réussite ni précisions sur la nature des mouvements testés. Les comparaisons se font contre des baselines choisies par les auteurs, et la métrique de précision n'est pas détaillée dans le résumé. Il s'agit d'un résultat de recherche, pas d'un produit livré ni d'un déploiement. Ce travail s'inscrit dans une lignée qui va du retargeting cinématique par optimisation de pose aux pipelines de suivi de mouvement humain (type DeepMimic, puis les approches de tracking à grande échelle sur humanoïdes) et à l'essor du MPC par échantillonnage accéléré sur GPU. Il intéresse directement les acteurs qui entraînent des modèles généralistes à partir de données de mouvement humain, comme Figure, Tesla (Optimus), Unitree, Agility ou NVIDIA avec GR00T, ainsi que les laboratoires européens travaillant sur la locomotion, dont Wandercraft côté français. Les suites probables sont une diffusion du code et une validation sur davantage de plateformes et de mouvements à forte dynamique, comme les sauts, les roulades ou la course. Elles passeront aussi par l'intégration dans les pipelines d'entraînement de politiques complètes.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Robot IA : le shooting par contact retargete le mouvement dynamique sans lissage discontinu

Publié sur arXiv le 5 août 2026 (référence 2608.03116), un article de recherche présente DSMS (Direct Simulation-based Multiple Shooting), une méthode qui corrige un défaut courant du retargeting de mouvement pour humanoïdes. Les techniques actuelles privilégient la ressemblance cinématique avec le mouvement humain source, au détriment de la dynamique corps entier et de la cohérence des contacts, produisant des références difficiles à reproduire en apprentissage par renforcement, surtout pour des comportements riches en contacts. DSMS intègre un simulateur différentiable dans un programme d'optimisation non linéaire, résolvant en interne contacts, friction, impacts, auto-collisions et limites articulaires, sans calendrier de contact imposé. Les auteurs démontrent un transfert sim-to-real zero-shot sur le Unitree G1 : un rampement pilotable riche en contacts et un saut-pivot dynamique à 180 degrés. Ce travail cible un point de friction central pour l'industrie humanoïde : l'écart entre démonstrations simulées et comportements fiables sur robot réel, frein majeur à une commercialisation crédible au-delà des vidéos promotionnelles. Les pipelines de motion imitation actuels, qu'ils reposent sur du RL ou des architectures VLA, héritent souvent de références physiquement irréalistes, ce qui allonge l'entraînement et fragilise les politiques face aux contacts imprévus. En rendant les références dynamiquement cohérentes en amont, DSMS accélérerait l'entraînement et améliorerait le taux de succès et la précision de suivi par rapport aux méthodes existantes, selon les auteurs. Le résumé ne fournit toutefois aucun chiffre comparatif précis, ce qui invite à la prudence sur l'ampleur réelle du gain avant validation indépendante. La publication s'inscrit dans l'effort de recherche intense sur le sim-to-real pour humanoïdes, qui mobilise aussi bien des laboratoires académiques que Nvidia avec GR00T, Figure avec Helix, ou les équipes internes d'Unitree et de Boston Dynamics. Le G1, plateforme largement utilisée en recherche pour son coût relativement accessible et ses capacités dynamiques, sert de banc d'essai standard pour ce type de démonstration. Publié en preprint, non encore validé par revue par les pairs, l'article ne mentionne ni partenariat industriel ni feuille de route commerciale : il s'agit d'une contribution méthodologique destinée à la communauté du contrôle robotique et du RL, dont l'impact réel dépendra de sa reproductibilité par d'autres équipes.

RecherchePaper

1 source

4arXiv cs.RO

Retargeting de mouvement du haut du corps, de l'humain au robot, préservant la géométrie à partir d'une vidéo monoculaire

Des chercheurs proposent un cadre de retargeting de mouvement qui convertit une simple vidéo RVB monoculaire en mouvements coordonnés du haut du corps pour un robot dual-bras à main dextre. Le système repose sur une reconstruction unifiée corps-mains : les estimations image par image du corps, les observations à l'échelle de la vidéo et les détails des mains contraignent ensemble un unique état du Momentum Human Rig (MHR), un modèle corporel différentiable. Les artefacts transitoires sur les mains sont corrigés directement dans l'espace des paramètres. Le mouvement est ensuite décrit par des grandeurs géométriques (directions des segments du bras, configuration du coude, orientation relative des paumes, relations bilatérales des poignets), puis exécuté par une cinématique inverse en plusieurs étapes et une adaptation propre à la main du robot. Au sein d'un système plus large, Across-VAM gère la génération vidéo et Across-WAM la mise en correspondance humain-robot. L'évaluation porte sur 16 vidéos (1 769 images source), dont 10 séquences de langue des signes et 6 de saisie. L'erreur moyenne de reprojection des mains passe de 22,36 à 7,21 pixels par rapport à SAM 3D Body. Les 16 trajectoires ont été rejouées en simulation cinématique, et deux mouvements représentatifs (signes, saisie) ont été démontrés sur un robot réel. Pour l'industrie, l'intérêt tient à la source de données. La vidéo monoculaire est la matière première la moins chère pour l'apprentissage par démonstration, bien moins coûteuse que la téléopération ou les gants de capture. Mais le transfert vers un robot bute sur un problème concret : corps et mains sont reconstruits à des échelles différentes, les cinématiques divergent et les mouvements distaux fins se perdent. Une réduction de l'erreur de reprojection de plus des deux tiers sur les mains est significative pour la dextérité, là où les pipelines existants dégradent le plus. Des réserves s'imposent toutefois. L'échantillon est très réduit (16 vidéos), le succès en simulation ne mesure que la faisabilité cinématique, sans dynamique ni contact, et la validation physique se limite à deux démonstrations qualitatives, sans taux de réussite chiffré. Le gain est mesuré contre un seul point de comparaison, et le cas de la langue des signes, bien que parlant, reste éloigné de la manipulation industrielle. Ce travail s'inscrit dans la course à la donnée pour les modèles de politique robotique. Les acteurs comme Figure, Tesla (Optimus) ou Physical Intelligence cherchent à exploiter des vidéos humaines à grande échelle pour nourrir leurs VLA, et la qualité du retargeting devient un goulot d'étranglement. La séparation entre génération vidéo (Across-VAM) et mapping humain-robot (Across-WAM) suggère une architecture modulaire pensée pour relier des modèles génératifs à l'exécution. Les prochaines étapes à surveiller sont une évaluation sur davantage de séquences, des taux de succès en manipulation réelle avec contacts, et une intégration avec des politiques apprises. Le papier est un preprint sur arXiv, non évalué par les pairs, et aucun calendrier de déploiement n'est annoncé.

RecherchePaper

1 source