RecherchearXiv cs.RO 16 juin 2026

TopoRetarget : retargeting préservant les interactions pour la manipulation dextérique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié TopoRetarget, un framework de retargeting cinématique préservant les interactions pour l'apprentissage de la manipulation dextère par renforcement (RL). L'objectif est de réutiliser des démonstrations humaines main-objet comme références de mouvement pour entraîner des politiques RL sur des mains robotiques, sans dégrader la qualité des contacts critiques. La méthode construit un graphe d'interaction sparse sur les keypoints de la main et de l'objet, puis optimise une déformation laplacienne pondérée par la distance, combinée à des contraintes de cohérence directionnelle, de cinématique articulaire et de gestion des pénétrations. Sur le dataset ContactPose, TopoRetarget surpasse l'ensemble des baselines en précision de contact et en alignement de posture, avec un paramétrage unique valable pour des conditions de retargeting variées. La tâche Pen-Spin voit son taux de succès en entraînement augmenter de 40,6 points de pourcentage par rapport aux méthodes existantes. Plus significatif encore, le système permet un transfert zéro-shot vers le hardware Wuji Hand sur des tâches de réorientation de cube et de spinning de stylo, sans fine-tuning supplémentaire.

Ce résultat adresse un verrou central dans la chaîne de données pour la manipulation dextère : le retargeting naïf de démonstrations humaines introduit des artefacts de contact et des configurations infaisables qui dégradent directement la politique RL apprise en aval. La capacité à préserver la topologie d'interaction main-objet avec un seul ensemble de paramètres, sans ajustement cas par cas, est un argument fort pour la scalabilité des pipelines de collecte de données. Le transfert zéro-shot vers un hardware physique valide également partiellement la réduction du sim-to-real gap : si la référence de mouvement est topologiquement cohérente, la politique généralisée mieux, y compris vers un robot non vu pendant l'entraînement.

Le retargeting cinématique est un problème ancien dans l'animation et la robotique humanoïde, mais son application systématique à la manipulation dextère à partir de données humaines est plus récente, portée par l'essor des datasets de démonstration comme DEXYCB ou ContactPose. Les approches concurrentes incluent des méthodes d'optimisation directe de la posture (DexPilot, GRAB), ainsi que des frameworks basés sur l'apprentissage par imitation directe ou le mapping de contact. TopoRetarget se distingue par son traitement explicite de la structure topologique des contacts plutôt que de la seule géométrie de pose. Les prochaines étapes naturelles concernent la généralisation à des objets non vus, l'extension à des mains à plus de degrés de liberté, et l'intégration dans des pipelines de collecte de données à grande échelle pour l'entraînement de politiques VLA dextères.

À lire aussi

1arXiv cs.RO

OmniRetarget : génération de données préservant les interactions pour la loco-manipulation corps entier des humanoïdes

OmniRetarget est un pipeline de génération de données pour l'apprentissage par renforcement (RL) sur robots humanoïdes, présenté dans un préprint arXiv (2509.26633, v3). Face au problème du retargeting, qui consiste à convertir des captures de mouvement humain en références cinématiques exploitables par un robot, les méthodes existantes produisent des artefacts physiquement incohérents comme le glissement des pieds (foot-skating) ou la pénétration de surfaces, et ignorent les interactions humain-objet et humain-environnement. OmniRetarget introduit un "interaction mesh", un maillage intermédiaire qui modélise et préserve explicitement les relations spatiales et de contact entre l'agent, le terrain et les objets manipulés, via une minimisation par déformation laplacienne sous contraintes cinématiques. Évalué sur les datasets OMOMO, LAFAN1 et des données MoCap propriétaires, il génère plus de 8 heures de trajectoires de meilleure qualité que les baselines de référence. Appliqué au robot humanoïde Unitree G1, il permet d'exécuter des tâches de parkour et de loco-manipulation sur des horizons allant jusqu'à 30 secondes, entraîné avec seulement 5 termes de récompense et sans curriculum d'apprentissage. L'intérêt pour les chercheurs et intégrateurs réside dans deux apports combinés : la qualité cinématique améliorée réduit le sim-to-real gap, tandis que la préservation des interactions permet d'augmenter une démonstration unique vers différentes morphologies de robots, terrains et configurations d'objets, multipliant l'efficacité de la donnée. Plus significatif encore, l'obtention de comportements de loco-manipulation longs et complexes avec seulement 5 termes de récompense partagés entre toutes les tâches contredit l'hypothèse sectorielle selon laquelle ce type de compétences exige un reward engineering élaboré ou un curriculum progressif. Le paradigme dominant pour l'apprentissage humanoïde repose sur le retargeting MoCap vers des références RL, aux côtés de la télé-opération et de l'imitation directe. Le Unitree G1, produit par le fabricant chinois Unitree Robotics, s'est imposé comme plateforme académique de facto dans ce domaine, face à l'Atlas de Boston Dynamics, aux humanoïdes de Figure AI et d'Agility Robotics. OmniRetarget reste à ce stade une contribution de recherche sans annonce de déploiement industriel ; sa robustesse dans des environnements non structurés, où la géométrie de contact est imprévisible, reste à démontrer hors laboratoire.

RecherchePaper

1 source

2arXiv cs.RO

Distillation de représentations tactiles simulées pour la manipulation dextérique (PTLD)

Des chercheurs ont publié sur arXiv (référence 2603.04531) une méthode baptisée PTLD, pour "Privileged Tactile Latent Distillation", visant à résoudre l'un des verrous fondamentaux de la manipulation dextère robotique : intégrer le retour tactile dans des politiques de contrôle sans disposer de simulation réaliste de capteurs tactiles. L'approche repose sur un entraînement par renforcement en simulation, puis une phase de distillation en monde réel : des capteurs tactiles "privilégiés" (accessibles uniquement lors de la collecte de données réelles) servent à entraîner un estimateur d'état latent, qui est ensuite intégré dans la politique proprioceptive déjà apprise. Sur la tâche de référence de rotation en main (in-hand rotation), PTLD affiche une amélioration de 182 % par rapport à une politique basée uniquement sur la proprioception. Sur la tâche plus difficile de réorientation en main guidée par le toucher, le gain atteint 57 % en nombre d'objectifs atteints. L'enjeu industriel est direct : la manipulation fine avec des mains multi-doigts bute depuis des années sur deux obstacles simultanés, l'impossibilité de simuler fidèlement les capteurs tactiles et le coût prohibitif des démonstrations téléopérées de qualité suffisante. PTLD contourne les deux en découplant apprentissage en simulation (pour la dynamique) et distillation en monde réel (pour le sens du toucher), sans jamais exiger de simulation tactile. Ce résultat valide l'hypothèse que le sim-to-real n'implique pas nécessairement de simuler chaque modalité sensorielle, à condition de concevoir intelligemment la phase de transfert. Pour les intégrateurs et les équipes de R&D travaillant sur l'assemblage précis ou la manipulation d'objets déformables, c'est un signal fort : des politiques robustes sont atteignables sans infrastructure de téléopération lourde. La manipulation dextère avec retour tactile reste un chantier ouvert dans le champ robotique : des acteurs comme Sanctuary AI, Dexterous Robotics, ou encore Shadow Robot explorent des approches similaires, tandis que des laboratoires académiques (Stanford, CMU, MIT) publient régulièrement sur le sim-to-real pour mains multi-doigts. PTLD se distingue en évitant la simulation tactile là où d'autres groupes investissent dans des moteurs physiques spécialisés (ex. Isaac Gym avec contact enrichi). Aucun déploiement industriel n'est annoncé à ce stade, il s'agit d'un résultat académique publié sur preprint ; la reproductibilité sur des plateformes matérielles variées (Allegro, LEAP Hand, Dexterous Hand de Shadow) reste à démontrer.

RecherchePaper

1 source

3arXiv cs.RO

C2Dex : reconstruction et retargeting cohérents avec le contact pour la manipulation dextérique à partir de vidéo monoculaire

Des chercheurs publient sur arXiv (arXiv:2608.07045v1) un article intitulé C2Dex, un framework qui transfère des démonstrations de manipulation extraites de simples vidéos monoculaires de mains humaines vers des robots à mains dextres. Le système repose sur une représentation partagée de contacts stables côté objet, reconstruits en agrégeant des observations bruitées image par image dans un espace canonique de l'objet. Ces contacts servent à la fois de contraintes de trajectoire pour stabiliser la reconstruction 3D de l'interaction main-objet humaine, et de cibles explicites pour le transfert vers la main robotique, via une optimisation laplacienne de l'interaction qui préserve la géométrie locale du contact malgré le changement de morphologie, puis un raffinement par apprentissage par renforcement résiduel en simulation. Sur les benchmarks DexYCB et TACO, C2Dex atteint des taux de réussite de trajectoire de bout en bout de 57,78% et 26,67% respectivement, contre 17,78% et 10% pour les meilleures méthodes de référence testées dans les mêmes conditions. Des essais de rejeu sur robot réel confirment la faisabilité physique des trajectoires générées sur des tâches de manipulation riches en contacts. Cette avancée s'attaque à un goulot d'étranglement central de la manipulation dextre : la collecte de démonstrations de qualité via téléopération ou capture de mouvement reste coûteuse et lente, alors que les vidéos humaines existent en abondance et à bas coût. Réussir à extraire de ces vidéos des trajectoires physiquement plausibles et transférables à des mains robotiques de morphologies différentes est jugé nécessaire pour entraîner à grande échelle des politiques de manipulation, dans la même logique que les modèles vision-langage-action utilisés par l'industrie humanoïde. Le gain observé face aux méthodes concurrentes, avec des taux de réussite multipliés par trois sur les deux jeux de données, suggère que l'instabilité des contacts reconstruits depuis la vidéo, jusqu'ici un frein majeur, peut être significativement atténuée. Les taux de réussite absolus restent toutefois modestes, en particulier sur TACO (26,67%), ce qui signale que le transfert vidéo vers robot dextre reste loin d'être résolu pour des tâches complexes. C2Dex s'inscrit dans un axe de recherche actif visant à exploiter les vidéos humaines comme source de données pour l'apprentissage par imitation en robotique, en complément ou substitut des démonstrations téléopérées. L'article, classé comme nouvelle soumission sur arXiv, n'a pas encore fait l'objet d'une publication évaluée par les pairs et ne décrit ni déploiement industriel ni intégration produit : il s'agit d'un travail de recherche comparé à des méthodes existantes de reconstruction d'interaction main-objet et de retargeting, jugées moins performantes dans les mêmes conditions d'évaluation. Une page projet dédiée met à disposition davantage de détails techniques et, potentiellement, des démonstrations vidéo. Les auteurs ne précisent pas de calendrier de suite des travaux, mais la démonstration sur robot réel laisse entrevoir une prochaine étape naturelle vers des évaluations en conditions moins contrôlées et sur un éventail plus large de tâches et de morphologies de mains robotiques.

RecherchePaper

1 source

4arXiv cs.RO

Un modèle de représentation universel pour la manipulation dextérique unifiée

Une équipe de chercheurs propose OHRA (One Hand to Rule Them All), un cadre de représentation canonique paramétrisée visant à unifier les politiques de manipulation dextère sur des mains robotiques de morphologies très différentes. Constat de départ : les politiques d'apprentissage actuelles supposent une architecture de main fixe et ne se transfèrent pas sans réentraînement complet. Le système combine un espace de paramètres unifié capturant les variations cinématiques et morphologiques essentielles, et un format URDF canonique standardisant l'espace d'action tout en préservant les propriétés dynamiques de chaque main d'origine. Un VAE (Variational Autoencoder) est entraîné sur cet espace pour produire un plongement latent compact et sémantiquement cohérent. Résultat clé : la politique de préhension conditionnée sur cette représentation atteint 81,9 % de succès en transfert zéro-shot sur une LEAP Hand à 3 doigts, morphologie non vue pendant l'entraînement, validée en simulation et sur tâches réelles. L'enjeu est directement industriel : la fragmentation des designs de mains, Shadow Robotics, LEAP, Allegro, Ability Hand, rend les politiques non portables d'un hardware à l'autre. Un cadre partagé permettrait à un intégrateur de réentraîner une politique existante sur un nouveau manipulateur sans repartir de zéro, comprimant les coûts de déploiement. Le score de 81,9 % en zéro-shot sur une configuration inédite est un signal mesurable que le "morphology gap", l'analogue du sim-to-real gap appliqué aux architectures de mains, commence à être adressé. Le fait que les interpolations dans l'espace latent produisent des transitions morphologiques physiquement cohérentes indique que le VAE capture une géométrie fonctionnelle, pas seulement statistique. Ce travail s'inscrit dans la dynamique plus large de l'apprentissage cross-embodiment, aux côtés de travaux comme UniDexGrasp, DexGraspNet ou les approches fondées sur des VLA (Vision-Language-Action models). Sur le plan concurrentiel, Google DeepMind, Physical Intelligence (Pi-0) et Unitree investissent dans des politiques généralisables, mais l'angle "unification par représentation canonique de la morphologie de main" reste peu exploré industriellement. Les suites naturelles incluent l'extension à la manipulation bimanuelle, aux mains à plus de 5 doigts, et l'intégration dans des pipelines de téléopération. Aucun déploiement commercial ni partenariat industriel n'est annoncé à ce stade.

RecherchePaper

1 source