Manipulation robotique dextérique à partir de…

1arXiv cs.RO

Human2Dex : apprentissage de la dextérité robotique à partir de démonstrations humaines centrées sur le poignet

Des chercheurs proposent Human2Dex, une interface de démonstration humaine centrée sur le poignet, conçue pour qu'un seul corpus de démonstrations naturelles serve à entraîner des politiques sur plusieurs mains robotiques dextres, sans collecter de données de tâche sur chaque robot cible. Le système aligne les observations par une adaptation locale de l'apparence de la main et une représentation commune à 21 points, dont la structure garde le même sens sur l'humain et sur le robot. Il produit ensuite une supervision exécutable en retargetant le mouvement fusionné de la main humaine vers chaque main cible. Une représentation baptisée GPIR (Grasp-Pocket Interaction Representation) exprime la position des objets suivis par rapport à une « Functional Grasp Pocket » centrée sur la main. Le corpus est converti en jeux d'entraînement distincts pour la Linker O6 et la Wuji. Les étiquettes d'action, la normalisation, l'entraînement et les checkpoints de diffusion policy restent propres à chaque main. Sur six tâches réelles, Human2Dex réussit 109 essais sur 120 (90,8 %) avec la Linker O6 et 97 sur 120 (80,8 %) avec la Wuji. Sur les deux mains cumulées, la baseline « Human-Raw », qui exploite les données humaines brutes, n'atteint que 63 succès sur 240 (26,3 %), contre 206 sur 240 (85,8 %) pour la configuration complète. L'écart entre 26,3 % et 85,8 % est le résultat à retenir. Il indique que les données humaines brutes ne suffisent pas : l'alignement des observations, le retargeting et la représentation relative à la main de l'objet apportent l'essentiel du gain. Pour les intégrateurs et les équipes qui déploient des mains dextres, la promesse est de réduire le coût de la collecte de données. Aujourd'hui, chaque nouvelle main ou chaque nouvelle tâche impose souvent de la téléopération répétée sur le robot cible. Un corpus humain réutilisable déplace cet effort vers une collecte unique, plus rapide et moins chère. Les résultats vont aussi dans le sens d'une séparation entre ce qui se partage (observation et sémantique du mouvement) et ce qui doit rester spécifique à la machine (actions, normalisation, politique). Il faut toutefois rester prudent. Le titre parle d'un transfert entre mains « calibrées », ce qui suppose une calibration préalable. L'évaluation couvre seulement deux mains et six tâches, avec 20 essais par tâche et par main. Elle vient d'un seul groupe, sans validation externe à ce stade. Enfin, les 80 à 90 % de succès ne disent pas la robustesse en production, par exemple la variabilité des objets, la durée des cycles ou les reprises après échec. Ce travail s'inscrit dans la course aux données pour la manipulation dextre. Les approches concurrentes reposent sur la téléopération avec gants ou exosquelettes, sur des interfaces portables du type UMI, sur l'apprentissage à partir de vidéos humaines ou sur la simulation avec transfert sim-to-real. Les diffusion policies sont devenues la brique standard pour apprendre ces comportements à partir de démonstrations. Human2Dex cherche à unifier la collecte du côté humain tout en gardant un apprentissage par embodiment. Le papier, publié sur arXiv (2610.13119v1) avec un site de projet public, est une prépublication non relue par des pairs. Les prochaines étapes à surveiller sont l'extension à d'autres mains, comme les mains d'humanoïdes, le passage à des tâches à contacts plus riches et la réplication par d'autres laboratoires. Le papier ne mentionne ni partenaire industriel ni calendrier de commercialisation.

RecherchePaper

1 source

2arXiv cs.RO

AdvDex : apprentissage de la manipulation dextérique à partir de démonstrations humaines par actions alignées sur les articulations et apprentissage adversarial

Une équipe de recherche présente AdvDex, un framework Vision-Language-Action (VLA) pour la manipulation dextre, dans un article publie sur arXiv (2608.14028v1). Le système combine trois éléments : OmniShare, un jeu de données multimodal de démonstrations de manipulation humaine offrant une supervision cinématique fine et des mesures tactiles sans recourir a une téléopération robotique couteuse ; le Joint-Aligned Action Space (JAAS), une représentation canonique de l'action associant une pose de poignet en SE(3) et 15 articulations des doigts, qui aligne fonctionnellement mains humaines, mains robotiques dextres et pinces parallèles ; et un apprentissage adversarial de domaine qui retire des représentations visuelles les indices spécifiques a chaque morphologie robotique. Les tests, portant sur la prédiction d'actions manuelles et sur des taches réelles de manipulation dextre, montrent des gains constants face aux méthodes de référence. Ce résultat répond a deux obstacles concrets du secteur : le cout de collecte des démonstrations robotiques et la faible portabilité d'une politique entre embodiments différents. AdvDex démontre un transfert zero-shot de l'humain vers le robot, une généralisation a des objets et environnements inédits, ainsi qu'une adaptation few-shot économe en données. Ce résultat appuie empiriquement une hypothèse centrale pour les modèles VLA comme Pi-0, GR00T N2 ou Helix : qu'une action canonique partagée peut réduire la dépendance a des flottes de téléopération dédiées par plateforme, un enjeu direct pour la vitesse de commercialisation des mains robotiques dextres. Le papier s'inscrit dans un courant de recherche visant a unifier les espaces d'action entre humains et robots pour exploiter les volumes de vidéo de manipulation humaine déjà disponibles, une direction également suivie par les équipes derrière Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI). Classe comme nouvelle publication sur arXiv, AdvDex reste a ce stade une contribution académique évaluée sur des bancs d'essai internes, sans date de commercialisation, partenaire industriel ni déploiement annonce. La taille exacte du jeu OmniShare et les conditions précises des tests de généralisation ne sont pas détaillées, ce qui limite l'évaluation de la portée réelle de ces résultats hors du cadre expérimental du papier.

RechercheActu

1 source

3arXiv cs.RO

Apprentissage de la manipulation dextérique via guidage par couple de contact issu de démonstrations humaines

Wandercraft, Exotec, Pollen et Enchanted Tools ne sont pas mentionnés dans le papier, donc aucune mention forcée. Voici l'article : Une équipe de recherche publie CHORD (Contact Wrench Guidance from Human Demonstration in Robotic Dexterous Manipulation), un framework d'apprentissage par renforcement pour la manipulation dextre à long horizon d'objets rigides et articulés, dans un preprint arXiv daté du 2 juillet 2026 (arXiv:2607.00033v1). L'idée centrale consiste à représenter les mouvements humains et robotiques non pas par des trajectoires articulaires brutes, mais par les forces et couples (wrench) qu'ils induisent sur l'objet manipulé, ce qui permet de comparer directement leur effet plutôt que leur cinématique. Les chercheurs ont construit un benchmark de simulation de 4 739 tâches de manipulation bimanuelle dextre, issu de jeux de données de capture de mouvement et de vidéos reconstruites en interne. Sur 1 831 tâches évaluées, CHORD atteint un taux de réussite moyen de 82,12 %. La méthode se généralise aussi à la manipulation corps entier à partir de démonstrations limitées aux mains ou filmées à la troisième personne, avec 90,77 % de réussite, et les politiques apprises se transfèrent vers le réel en boucle ouverte comme en boucle fermée. L'enjeu dépasse la simple prouesse académique : l'apprentissage par renforcement pour la manipulation riche en contacts est réputé difficile à faire passer à l'échelle, car les démonstrations humaines se transposent mal aux mains robotiques dont la cinématique diffère. En ancrant le signal de guidage dans la physique des forces plutôt que dans les gestes eux-mêmes, CHORD contourne en partie ce fossé d'incarnation. Un benchmark de près de 5 000 tâches, avec transfert vérifié sur robot réel et non seulement en simulation, constitue un test de scalabilité plus rigoureux que la plupart des démonstrations ponctuelles habituelles du secteur. Ce travail s'inscrit dans une tendance plus large exploitant la capture de mouvement et la vidéo humaine pour entraîner des politiques robotiques, en parallèle des approches par imitation ou des modèles vision-langage-action comme Pi-0 ou GR00T N2. Étant un preprint, il reste à valider par relecture par les pairs, avec une portée réelle encore limitée aux conditions de laboratoire décrites.

RecherchePaper

1 source

4arXiv cs.RO

C2Dex : reconstruction et retargeting cohérents avec le contact pour la manipulation dextérique à partir de vidéo monoculaire

Des chercheurs publient sur arXiv (arXiv:2608.07045v1) un article intitulé C2Dex, un framework qui transfère des démonstrations de manipulation extraites de simples vidéos monoculaires de mains humaines vers des robots à mains dextres. Le système repose sur une représentation partagée de contacts stables côté objet, reconstruits en agrégeant des observations bruitées image par image dans un espace canonique de l'objet. Ces contacts servent à la fois de contraintes de trajectoire pour stabiliser la reconstruction 3D de l'interaction main-objet humaine, et de cibles explicites pour le transfert vers la main robotique, via une optimisation laplacienne de l'interaction qui préserve la géométrie locale du contact malgré le changement de morphologie, puis un raffinement par apprentissage par renforcement résiduel en simulation. Sur les benchmarks DexYCB et TACO, C2Dex atteint des taux de réussite de trajectoire de bout en bout de 57,78% et 26,67% respectivement, contre 17,78% et 10% pour les meilleures méthodes de référence testées dans les mêmes conditions. Des essais de rejeu sur robot réel confirment la faisabilité physique des trajectoires générées sur des tâches de manipulation riches en contacts. Cette avancée s'attaque à un goulot d'étranglement central de la manipulation dextre : la collecte de démonstrations de qualité via téléopération ou capture de mouvement reste coûteuse et lente, alors que les vidéos humaines existent en abondance et à bas coût. Réussir à extraire de ces vidéos des trajectoires physiquement plausibles et transférables à des mains robotiques de morphologies différentes est jugé nécessaire pour entraîner à grande échelle des politiques de manipulation, dans la même logique que les modèles vision-langage-action utilisés par l'industrie humanoïde. Le gain observé face aux méthodes concurrentes, avec des taux de réussite multipliés par trois sur les deux jeux de données, suggère que l'instabilité des contacts reconstruits depuis la vidéo, jusqu'ici un frein majeur, peut être significativement atténuée. Les taux de réussite absolus restent toutefois modestes, en particulier sur TACO (26,67%), ce qui signale que le transfert vidéo vers robot dextre reste loin d'être résolu pour des tâches complexes. C2Dex s'inscrit dans un axe de recherche actif visant à exploiter les vidéos humaines comme source de données pour l'apprentissage par imitation en robotique, en complément ou substitut des démonstrations téléopérées. L'article, classé comme nouvelle soumission sur arXiv, n'a pas encore fait l'objet d'une publication évaluée par les pairs et ne décrit ni déploiement industriel ni intégration produit : il s'agit d'un travail de recherche comparé à des méthodes existantes de reconstruction d'interaction main-objet et de retargeting, jugées moins performantes dans les mêmes conditions d'évaluation. Une page projet dédiée met à disposition davantage de détails techniques et, potentiellement, des démonstrations vidéo. Les auteurs ne précisent pas de calendrier de suite des travaux, mais la démonstration sur robot réel laisse entrevoir une prochaine étape naturelle vers des évaluations en conditions moins contrôlées et sur un éventail plus large de tâches et de morphologies de mains robotiques.

RecherchePaper

1 source

Manipulation robotique dextérique à partir de démonstrations humaines : retargeting ancré sur les contacts et apprentissage de politique résiduelle

À lire aussi

Human2Dex : apprentissage de la dextérité robotique à partir de démonstrations humaines centrées sur le poignet

AdvDex : apprentissage de la manipulation dextérique à partir de démonstrations humaines par actions alignées sur les articulations et apprentissage adversarial

Apprentissage de la manipulation dextérique via guidage par couple de contact issu de démonstrations humaines

C2Dex : reconstruction et retargeting cohérents avec le contact pour la manipulation dextérique à partir de vidéo monoculaire