SEED-UMI : exosquelette partagé entre humain et…

1arXiv cs.RO

VisTacAlign : co-entraînement de politiques dextériques sur des démonstrations tactiles humaines et robotiques

Un preprint arXiv (2609.30959v1), publié fin septembre 2026 avec une page projet à vis-tac-align.github.io, présente VisTacAlign, un framework de co-entraînement de politiques de manipulation dextre combinant vision 3D et tactile. Des démonstrations humaines captées par un gant tracké sont retargetées vers une main robotique tactile à 17 degrés de liberté, avec une correction ponctuelle des doigts. La main humaine est effacée des vues stéréo et remplacée par un maillage de main robot texturé à partir d'images robot réelles, puis un modèle de fondation stéréo est réappliqué sur l'image composite pour homogénéiser les erreurs de perception entre les deux sources. Un gant tactile capacitif est calibré sur les capteurs de bout de doigt du robot, et un transformeur à diffusion ingère nuage de points, proprioception et tactile par doigt. Trois tâches réelles servent de test : assemblage de Lego, cueillette de fraises de tailles variables, activation et levage d'une perceuse. Résultat clé : combiner ces démonstrations humaines alignées avec des données robot existantes améliore les politiques par rapport à un entraînement robot seul, et les ablations montrent que tactile et alignement visuel sont chacun nécessaires. Pour les équipes de manipulation dextre, l'enjeu est économique : la téléopération robot reste lente et coûteuse à collecter, alors que les démonstrations humaines filmées à la main sont abondantes. Le verrou n'était pas le volume de données humaines mais l'écart d'incarnation entre main humaine et main robot. Ces travaux appuient l'idée que des politiques génériques de type VLA peuvent apprendre à grande échelle à partir de vidéos humaines, une direction que suivent aussi des modèles comme Pi-0 ou GR00T N2. VisTacAlign reste un travail de recherche en preprint, sans produit ni déploiement industriel annoncé : la validation se limite à trois tâches en laboratoire. Il s'inscrit dans une vague de recherches cherchant à réduire la dépendance à la téléopération coûteuse via des démonstrations humaines, aux côtés d'approches comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure. Sa spécificité tient à la modalité tactile, moins explorée que le transfert purement visuel humain-robot. Le preprint n'annonce ni partenariat industriel ni calendrier de suite ; les prochaines étapes se limitent aux vidéos et documents disponibles sur la page du projet.

RecherchePaper

1 source

2arXiv cs.RO

ExoBridge : apprendre la correspondance entre main nue et exosquelette de main grâce au couplage des membres humains

Des chercheurs publient sur arXiv (2610.07692) ExoBridge, un cadre d'apprentissage qui prédit l'état moteur et tactile d'un exosquelette instrumenté à partir d'une simple vidéo de main nue. La collecte repose sur un protocole bimanuel. Une main reste nue et fournit les observations visuelles, tandis que l'autre porte l'exosquelette et fournit des mesures synchronisées de mouvement et de toucher. Ces démonstrations appariées entraînent un modèle visuel temporel qui prédit trois grandeurs à partir de la seule vidéo de la main nue : le contact des bouts de doigts, l'intensité tactile continue et le mouvement relatif des encodeurs. L'évaluation porte sur 1 215 démonstrations réparties sur quatre tâches de manipulation, avec des sessions de collecte mises de côté pour le test. Elle donne une AUROC de 0,916 pour la détection de tout contact et une corrélation de Pearson de 0,790 pour l'intensité tactile. Le modèle prédit aussi les variations relatives de configuration de l'exosquelette. Les mesures sont agrégées sur l'ensemble des tâches. L'article ne donne ni le détail par tâche, ni le nombre d'opérateurs, ni les objets manipulés. Aucune démonstration sur robot n'est annoncée. Il s'agit d'un résultat de recherche, sans produit ni déploiement. L'enjeu est la pénurie de données pour la manipulation dextre. Les vidéos humaines sont abondantes et bon marché, mais elles ne contiennent ni force ni contact, et ce sont justement ces signaux qui distinguent une saisie réussie d'un glissement. Les gants et exosquelettes mesurent ces grandeurs, mais ils gênent le geste, déforment la prise naturelle et se déploient mal à grande échelle. ExoBridge propose de n'instrumenter qu'une main pendant la collecte, puis de ne conserver que la vidéo à l'inférence. Si cela se confirme, un corpus de vidéos de mains nues pourrait recevoir des pseudo-étiquettes tactiles utilisables pour entraîner des politiques de type VLA. Les limites sont nettes. La méthode suppose que les deux mains se comportent de façon couplée, ce qui exclut les gestes asymétriques. Un AUROC de 0,916 sur le contact binaire ne garantit pas une estimation de force assez précise pour piloter un contrôleur. Le lien avec une main robotique passe par une calibration existante de l'exosquelette, et non par une validation de bout en bout. Ce travail s'inscrit dans l'effort général pour apprendre la dextérité à partir de l'humain. Il croise la téléopération par exosquelette, les gants tactiles et les approches par vidéo seule, qui renoncent au tactile. ExoBridge se place entre les deux, en utilisant le capteur comme enseignant temporaire plutôt que comme équipement permanent. La suite logique est de tester la chaîne complète sur une main dextre réelle, de vérifier la généralisation à d'autres opérateurs, objets et caméras, et de mesurer le gain obtenu en politique apprise par rapport à une simple imitation visuelle. Ces éléments ne figurent pas encore dans l'article.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Manipulation robotique dextérique à partir de démonstrations humaines : retargeting ancré sur les contacts et apprentissage de politique résiduelle

Un pipeline en trois étapes permet désormais d'entraîner des politiques de manipulation dextre pour robots à partir de simples enregistrements de capture de mouvement humain, sans aucune donnée d'entraînement collectée sur un robot réel, selon un article publié sur arXiv (2609.24093v1). La méthode combine un raffinement physique via une main MANO simulée pour reconstruire les contacts et les forces absents des captures humaines classiques, un retargeting ancré sur la structure de contact plutôt que sur le mouvement articulaire, et une politique résiduelle d'apprentissage par renforcement entraînée une seule fois pour corriger la faisabilité dynamique. Les résultats chiffrés sont substantiels : sur 25 454 trajectoires à une main, le taux de succès passe de 7,3% à 59,3% après application du pipeline ; sur 25 tâches bimanuelles, il grimpe de 16,0% à 62,4%. Le même jeu de données humain, transféré vers quatre mains robotiques de morphologies différentes, gagne 62,4 points de succès en moyenne. Quatre tâches bimanuelles impliquant des contacts complexes ont aussi été exécutées sur du matériel physique réel, toujours sans entraînement préalable sur robot. Pour l'industrie robotique, ce travail s'attaque frontalement au goulot d'étranglement le plus coûteux de la manipulation dextre : les données de téléopération réelle, jugées indispensables mais lentes et chères à collecter à l'échelle. En montrant qu'une seule politique résiduelle générique suffit à rendre exploitables des captures de mouvement humain bon marché et déjà disponibles en masse, l'étude suggère que le sim-to-real pour les mains multi-doigts pourrait devenir moins dépendant de pipelines spécifiques à chaque tâche, une promesse jusqu'ici tenue surtout par les modèles VLA génériques (GR00T, Pi-0, Helix) sur des tâches de préhension plus grossières. Le transfert réussi vers quatre morphologies de main différentes renforce l'idée que la structure de contact, plutôt que la cinématique brute, est la représentation qui généralise. Le constat de départ est que les sources de démonstrations humaines scalables, vidéos ou gants de capture de mouvement, ne capturent jamais les forces de contact qui déterminent la réussite d'une prise. Les approches concurrentes reposaient jusqu'ici sur du retargeting cinématique direct ou de l'apprentissage par renforcement spécifique à chaque tâche en simulation. Le papier reste à ce stade un preprint de recherche, sans partenaire industriel ni déploiement commercial annoncé ; les suites attendues concernent l'extension à davantage de morphologies de mains et de tâches réelles.

RecherchePaper

1 source

4arXiv cs.RO

Human2Dex : apprentissage de la dextérité robotique à partir de démonstrations humaines centrées sur le poignet

Des chercheurs proposent Human2Dex, une interface de démonstration humaine centrée sur le poignet, conçue pour qu'un seul corpus de démonstrations naturelles serve à entraîner des politiques sur plusieurs mains robotiques dextres, sans collecter de données de tâche sur chaque robot cible. Le système aligne les observations par une adaptation locale de l'apparence de la main et une représentation commune à 21 points, dont la structure garde le même sens sur l'humain et sur le robot. Il produit ensuite une supervision exécutable en retargetant le mouvement fusionné de la main humaine vers chaque main cible. Une représentation baptisée GPIR (Grasp-Pocket Interaction Representation) exprime la position des objets suivis par rapport à une « Functional Grasp Pocket » centrée sur la main. Le corpus est converti en jeux d'entraînement distincts pour la Linker O6 et la Wuji. Les étiquettes d'action, la normalisation, l'entraînement et les checkpoints de diffusion policy restent propres à chaque main. Sur six tâches réelles, Human2Dex réussit 109 essais sur 120 (90,8 %) avec la Linker O6 et 97 sur 120 (80,8 %) avec la Wuji. Sur les deux mains cumulées, la baseline « Human-Raw », qui exploite les données humaines brutes, n'atteint que 63 succès sur 240 (26,3 %), contre 206 sur 240 (85,8 %) pour la configuration complète. L'écart entre 26,3 % et 85,8 % est le résultat à retenir. Il indique que les données humaines brutes ne suffisent pas : l'alignement des observations, le retargeting et la représentation relative à la main de l'objet apportent l'essentiel du gain. Pour les intégrateurs et les équipes qui déploient des mains dextres, la promesse est de réduire le coût de la collecte de données. Aujourd'hui, chaque nouvelle main ou chaque nouvelle tâche impose souvent de la téléopération répétée sur le robot cible. Un corpus humain réutilisable déplace cet effort vers une collecte unique, plus rapide et moins chère. Les résultats vont aussi dans le sens d'une séparation entre ce qui se partage (observation et sémantique du mouvement) et ce qui doit rester spécifique à la machine (actions, normalisation, politique). Il faut toutefois rester prudent. Le titre parle d'un transfert entre mains « calibrées », ce qui suppose une calibration préalable. L'évaluation couvre seulement deux mains et six tâches, avec 20 essais par tâche et par main. Elle vient d'un seul groupe, sans validation externe à ce stade. Enfin, les 80 à 90 % de succès ne disent pas la robustesse en production, par exemple la variabilité des objets, la durée des cycles ou les reprises après échec. Ce travail s'inscrit dans la course aux données pour la manipulation dextre. Les approches concurrentes reposent sur la téléopération avec gants ou exosquelettes, sur des interfaces portables du type UMI, sur l'apprentissage à partir de vidéos humaines ou sur la simulation avec transfert sim-to-real. Les diffusion policies sont devenues la brique standard pour apprendre ces comportements à partir de démonstrations. Human2Dex cherche à unifier la collecte du côté humain tout en gardant un apprentissage par embodiment. Le papier, publié sur arXiv (2610.13119v1) avec un site de projet public, est une prépublication non relue par des pairs. Les prochaines étapes à surveiller sont l'extension à d'autres mains, comme les mains d'humanoïdes, le passage à des tâches à contacts plus riches et la réplication par d'autres laboratoires. Le papier ne mentionne ni partenaire industriel ni calendrier de commercialisation.

RecherchePaper

1 source

SEED-UMI : exosquelette partagé entre humain et robot pour une démonstration dextérique en correspondance directe

À lire aussi

VisTacAlign : co-entraînement de politiques dextériques sur des démonstrations tactiles humaines et robotiques

ExoBridge : apprendre la correspondance entre main nue et exosquelette de main grâce au couplage des membres humains

Manipulation robotique dextérique à partir de démonstrations humaines : retargeting ancré sur les contacts et apprentissage de politique résiduelle

Human2Dex : apprentissage de la dextérité robotique à partir de démonstrations humaines centrées sur le poignet