Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
EgoWild2Dex apprend la manipulation robotique dextérique à partir d'expériences humaines réelles
RecherchearXiv cs.RO 

EgoWild2Dex apprend la manipulation robotique dextérique à partir d'expériences humaines réelles

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

EgoWild2Dex, présenté le 22 septembre 2026 dans un article arXiv, apprend la manipulation dextre à des robots bimanuels à partir de vidéos humaines filmées à la première personne, non en studio mais dans des domiciles, des usines et des pharmacies, via des caméras portées sur la tête. Cette collecte en conditions réelles capture des gestes variés mais produit des vues instables, avec une rotation cumulée moyenne de 15,93 degrés par seconde due aux mouvements de tête. Pour corriger ce bruit, les auteurs introduisent GeoFormer, un transformeur géométrique différentiable qui recale les observations humaines sur le point de vue du robot, complété par un entraînement conjoint humain-robot réduisant l'écart d'incarnation entre main humaine et main robotique. Ils publient aussi EgoWild, 538,9 heures de vidéo, 179 049 épisodes, 125 961 descriptions de tâches et 1 282 catégories d'objets, sur lequel EgoWild2Dex atteint 96,7% de réussite sur trois tâches bimanuelles longues et 33,3% en zero-shot au niveau objet.

Ce travail s'inscrit dans une tendance de la robotique dextre visant à remplacer téléopération coûteuse et données simulées par de la vidéo humaine égocentrique collectée à grande échelle, une direction aussi suivie par des modèles comme GR00T N2 ou Helix, mais généralement en environnement contrôlé. En allant chercher ses démonstrations dans des usines et pharmacies réelles, l'équipe teste si l'apprentissage par imitation résiste au désordre du monde réel plutôt qu'à des trajectoires propres et répétables. L'écart entre le taux de réussite sur tâches entraînées (96,7%) et le taux zero-shot sur objets nouveaux (33,3%) confirme toutefois que la généralisation reste le principal verrou du secteur, bien avant l'exécution du geste lui-même.

Cette approche prolonge des travaux antérieurs de collecte par caméra portée, généralement menés en environnements aménagés pour limiter bruit visuel et occlusions, une contrainte qu'EgoWild2Dex cherche explicitement à lever. L'article ne nomme ni robot commercial ni partenaire industriel, seulement une plateforme bimanuelle à mains dextres, ce qui situe ce travail du côté recherche académique plutôt que produit, loin des démonstrations comme Figure 03 de Figure AI ou Optimus Gen 3 de Tesla. Les auteurs annoncent la publication à venir des données, modèles et code, sans date précise, ce qui permettra à la communauté d'évaluer la reproductibilité de résultats obtenus sur seulement trois tâches, et de mesurer si EgoWild sera repris pour entraîner d'autres modèles vision-langage-action.

Dans nos dossiers

FigureTesla OptimusIA physique & VLANVIDIA GR00T

À lire aussi

L'apprentissage de la manipulation dextérique à partir de vidéos humaines du quotidien
1arXiv cs.RO 

L'apprentissage de la manipulation dextérique à partir de vidéos humaines du quotidien

Des chercheurs ont mis en ligne sur arXiv en juin 2026 un algorithme nommé DO AS I DO, conçu pour extraire automatiquement des trajectoires de manipulation dextère à partir de vidéos RGB monoculaires filmant des mains humaines en action. Le pipeline reconstruit les interactions main-objet depuis des vidéos égocentriques (caméra portée par l'opérateur) ou exocentriques (caméra tierce), captées en conditions réelles et sans capteurs de profondeur ni marqueurs, puis effectue un retargeting de ces estimations vers des mains robotiques multi-doigts pour produire des séquences d'actions directement exécutables sur robot physique. Selon les évaluations conduites sur plusieurs jeux de données annotés ainsi que sur des clips collectés en ligne, DO AS I DO dépasse l'état de l'art précédent en précision d'estimation des interactions main-objet et en qualité des trajectoires extraites. L'enjeu est structurel : la collecte de données de manipulation reste le principal goulot d'étranglement pour entraîner des robots dextères. La téléopération est lente et coûteuse, la simulation difficile à transférer en conditions réelles sur des mains à 16 DOF ou plus, un phénomène connu sous le nom de sim-to-real gap. DO AS I DO propose une troisième voie en exploitant des vidéos déjà disponibles en ligne comme source de supervision passive, sans infrastructure dédiée. Pour les équipes R&D travaillant sur des manipulateurs multi-doigts, cela pourrait réduire significativement le coût de collecte de démonstrations. Les auteurs publient également un "efficacy playbook", soit un ensemble de recommandations pratiques destinées aux équipes terrain. Le point critique reste la fidélité du retargeting : le fossé cinématique entre les 21 degrés de liberté d'une main humaine et l'anatomie d'un effecteur robotique introduit des approximations que le papier reconnaît sans les quantifier de façon exhaustive. La manipulation dextère demeure l'un des problèmes les moins résolus de la robotique humanoïde commerciale. Physical Intelligence avec Pi-0, Figure AI avec Figure 03 et NVIDIA avec GR00T N2 investissent massivement dans des pipelines de données alternatifs, notamment la génération en simulation via DexMimicGen ou la téléopération structurée à grande échelle comme DROID et ALOHA 2. DO AS I DO se distingue en ciblant directement l'embodiment gap sans recourir à de l'infrastructure de capture spécialisée, en valorisant des vidéos grand public. Ce preprint ne mentionne aucun déploiement industriel ni partenariat commercial ; il s'agit d'une contribution académique, pas d'un produit prêt à l'emploi. L'étape naturelle sera de mesurer si ces trajectoires retargetées alimentent efficacement l'entraînement de modèles VLA à l'échelle, la question ouverte centrale de la robotique de manipulation en 2026.

RecherchePaper
1 source
Dex-One2Many : apprendre la manipulation dextérique à partir d'une seule démonstration humaine
2arXiv cs.RO 

Dex-One2Many : apprendre la manipulation dextérique à partir d'une seule démonstration humaine

Des chercheurs présentent Dex-One2Many, un cadre « real-to-sim-to-real » qui apprend une politique de manipulation dextre généralisable à partir d'une seule vidéo de démonstration humaine. Le système convertit la vidéo en une séquence de graphes de scène, c'est-à-dire des représentations des relations entre la main, les outils et les objets à chaque étape de la tâche. Ces graphes servent à deux choses : ils contraignent la génération d'états de réinitialisation variés en simulation, et ils fournissent une récompense dense pour chaque étape. L'entraînement par apprentissage par renforcement (RL) se fait entièrement en simulation, puis la politique est transférée sans réglage supplémentaire (zero-shot) vers une main robotique multi-doigts réelle. Sur cinq tâches d'usage d'outils et de manipulation, la méthode dépasse les approches de référence de 6,5 % dans les configurations vues pendant la démonstration, et l'écart atteint 71 % dans les scénarios non vus. Ce travail s'attaque à un compromis bien identifié. Beaucoup de méthodes actuelles d'apprentissage à partir d'une vidéo humaine imitent strictement les mouvements montrés, ce qui limite leur généralisation à des positions initiales d'objet, des positions cibles ou des prises absentes de la vidéo. À l'inverse, le RL pur généralise largement, mais explore mal les espaces de grande dimension d'une main dextre sur des tâches à plusieurs étapes. En contraignant des relations plutôt que des poses exactes, les graphes de scène couvrent des configurations et des prises au-delà de la démonstration, tout en gardant l'exploration courte et guidée. Le gain modeste en configurations connues contre un écart de 71 % hors distribution suggère que la valeur de l'approche tient surtout à la robustesse. Cela compte pour les intégrateurs, car la collecte de démonstrations robotiques reste coûteuse. Il faut toutefois rester prudent : il s'agit d'un préprint (arXiv, v1) sans relecture par les pairs. Le résumé ne précise ni les baselines, ni le matériel, ni le nombre d'essais réels, et cinq tâches de laboratoire ne disent rien de la fiabilité en production. Le contexte est celui d'une course à la dextérité qui mobilise à la fois la recherche académique et les acteurs industriels des mains humanoïdes. Deux grandes familles s'y opposent : l'imitation à partir de vidéos humaines, qui réduit le coût des données mais généralise mal, et le RL en simulation, qui généralise mieux mais exige un important travail de conception de la récompense et de l'exploration. Dex-One2Many se place entre les deux, en utilisant la structure symbolique de la scène comme prior. Aucun pilote industriel, délai de commercialisation ou code publié n'est mentionné dans le résumé. La suite logique serait des évaluations sur davantage de tâches, de mains et de scènes encombrées, ainsi qu'une comparaison avec les modèles vision-langage-action (VLA) généralistes, qui visent la même promesse d'apprentissage à partir de peu de données.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Apprentissage de la manipulation dextérique à partir de vidéos monoculaires de mains humaines
3arXiv cs.RO 

Apprentissage de la manipulation dextérique à partir de vidéos monoculaires de mains humaines

Une équipe de chercheurs a publié sur arXiv (identifiant arXiv:2606.16436v1) un framework baptisé V2P-Manip, conçu pour extraire des politiques de manipulation dextre directement à partir de vidéos monoculaires de démonstrations humaines. L'architecture propose un pipeline intégré en trois étapes : acquisition d'assets 3D, estimation de trajectoires, puis apprentissage de politique de manipulation. Pour réconcilier perception visuelle et contraintes physiques, les auteurs introduisent un processus de raffinement en deux étapes imposant à la fois un alignement spatial et une cohérence physique. Le système a été évalué sur les benchmarks TACO et OakInk, deux jeux de données de référence en manipulation dextre, et affiche un taux de réussite moyen supérieur à 75 % sur des tâches de manipulation synthétiques, avec une généralisation démontrée sur plusieurs morphologies de mains robotiques différentes. L'enjeu central que V2P-Manip cherche à résoudre est celui du coût de collecte des données d'entraînement : la télé-opération reste lente, coûteuse et difficile à standardiser à grande échelle. Utiliser des vidéos monoculaires standard, sans capteurs de profondeur ni mocap, représente un levier de scalabilité potentiellement majeur pour les fabricants d'effecteurs dextres et les laboratoires à budget limité. Le pipeline démontre aussi une transférabilité des "manipulation priors" entre embodiments différents, ce qui est un résultat non trivial. Il faut néanmoins noter que le taux de 75 % est mesuré sur des tâches synthétiques et que les vidéos utilisées en entrée sont des démonstrations humaines sélectionnées -- le real-world gap reste à quantifier sur du matériel réel déployé en conditions industrielles non contrôlées. La manipulation dextre constitue l'une des frontières les plus dures de la robotique, un domaine où des acteurs comme Dexterous Robotics, Shadow Robot (UK) ou Psyonic tentent d'atteindre la maturité produit. Côté recherche, les approches concurrentes s'appuient généralement sur la télé-opération (Pi-0 de Physical Intelligence, ACT, DROID dataset) ou sur des capteurs de profondeur calibrés. L'originalité de V2P-Manip est de contourner ces contraintes matérielles en exploitant uniquement la vision monoculaire. La validation reste pour l'instant confinée à des benchmarks académiques, et aucun déploiement ou partenariat industriel n'est annoncé dans cette version préliminaire.

RecherchePaper
1 source
Manipulation robotique dextérique à partir de démonstrations humaines : retargeting ancré sur les contacts et apprentissage de politique résiduelle
4arXiv cs.RO 

Manipulation robotique dextérique à partir de démonstrations humaines : retargeting ancré sur les contacts et apprentissage de politique résiduelle

Un pipeline en trois étapes permet désormais d'entraîner des politiques de manipulation dextre pour robots à partir de simples enregistrements de capture de mouvement humain, sans aucune donnée d'entraînement collectée sur un robot réel, selon un article publié sur arXiv (2609.24093v1). La méthode combine un raffinement physique via une main MANO simulée pour reconstruire les contacts et les forces absents des captures humaines classiques, un retargeting ancré sur la structure de contact plutôt que sur le mouvement articulaire, et une politique résiduelle d'apprentissage par renforcement entraînée une seule fois pour corriger la faisabilité dynamique. Les résultats chiffrés sont substantiels : sur 25 454 trajectoires à une main, le taux de succès passe de 7,3% à 59,3% après application du pipeline ; sur 25 tâches bimanuelles, il grimpe de 16,0% à 62,4%. Le même jeu de données humain, transféré vers quatre mains robotiques de morphologies différentes, gagne 62,4 points de succès en moyenne. Quatre tâches bimanuelles impliquant des contacts complexes ont aussi été exécutées sur du matériel physique réel, toujours sans entraînement préalable sur robot. Pour l'industrie robotique, ce travail s'attaque frontalement au goulot d'étranglement le plus coûteux de la manipulation dextre : les données de téléopération réelle, jugées indispensables mais lentes et chères à collecter à l'échelle. En montrant qu'une seule politique résiduelle générique suffit à rendre exploitables des captures de mouvement humain bon marché et déjà disponibles en masse, l'étude suggère que le sim-to-real pour les mains multi-doigts pourrait devenir moins dépendant de pipelines spécifiques à chaque tâche, une promesse jusqu'ici tenue surtout par les modèles VLA génériques (GR00T, Pi-0, Helix) sur des tâches de préhension plus grossières. Le transfert réussi vers quatre morphologies de main différentes renforce l'idée que la structure de contact, plutôt que la cinématique brute, est la représentation qui généralise. Le constat de départ est que les sources de démonstrations humaines scalables, vidéos ou gants de capture de mouvement, ne capturent jamais les forces de contact qui déterminent la réussite d'une prise. Les approches concurrentes reposaient jusqu'ici sur du retargeting cinématique direct ou de l'apprentissage par renforcement spécifique à chaque tâche en simulation. Le papier reste à ce stade un preprint de recherche, sans partenaire industriel ni déploiement commercial annoncé ; les suites attendues concernent l'extension à davantage de morphologies de mains et de tâches réelles.

RecherchePaper
1 source