DexCast : apprendre le contrôle dextérique en conditions réelles à partir de vidéos humaines

DexCast est un framework de recherche, publié sur arXiv (identifiant 2610.14691, version 2 révisée), qui apprend le contrôle de mains robotiques dextres directement à partir de vidéos monoculaires RGB-D d'humains, sans aucune téléopération. Le système s'appuie sur des reconstructions conjointes main-objet (HOI, pour hand-object interaction) en 3D, dont il extrait les trajectoires à reproduire. Pour traiter la difficulté de modéliser un mouvement de main à très haut nombre de degrés de liberté et d'en exploiter le contexte temporel, les auteurs proposent un module de perception du mouvement de la main, le DexHand Motion Perception Module (DMPM). Celui-ci encode la coordination entre articulations et les dépendances temporelles dans des représentations latentes compactes, qui conditionnent ensuite une politique de diffusion générant les actions futures. Les auteurs affirment des performances « exceptionnelles » sur diverses tâches de manipulation dextre testées en conditions réelles. Le résumé ne donne ni taux de réussite, ni nombre de tâches, ni modèle de main, ni comparaison chiffrée avec des méthodes existantes.

L'enjeu est le coût de la donnée. Les approches d'imitation dextre dominantes reposent sur des démonstrations téléopérées, lentes à collecter, coûteuses en main-d'œuvre et peu transférables d'un robot à l'autre. Si l'on peut obtenir une politique exploitable à partir de simples vidéos humaines, le goulot d'étranglement se déplace de la collecte robotique vers la perception 3D, un terrain où les progrès sont rapides. Pour un intégrateur ou un industriel, l'attrait est évident : filmer un opérateur qualifié avec une caméra RGB-D serait bien moins cher que d'immobiliser un robot et un téléopérateur. Il faut toutefois rester prudent. Il s'agit d'un travail académique, sans déploiement ni produit, et le résumé ne dit rien de la robustesse hors du cadre de l'expérience, de la généralisation à de nouveaux objets, ni de l'écart entre morphologie humaine et main robotique. La qualité de la politique dépend aussi directement de la précision de la reconstruction HOI, notamment en cas d'occultation.

DexCast s'inscrit dans un mouvement plus large qui cherche à apprendre la manipulation à partir de vidéos humaines pour réduire la dépendance à la téléopération. Parmi les approches voisines figurent les gants et dispositifs de capture portés, ainsi que les grands modèles vision-langage-action (VLA) entraînés sur des corpus mixtes, que développent des acteurs comme Physical Intelligence, NVIDIA ou Figure. La politique de diffusion, devenue un standard de l'apprentissage par imitation, est ici combinée à un encodeur spécialisé de la main. La suite logique serait la publication de benchmarks chiffrés, de code et de comparaisons avec les méthodes téléopérées, éléments indispensables pour juger de la portée réelle de l'approche. Aucun calendrier de pilote ou de commercialisation n'est annoncé.