RecherchearXiv cs.RO 7 août 2026

Apprentissage robotique par démonstration : trajectoires d'alphabet manuscrit et évaluation de la ressemblance humaine

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Le Fil Robotique 21/10/25, dataset de démonstrations manuscrites (data.researchgate ou arXiv). Cadre LfD (Learning from Demonstration) pas de déploiement produit.

Une équipe de recherche présente un nouveau cadre d'apprentissage par démonstration (Learning from Demonstration, LfD) destiné à produire des trajectoires robotiques perçues comme humaines. Le dataset comprend 3 142 démonstrations d'écriture manuscrite collectées auprès de 22 participants, couvrant les 52 combinaisons majuscules/minuscules de l'alphabet latin, via une interface de téléopération tactile capturant position dans le plan, force de contact et timing. La méthode s'appuie sur les modèles de mélange gaussien (GMM) et la régression associée (GMR), une approche classique en LfD, mais l'étend en intégrant des dimensions de force et de temps normalisé, et en l'adaptant aux trajectoires multi-segments non continues, comme celles nécessaires pour tracer un « i » avec son point ou un « t » avec sa barre. Une étude perceptuelle menée auprès de 21 participants a évalué le caractère humain des trajectoires générées sur une échelle continue de 0 à 100, où 50 marque le point neutre entre mouvement robotique et mouvement humain. Le score moyen obtenu est de 71,50, avec un écart type élevé de 22,56, signe d'une perception assez dispersée selon les évaluateurs.

Ce travail s'attaque à une limite connue du LfD classique : la plupart des méthodes GMM/GMR gèrent mal les gestes discontinus, alors que la majorité des tâches manuelles réelles (écriture, assemblage, gestes chirurgicaux) combinent plusieurs segments distincts. Réduire la dépendance à la programmation explicite pour transmettre un geste à un robot est un enjeu direct pour la téléopération et les cobots amenés à collaborer avec des humains, où la naturalité du mouvement conditionne la confiance perçue. Le score de 71,5 reste toutefois une mesure subjective issue d'un panel restreint de 21 personnes et non d'un test sur robot physique embarqué : il faut le lire comme un indicateur de perception préliminaire plutôt que comme une validation opérationnelle.

L'écriture manuscrite est choisie comme banc d'essai car elle combine complexité géométrique, modulation de force (pression du stylet) et segmentation naturelle des tracés, ce qui en fait un proxy pertinent pour des tâches de transfert de compétences motrices plus larges. Le dataset et le code sont publiés en open source, offrant un benchmark reproductible pour la communauté LfD, actuellement dominée par des approches alternatives comme les primitives de mouvement dynamiques (DMP) ou, plus récemment, les modèles d'imitation à grande échelle de type VLA. Les prochaines étapes attendues incluent des tests sur bras robotiques physiques et des comparaisons avec ces méthodes plus récentes.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Utilisateur-guidé : apprentissage par démonstration de trajectoire et d'impédance

Des chercheurs publient sur arXiv (papier 2607.16998, juillet 2026) une nouvelle méthode d'apprentissage par démonstration (Learning from Demonstration, LfD) pilotée par l'utilisateur, validée sur un bras robotique KUKA LWR IV+ à 7 degrés de liberté (DOF). Le système combine un algorithme de "Fast Diffeomorphic Matching" (FDM) tridimensionnel avec un générateur de mouvement basé sur les systèmes dynamiques (DS), complété par un filtre de Kalman étendu (EKF) qui compense les erreurs de reproduction et permet au robot de récupérer après une perturbation externe. Une fonction de paramétrisation d'impédance apprend en temps réel les variations de raideur du bras à partir d'une unique démonstration, notamment pour maintenir un contact stable avec une surface. L'objectif affiché est d'éliminer le réenseignement répété d'une même tâche, en apprenant en une seule fois (single-shot) à la fois la trajectoire et la conformité mécanique nécessaires pour la reproduire avec précision. Pour les intégrateurs et les équipes de robotique industrielle, l'enjeu est la sécurité et l'efficacité de l'interaction homme-robot (HRI). Les trajectoires classiques indexées dans le temps, rigides par nature, posent un problème de sécurité dès qu'un opérateur interagit physiquement avec le bras ou qu'un obstacle imprévu survient, le robot suivant son chemin sans s'adapter. En apprenant simultanément la géométrie du mouvement et son impédance, la méthode cherche à combiner précision de reproduction et sécurité intrinsèque, sans complexifier la phase d'enseignement pour l'opérateur qui ne réalise la démonstration qu'une seule fois. C'est un signal, parmi d'autres travaux récents en LfD, que la communauté robotique cherche à sortir du dilemme précision contre compliance qui limite aujourd'hui le déploiement des bras collaboratifs sur des tâches de contact (polissage, assemblage, ébavurage) en environnement partagé avec des humains. Cette approche s'inscrit dans la lignée des méthodes de LfD basées sur les systèmes dynamiques (DS-GMM, DMP et variantes), déjà largement étudiées pour encoder des trajectoires robustes aux perturbations, mais qui peinent traditionnellement à intégrer une impédance variable sans multiplier les démonstrations ou les phases de réglage manuel. Le choix du KUKA LWR IV+, bras à sept degrés de liberté doté d'un contrôle en couple aux articulations, reste une plateforme de référence académique pour ce type d'expérimentation en contrôle d'impédance et en manipulation compliante. Déposé sur arXiv comme nouvelle soumission, le papier n'en est qu'au stade de la validation expérimentale en laboratoire: aucune indication d'industrialisation ni de partenariat n'est mentionnée, et des essais sur d'autres plateformes et des tâches d'usine réelles seront nécessaires pour juger de sa portée au-delà du cas d'étude KUKA.

RecherchePaper

1 source

2arXiv cs.RO

Human2Dex : apprentissage de la dextérité robotique à partir de démonstrations humaines centrées sur le poignet

Des chercheurs proposent Human2Dex, une interface de démonstration humaine centrée sur le poignet, conçue pour qu'un seul corpus de démonstrations naturelles serve à entraîner des politiques sur plusieurs mains robotiques dextres, sans collecter de données de tâche sur chaque robot cible. Le système aligne les observations par une adaptation locale de l'apparence de la main et une représentation commune à 21 points, dont la structure garde le même sens sur l'humain et sur le robot. Il produit ensuite une supervision exécutable en retargetant le mouvement fusionné de la main humaine vers chaque main cible. Une représentation baptisée GPIR (Grasp-Pocket Interaction Representation) exprime la position des objets suivis par rapport à une « Functional Grasp Pocket » centrée sur la main. Le corpus est converti en jeux d'entraînement distincts pour la Linker O6 et la Wuji. Les étiquettes d'action, la normalisation, l'entraînement et les checkpoints de diffusion policy restent propres à chaque main. Sur six tâches réelles, Human2Dex réussit 109 essais sur 120 (90,8 %) avec la Linker O6 et 97 sur 120 (80,8 %) avec la Wuji. Sur les deux mains cumulées, la baseline « Human-Raw », qui exploite les données humaines brutes, n'atteint que 63 succès sur 240 (26,3 %), contre 206 sur 240 (85,8 %) pour la configuration complète. L'écart entre 26,3 % et 85,8 % est le résultat à retenir. Il indique que les données humaines brutes ne suffisent pas : l'alignement des observations, le retargeting et la représentation relative à la main de l'objet apportent l'essentiel du gain. Pour les intégrateurs et les équipes qui déploient des mains dextres, la promesse est de réduire le coût de la collecte de données. Aujourd'hui, chaque nouvelle main ou chaque nouvelle tâche impose souvent de la téléopération répétée sur le robot cible. Un corpus humain réutilisable déplace cet effort vers une collecte unique, plus rapide et moins chère. Les résultats vont aussi dans le sens d'une séparation entre ce qui se partage (observation et sémantique du mouvement) et ce qui doit rester spécifique à la machine (actions, normalisation, politique). Il faut toutefois rester prudent. Le titre parle d'un transfert entre mains « calibrées », ce qui suppose une calibration préalable. L'évaluation couvre seulement deux mains et six tâches, avec 20 essais par tâche et par main. Elle vient d'un seul groupe, sans validation externe à ce stade. Enfin, les 80 à 90 % de succès ne disent pas la robustesse en production, par exemple la variabilité des objets, la durée des cycles ou les reprises après échec. Ce travail s'inscrit dans la course aux données pour la manipulation dextre. Les approches concurrentes reposent sur la téléopération avec gants ou exosquelettes, sur des interfaces portables du type UMI, sur l'apprentissage à partir de vidéos humaines ou sur la simulation avec transfert sim-to-real. Les diffusion policies sont devenues la brique standard pour apprendre ces comportements à partir de démonstrations. Human2Dex cherche à unifier la collecte du côté humain tout en gardant un apprentissage par embodiment. Le papier, publié sur arXiv (2610.13119v1) avec un site de projet public, est une prépublication non relue par des pairs. Les prochaines étapes à surveiller sont l'extension à d'autres mains, comme les mains d'humanoïdes, le passage à des tâches à contacts plus riches et la réplication par d'autres laboratoires. Le papier ne mentionne ni partenaire industriel ni calendrier de commercialisation.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage de la manipulation dextérique via guidage par couple de contact issu de démonstrations humaines

Wandercraft, Exotec, Pollen et Enchanted Tools ne sont pas mentionnés dans le papier, donc aucune mention forcée. Voici l'article : Une équipe de recherche publie CHORD (Contact Wrench Guidance from Human Demonstration in Robotic Dexterous Manipulation), un framework d'apprentissage par renforcement pour la manipulation dextre à long horizon d'objets rigides et articulés, dans un preprint arXiv daté du 2 juillet 2026 (arXiv:2607.00033v1). L'idée centrale consiste à représenter les mouvements humains et robotiques non pas par des trajectoires articulaires brutes, mais par les forces et couples (wrench) qu'ils induisent sur l'objet manipulé, ce qui permet de comparer directement leur effet plutôt que leur cinématique. Les chercheurs ont construit un benchmark de simulation de 4 739 tâches de manipulation bimanuelle dextre, issu de jeux de données de capture de mouvement et de vidéos reconstruites en interne. Sur 1 831 tâches évaluées, CHORD atteint un taux de réussite moyen de 82,12 %. La méthode se généralise aussi à la manipulation corps entier à partir de démonstrations limitées aux mains ou filmées à la troisième personne, avec 90,77 % de réussite, et les politiques apprises se transfèrent vers le réel en boucle ouverte comme en boucle fermée. L'enjeu dépasse la simple prouesse académique : l'apprentissage par renforcement pour la manipulation riche en contacts est réputé difficile à faire passer à l'échelle, car les démonstrations humaines se transposent mal aux mains robotiques dont la cinématique diffère. En ancrant le signal de guidage dans la physique des forces plutôt que dans les gestes eux-mêmes, CHORD contourne en partie ce fossé d'incarnation. Un benchmark de près de 5 000 tâches, avec transfert vérifié sur robot réel et non seulement en simulation, constitue un test de scalabilité plus rigoureux que la plupart des démonstrations ponctuelles habituelles du secteur. Ce travail s'inscrit dans une tendance plus large exploitant la capture de mouvement et la vidéo humaine pour entraîner des politiques robotiques, en parallèle des approches par imitation ou des modèles vision-langage-action comme Pi-0 ou GR00T N2. Étant un preprint, il reste à valider par relecture par les pairs, avec une portée réelle encore limitée aux conditions de laboratoire décrites.

RecherchePaper

1 source

4arXiv cs.RO

Manipulation robotique dextérique à partir de démonstrations humaines : retargeting ancré sur les contacts et apprentissage de politique résiduelle

Un pipeline en trois étapes permet désormais d'entraîner des politiques de manipulation dextre pour robots à partir de simples enregistrements de capture de mouvement humain, sans aucune donnée d'entraînement collectée sur un robot réel, selon un article publié sur arXiv (2609.24093v1). La méthode combine un raffinement physique via une main MANO simulée pour reconstruire les contacts et les forces absents des captures humaines classiques, un retargeting ancré sur la structure de contact plutôt que sur le mouvement articulaire, et une politique résiduelle d'apprentissage par renforcement entraînée une seule fois pour corriger la faisabilité dynamique. Les résultats chiffrés sont substantiels : sur 25 454 trajectoires à une main, le taux de succès passe de 7,3% à 59,3% après application du pipeline ; sur 25 tâches bimanuelles, il grimpe de 16,0% à 62,4%. Le même jeu de données humain, transféré vers quatre mains robotiques de morphologies différentes, gagne 62,4 points de succès en moyenne. Quatre tâches bimanuelles impliquant des contacts complexes ont aussi été exécutées sur du matériel physique réel, toujours sans entraînement préalable sur robot. Pour l'industrie robotique, ce travail s'attaque frontalement au goulot d'étranglement le plus coûteux de la manipulation dextre : les données de téléopération réelle, jugées indispensables mais lentes et chères à collecter à l'échelle. En montrant qu'une seule politique résiduelle générique suffit à rendre exploitables des captures de mouvement humain bon marché et déjà disponibles en masse, l'étude suggère que le sim-to-real pour les mains multi-doigts pourrait devenir moins dépendant de pipelines spécifiques à chaque tâche, une promesse jusqu'ici tenue surtout par les modèles VLA génériques (GR00T, Pi-0, Helix) sur des tâches de préhension plus grossières. Le transfert réussi vers quatre morphologies de main différentes renforce l'idée que la structure de contact, plutôt que la cinématique brute, est la représentation qui généralise. Le constat de départ est que les sources de démonstrations humaines scalables, vidéos ou gants de capture de mouvement, ne capturent jamais les forces de contact qui déterminent la réussite d'une prise. Les approches concurrentes reposaient jusqu'ici sur du retargeting cinématique direct ou de l'apprentissage par renforcement spécifique à chaque tâche en simulation. Le papier reste à ce stade un preprint de recherche, sans partenaire industriel ni déploiement commercial annoncé ; les suites attendues concernent l'extension à davantage de morphologies de mains et de tâches réelles.

RecherchePaper

1 source