RecherchearXiv cs.RO 15 octobre 2026

PACER : apprentissage de politiques VLA sensibles au processus à partir de corrections humaines pour le démontage robotisé

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent PACER (Process-Aware Correction and Evidence Reweighting), un cadre d'apprentissage pour le démontage robotisé de produits en fin de vie, publié sur arXiv. Il est évalué sur le démontage de cartes mères avec un bras UR5e, sur cinq classes de composants. La tâche testée est l'approche du composant puis sa remise (« approach-and-handoff »). Sur un benchmark de validation tenu à l'écart de l'entraînement, PACER réussit 87 essais sur 100, contre 54 sur 100 pour la politique VLA (vision-langage-action) de référence simplement affinée par fine-tuning supervisé (SFT). Le principe est de réutiliser deux sources d'expérience : les déploiements de la politique elle-même, qui enregistrent ses tentatives d'approche, et les corrections humaines, qui montrent comment récupérer après une erreur. Chaque segment d'actions (« action chunk ») est pondéré dans la fonction de perte supervisée native selon la progression vers la cible, la source de la trace et son résultat. Le framework entraîne une politique par réglage de pondération, puis retient celle qui obtient le meilleur score en validation.

L'enjeu est pratique pour les intégrateurs du recyclage et du reconditionnement. Le démontage doit absorber la variabilité des produits, respecter des séquences de prérequis et approcher les composants avec précision pour une manipulation riche en contacts. Les données de démontage sont rares et coûteuses, et le SFT seul ne couvre pas les décalages de distribution liés à l'environnement ou à l'incertitude sur le produit. L'intérêt de PACER est de ne pas modifier la fonction de perte ni d'ajouter une phase d'apprentissage par renforcement : il repondère des données déjà collectées, ce qui limite le coût d'intégration. Le gain de 33 points est net, mais il reste à nuancer. Il provient d'un seul article, sur un seul bras, une seule famille de produits et une tâche limitée à l'approche et à la remise, sans démontage complet. La sélection finale sur validation conserve aussi la meilleure politique parmi plusieurs entraînées, ce qui peut flatter le chiffre. Aucune donnée n'est fournie dans le résumé sur les temps de cycle, le nombre de corrections nécessaires ni la robustesse face à des cartes inconnues.

Ces travaux s'inscrivent dans la montée des politiques VLA affinées sur peu de démonstrations, comme Pi-0 ou GR00T, dont le point faible reste la généralisation hors distribution en environnement industriel. L'apprentissage à partir de corrections humaines, de type DAgger ou « human-in-the-loop », existait déjà, mais PACER y ajoute une pondération tenant compte du processus. La suite logique sera la validation sur des produits plus variés, des séquences complètes de démontage et un test hors laboratoire. À ce stade, il s'agit d'un résultat de recherche et non d'un produit déployé, et aucun partenaire industriel ni calendrier de pilote n'est annoncé.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

CONTACT : apprentissage tactile sensible au contact pour le démontage robotique

Une équipe de recherche présente CONTACT (CONtact-aware TACTile learning), un cadre d'apprentissage qui évalue systématiquement le rôle du toucher dans le désassemblage robotique, tâche qui reste l'un des points faibles de la robotique industrielle car elle implique des contacts serrés et des transitions d'état dépendantes de la force, contrairement au montage où la vision seule suffit souvent. Les chercheurs ont construit cinq tâches de désassemblage rigide en simulation, avec des contraintes géométriques croissantes, et cinq tâches réelles (trois rigides, deux déformables). Dans un même cadre d'apprentissage, ils comparent trois configurations de perception : vision seule, vision plus capteur tactile RGB (TacRGB), et vision plus champ de force tactile (TacFF). Résultat constant en simulation comme en réel : les politiques basées sur TacFF obtiennent les meilleurs taux de réussite, avec des gains particulièrement marqués sur les scénarios à fort contact et sur les objets déformables. Fait notable, la simple fusion de TacRGB et TacFF donne de moins bons résultats que chaque modalité utilisée seule, ce qui suggère qu'une concaténation naïve dilue l'information de force pertinente pour la tâche. Pour l'industrie robotique, ce travail apporte une preuve empirique que la perception visuelle seule, sur laquelle reposent la plupart des politiques de manipulation de type VLA aujourd'hui, atteint ses limites dès que la tâche devient contact-dominante ou implique des matériaux déformables comme des câbles ou des joints souples. Le désassemblage, contrairement à l'assemblage en usine où les tolérances et les pièces sont contrôlées, correspond justement aux cas d'usage en forte demande : recyclage de batteries, réparation, économie circulaire électronique, où les géométries sont variables et non calibrées à l'avance. Le résultat sur la fusion naïve des modalités est aussi un signal utile pour les équipes qui intègrent des capteurs tactiles sur leurs bras robotiques : ajouter du tactile brut sans architecture dédiée peut dégrader la performance plutôt que l'améliorer, ce qui remet en question des approches de fusion multimodale trop simplistes actuellement déployées dans certains systèmes VLA génériques. Ce travail s'inscrit dans une vague de recherche récente cherchant à dépasser les limites du "sim-to-real" purement visuel qui domine les VLA comme GR00T N2 ou Pi-0, en réintroduisant des modalités proprioceptives et tactiles jugées indispensables pour la manipulation fine. Les capteurs de champ de force tactile restent coûteux et peu standardisés industriellement comparés aux capteurs RGB tactiles de type GelSight, ce qui limite pour l'instant un déploiement à grande échelle. Les auteurs ne précisent pas de partenariat industriel ni de calendrier de transfert vers un produit commercial ; il s'agit à ce stade d'un travail de recherche fondamentale publié sur arXiv, sans démonstration en usine réelle ni chiffres de cycle de production.

RecherchePaper

1 source

2arXiv cs.RO

Human2Dex : apprentissage de la dextérité robotique à partir de démonstrations humaines centrées sur le poignet

Des chercheurs proposent Human2Dex, une interface de démonstration humaine centrée sur le poignet, conçue pour qu'un seul corpus de démonstrations naturelles serve à entraîner des politiques sur plusieurs mains robotiques dextres, sans collecter de données de tâche sur chaque robot cible. Le système aligne les observations par une adaptation locale de l'apparence de la main et une représentation commune à 21 points, dont la structure garde le même sens sur l'humain et sur le robot. Il produit ensuite une supervision exécutable en retargetant le mouvement fusionné de la main humaine vers chaque main cible. Une représentation baptisée GPIR (Grasp-Pocket Interaction Representation) exprime la position des objets suivis par rapport à une « Functional Grasp Pocket » centrée sur la main. Le corpus est converti en jeux d'entraînement distincts pour la Linker O6 et la Wuji. Les étiquettes d'action, la normalisation, l'entraînement et les checkpoints de diffusion policy restent propres à chaque main. Sur six tâches réelles, Human2Dex réussit 109 essais sur 120 (90,8 %) avec la Linker O6 et 97 sur 120 (80,8 %) avec la Wuji. Sur les deux mains cumulées, la baseline « Human-Raw », qui exploite les données humaines brutes, n'atteint que 63 succès sur 240 (26,3 %), contre 206 sur 240 (85,8 %) pour la configuration complète. L'écart entre 26,3 % et 85,8 % est le résultat à retenir. Il indique que les données humaines brutes ne suffisent pas : l'alignement des observations, le retargeting et la représentation relative à la main de l'objet apportent l'essentiel du gain. Pour les intégrateurs et les équipes qui déploient des mains dextres, la promesse est de réduire le coût de la collecte de données. Aujourd'hui, chaque nouvelle main ou chaque nouvelle tâche impose souvent de la téléopération répétée sur le robot cible. Un corpus humain réutilisable déplace cet effort vers une collecte unique, plus rapide et moins chère. Les résultats vont aussi dans le sens d'une séparation entre ce qui se partage (observation et sémantique du mouvement) et ce qui doit rester spécifique à la machine (actions, normalisation, politique). Il faut toutefois rester prudent. Le titre parle d'un transfert entre mains « calibrées », ce qui suppose une calibration préalable. L'évaluation couvre seulement deux mains et six tâches, avec 20 essais par tâche et par main. Elle vient d'un seul groupe, sans validation externe à ce stade. Enfin, les 80 à 90 % de succès ne disent pas la robustesse en production, par exemple la variabilité des objets, la durée des cycles ou les reprises après échec. Ce travail s'inscrit dans la course aux données pour la manipulation dextre. Les approches concurrentes reposent sur la téléopération avec gants ou exosquelettes, sur des interfaces portables du type UMI, sur l'apprentissage à partir de vidéos humaines ou sur la simulation avec transfert sim-to-real. Les diffusion policies sont devenues la brique standard pour apprendre ces comportements à partir de démonstrations. Human2Dex cherche à unifier la collecte du côté humain tout en gardant un apprentissage par embodiment. Le papier, publié sur arXiv (2610.13119v1) avec un site de projet public, est une prépublication non relue par des pairs. Les prochaines étapes à surveiller sont l'extension à d'autres mains, comme les mains d'humanoïdes, le passage à des tâches à contacts plus riches et la réplication par d'autres laboratoires. Le papier ne mentionne ni partenaire industriel ni calendrier de commercialisation.

RecherchePaper

1 source

3arXiv cs.RO

Manipulation robotique dextérique à partir de démonstrations humaines : retargeting ancré sur les contacts et apprentissage de politique résiduelle

Un pipeline en trois étapes permet désormais d'entraîner des politiques de manipulation dextre pour robots à partir de simples enregistrements de capture de mouvement humain, sans aucune donnée d'entraînement collectée sur un robot réel, selon un article publié sur arXiv (2609.24093v1). La méthode combine un raffinement physique via une main MANO simulée pour reconstruire les contacts et les forces absents des captures humaines classiques, un retargeting ancré sur la structure de contact plutôt que sur le mouvement articulaire, et une politique résiduelle d'apprentissage par renforcement entraînée une seule fois pour corriger la faisabilité dynamique. Les résultats chiffrés sont substantiels : sur 25 454 trajectoires à une main, le taux de succès passe de 7,3% à 59,3% après application du pipeline ; sur 25 tâches bimanuelles, il grimpe de 16,0% à 62,4%. Le même jeu de données humain, transféré vers quatre mains robotiques de morphologies différentes, gagne 62,4 points de succès en moyenne. Quatre tâches bimanuelles impliquant des contacts complexes ont aussi été exécutées sur du matériel physique réel, toujours sans entraînement préalable sur robot. Pour l'industrie robotique, ce travail s'attaque frontalement au goulot d'étranglement le plus coûteux de la manipulation dextre : les données de téléopération réelle, jugées indispensables mais lentes et chères à collecter à l'échelle. En montrant qu'une seule politique résiduelle générique suffit à rendre exploitables des captures de mouvement humain bon marché et déjà disponibles en masse, l'étude suggère que le sim-to-real pour les mains multi-doigts pourrait devenir moins dépendant de pipelines spécifiques à chaque tâche, une promesse jusqu'ici tenue surtout par les modèles VLA génériques (GR00T, Pi-0, Helix) sur des tâches de préhension plus grossières. Le transfert réussi vers quatre morphologies de main différentes renforce l'idée que la structure de contact, plutôt que la cinématique brute, est la représentation qui généralise. Le constat de départ est que les sources de démonstrations humaines scalables, vidéos ou gants de capture de mouvement, ne capturent jamais les forces de contact qui déterminent la réussite d'une prise. Les approches concurrentes reposaient jusqu'ici sur du retargeting cinématique direct ou de l'apprentissage par renforcement spécifique à chaque tâche en simulation. Le papier reste à ce stade un preprint de recherche, sans partenaire industriel ni déploiement commercial annoncé ; les suites attendues concernent l'extension à davantage de morphologies de mains et de tâches réelles.

RecherchePaper

1 source

4arXiv cs.RO

Dexterous Point Policy : apprentissage de politiques de main habile à partir de démonstrations humaines

Une équipe de recherche a déposé le 10 juin 2026 sur arXiv (réf. 2606.10614) un framework baptisé Dexterous Point Policy (DPP), capable d'apprendre des politiques de manipulation dextère directement à partir de vidéos humaines, sans aucune démonstration sur robot. Le système extrait des points-clés 3D (keypoints) des objets de la tâche et des mains humaines, en ciblant spécifiquement les poignets et les bouts de doigts, puis entraîne un transformer autorégressif sur ces représentations unifiées. Sur un banc d'essai réel couvrant la saisie-dépôt (pick-and-place) et la manipulation d'outils, DPP atteint 75,0 % de succès, contre seulement 1,0 % pour le meilleur baseline de type VLA (Vision-Language-Action model) disponible. La méthode généralise également à des scénarios non vus pendant l'entraînement, notamment des environnements multi-objets et de nouvelles catégories d'objets. L'apport principal est d'éliminer le goulet d'étranglement le plus coûteux du cycle d'apprentissage robotique: la collecte de données en téléopération. Les auteurs rappellent que téléopérer une main multi-doigts pour une seule tâche atomique peut mobiliser plusieurs jours de travail humain, ce qui rend le fine-tuning classique des modèles de fondation sur données robotiques particulièrement onéreux à l'échelle. L'intuition centrale de DPP est que, au niveau des keypoints (poignets et bouts de doigts), les comportements humains et robotiques s'alignent suffisamment pour permettre un transfert direct de politique sans adaptation supplémentaire. Avec un écart de performance de 75x par rapport au baseline VLA, le résultat contredit l'idée selon laquelle combler l'embodiment gap entre humain et robot exige obligatoirement des données proprioceptives ou d'actionnement robotique. Ce travail s'inscrit dans le courant des modèles de fondation robotiques pré-entraînés sur vidéos humaines, dont Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA sont des représentants récents, qui butaient tous sur ce même problème de transfert au déploiement réel. DPP propose une réponse architecturale en choisissant une représentation intermédiaire qui abstrait la morphologie spécifique de chaque effecteur, rendant la politique agnostique à la géométrie exacte de la main robotique. Il s'agit pour l'instant d'un preprint non relu par les pairs, sans affiliation institutionnelle précisée dans le résumé public, et les tests restent limités à des tâches de complexité modérée. Les étapes naturelles seraient une validation sur des mains multi-doigts plus variées et des manipulations de plus haute complexité, comme l'assemblage de précision ou la manipulation d'outils déformables, pour confirmer la scalabilité réelle de l'approche.

RecherchePaper

1 source