RecherchearXiv cs.RO 15 septembre 2026

Pré-entraînement multimodal ancré sur la proprioception pour l'assemblage riche en contacts en zéro-shot sim-vers-réel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article publié sur arXiv (arXiv:2609.07534, version révisée) présente PACE (Proprioception-Anchored Cross-Modal Encoder), une méthode d'apprentissage pour l'assemblage robotique à contact riche, ces tâches de vissage ou d'insertion qui exigent une précision submillimétrique et une lecture fiable des forces pendant un contact prolongé. L'apprentissage par renforcement en simulation permet de passer à l'échelle, mais les écarts entre simulation et réel sur la vision, la dynamique de contact et les mesures de force-couple limitent d'ordinaire le transfert des politiques vers le matériel réel. Les auteurs partent du constat que la proprioception, positions et vitesses articulaires, reste cohérente d'un domaine à l'autre car exprimée dans un référentiel calibré partagé. PACE entraîne les représentations visuelles et de force-couple à prédire les transitions d'état proprioceptif, ce qui pousse l'encodeur à ignorer les facteurs propres au domaine (éclairage, texture, biais des capteurs) tout en conservant les indices de mouvement utiles à la tâche. Les politiques entraînées sur ces caractéristiques figées sont déployées sur robot réel sans réglage fin in situ ni suivi de pose d'objet. Sur quatre tâches d'assemblage à contact riche, le taux de réussite moyen atteint 93,3% en conditions réelles, avec un écart de seulement 2,7 points de pourcentage par rapport à la simulation.

Cette faible dégradation tranche avec les pertes habituellement observées lors du transfert sim-to-real sur des tâches de contact, où l'écart peut atteindre plusieurs dizaines de points dès que le retour de force entre en jeu. Pour les intégrateurs de cellules d'assemblage, se passer du suivi de pose d'objet est un argument concret, cette brique restant l'une des plus coûteuses et fragiles des systèmes de vision industrielle actuels. Si le résultat se confirme au-delà des quatre tâches testées et à l'échelle d'une ligne de production, il indiquerait que le sim-to-real cesse d'être le principal frein à l'usage de l'apprentissage par renforcement pour des manipulations fines en usine, face aux automates programmés manuellement.

Le travail s'inscrit dans la recherche sur la réduction de l'écart sim-to-real, qui recourt habituellement à la randomisation de domaine, à l'identification de système ou à la fusion apprise de plusieurs modalités, des approches citées comme lignes de base moins robustes que PACE face aux perturbations testées. Publié comme version corrigée (replace) sur arXiv, sans affiliation institutionnelle précisée dans le résumé, il s'agit à ce stade d'une contribution de recherche validée en laboratoire sur quatre tâches, non d'un produit commercialisé ni d'un pilote industriel annoncé. Les suites attendues restent l'extension à davantage de tâches et de plateformes, puis une validation en conditions de production réelles.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

SARI : entraînement conjoint simulation-réel en deux phases pour la manipulation riche en contacts

Des chercheurs proposent SARI (Simulated Approach, Real Interaction), un cadre de co-entraînement simulation-réel « à phases séparées » destiné à adapter des modèles vision-langage-action (VLA) à des tâches de manipulation riches en contacts. Le principe : générer les trajectoires d'approche, en espace libre, dans un jumeau numérique photoréaliste, et ne collecter en conditions réelles que les phases de contact, sur un petit nombre de positions d'objets. Une seule politique est ensuite post-entraînée sur ces démonstrations segmentées par phase. Elle enchaîne approche simulée et interaction réelle grâce à un alignement de l'apparence visuelle et à une représentation d'action partagée, exprimée par rapport à la caméra. Elle n'utilise ni étiquettes de phase explicites ni commutateurs codés à la main. Testé sur cinq tâches de manipulation réelles, SARI réduit de 34,3 % le temps de collecte de données réelles et atteint 27,5 % de réussite sur des positions jamais vues, là où toutes les approches de référence sim-réel entraînées sur la tâche complète échouent totalement (0 %). Le travail est publié sur arXiv (2610.02804). Ces résultats comptent pour les équipes qui adaptent des VLA à des tâches d'assemblage ou d'insertion, où le coût des démonstrations téléopérées est le principal frein. L'intérêt tient à la répartition du travail : la diversité spatiale, gourmande en données mais tolérante aux écarts de simulation, est confiée à la synthèse. La physique du contact, sensible aux erreurs de modèle mais peu dépendante de la position de l'objet, reste réelle. Cela nuance l'idée d'un transfert sim-vers-réel de bout en bout et suggère qu'un découpage par phase est plus rentable. Il faut toutefois relativiser les chiffres. Un taux de 27,5 % sur positions inédites reste très loin d'un seuil industriel, et un gain de 34,3 % sur le temps de collecte est modeste. Les résultats portent sur cinq tâches, avec un échantillon et des conditions de laboratoire dont l'article ne détaille pas ici la variabilité. Le contraste avec les références à 0 % est parlant, mais il dépend du choix de ces références. L'article s'inscrit dans la série de travaux sur le co-entraînement sim-réel pour les politiques VLA, qui cherchent à réduire la dépendance aux démonstrations réelles, aujourd'hui l'un des principaux postes de coût du déploiement de modèles généralistes. Les approches concurrentes, qui mélangent simulation et réel sur la tâche entière, se heurtent à l'écart de réalité dès que le contact intervient, ce que SARI cherche à contourner. Il s'agit ici d'un résultat de recherche et non d'un produit ni d'un déploiement : aucun partenaire industriel, calendrier de pilote ni code disponible n'est mentionné dans le résumé. Les suites probables sont des validations sur davantage de tâches, de robots et de géométries d'objets, ainsi que des comparaisons avec les VLA généralistes actuels, afin de vérifier si le gain tient hors du cadre expérimental initial.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Alignement torque-observation simple pour la préhension sim-vers-réel en zero-shot avec une pince à entraînement direct

Un preprint publié sur arXiv en septembre 2026 (arXiv:2609.29031v1) présente une méthode d'alignement des observations de couple pour l'apprentissage par renforcement sur des préhenseurs à entraînement direct (direct-drive, DD), dont le courant moteur est lié au couple articulaire par une constante Ktau. Celle-ci est d'abord étalonnée au dynamomètre pour corriger l'écart d'échelle entre simulation et réel, puis le couple brut est remplacé par sa variation deltatau(t) = tau(t) tau(t-1) afin de supprimer le biais constant, et un bruit gaussien mesuré au dynamomètre est injecté pendant l'entraînement. Une politique teacher-student, entraînée en simulation puis distillée, est déployée sur un préhenseur multi-doigts DD qui saisit des objets à partir des seules positions articulaires et variations de couple, sans vision ni capteur tactile. Sur neuf objets en distribution, l'étude d'ablation comparant la méthode à plusieurs variantes d'alignement rapporte 100% de réussite de préhension. Le transfert simulation-réel des signaux de couple constitue un obstacle récurrent en manipulation robotique fondée sur la force, le décalage d'échelle, de biais et de bruit entre capteurs simulés et réels imposant habituellement un réglage sur robot physique. Un transfert "zero-shot" purement proprioceptif intéresse donc les intégrateurs qui conçoivent des mains ou pinces sans caméra ni peau tactile, solution moins coûteuse et plus robuste aux occlusions et à l'éclairage que la vision, et conforte l'usage des actionneurs à entraînement direct, appréciés pour leur transparence mécanique dans les mains de robots humanoïdes, dès lors que l'écart de mesure de couple est traité correctement. Le score de 100% reste toutefois à relativiser: il porte sur neuf objets connus, en conditions de laboratoire, sans indication de généralisation à des objets ou tâches plus complexes. La méthode s'appuie sur la distillation teacher-student et la randomisation de domaine, des techniques désormais courantes pour combler l'écart simulation-réel en robotique d'apprentissage, notamment dans la recherche sur les mains dextres humanoïdes. La simplicité des actionneurs à entraînement direct, sans réducteur, facilite l'étalonnage courant-couple par rapport aux transmissions à engrenages ou à câbles, mais laisse subsister des artefacts électroniques que l'étude cible spécifiquement. Publiée comme preprint non encore évalué par des pairs, la recherche valide une méthode sur un banc d'essai en laboratoire plutôt qu'un produit déployé, sans calendrier d'industrialisation annoncé; les suites attendues portent sur des objets hors distribution, davantage de degrés de liberté et une combinaison avec d'autres modalités sensorielles comme la vision ou le toucher.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage de comportements réflexes pour la manipulation riche en contacts

Des chercheurs publient sur arXiv (2610.02811) une politique « réflexe » proprioceptive pour la manipulation riche en contacts. Elle est entraînée uniquement en simulation, sur trois primitives d'interaction très simples : un ressort, un plan et un rail. Elle convertit des commandes exprimées dans l'espace tâche en consignes de position articulaire, à partir de l'historique d'état du robot. Elle n'utilise aucune mesure directe de force ni de géométrie. Une fois entraînée, elle est figée et placée sous des contrôleurs de plus haut niveau, comme une couche d'exécution. Les tests couvrent le levage de caisse à deux bras, l'insertion de pion et le suivi de surface. Pour la caisse, la force reste sous le seuil fixé, alors que la référence échoue. Sur surface rugueuse, elle reste sous la référence de 10 N, au niveau d'un contrôle hybride force-position réglé à la main. Pour l'insertion de pion avec un jeu de 0,02 mm, la force de contact moyenne estimée est divisée par plus de deux, et le taux de réussite sur matériel passe d'au plus 22 % à 36-58 %. L'intérêt tient à la séparation entre génération de commande et réponse au contact. Les approches courantes, contrôle en position, hybride force-position ou impédance cartésienne, imposent une raideur, un objectif de suivi ou des directions de force qui ne correspondent pas toujours à la géométrie locale. Ici, une même couche réflexe peut servir sous un planificateur de mouvement, une politique apprise (type VLA) ou un opérateur en téléopération, sans réglage propre à chaque tâche. Si le résultat se confirme, il va dans le sens d'un transfert sim-to-real réussi pour le contact avec des primitives minimales. Il permet aussi un contrôle sans capteur de force, donc moins coûteux, ce qui intéresse les intégrateurs de cellules d'assemblage. Les limites sont nettes : les taux d'insertion de 36-58 % restent loin des exigences industrielles, la force de contact est estimée et non mesurée, et le résumé ne précise ni la plateforme ni le nombre d'essais. Ce travail s'inscrit dans le débat entre contrôle classique du contact (impédance, admittance, hybride force-position) et apprentissage par renforcement en simulation, jusqu'ici surtout appliqué à la locomotion. Il ne s'agit pas d'un produit mais d'une prépublication v1, non évaluée par les pairs, sans calendrier de déploiement. Les suites logiques sont une validation sur davantage de tâches et de robots, une comparaison avec des politiques de manipulation de bout en bout, et une intégration sous des modèles VLA, qui produisent des commandes de haut niveau peu sensibles aux contraintes de contact.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

SimpleTouch : les modèles vision-langage-action (VLA) maîtrisent-ils la manipulation riche en contacts sans préentraînement tactile de la politique ?

Des chercheurs publient SimpleTouch, une extension du modèle vision-langage-action (VLA) π0.5 qui lui ajoute un « expert tactile ». Cet expert exploite tous les tokens d'un encodeur tactile préentraîné et gelé. Il apprend à partir de la supervision des actions et de la prédiction à plusieurs horizons de représentations latentes tactiles futures. L'entraînement tient en une seule étape et n'utilise que les démonstrations de la tâche, sans préentraînement tactile de la politique ni alignement visuotactile séparé. Avec 50 démonstrations par tâche, SimpleTouch obtient le meilleur taux de succès parmi les méthodes évaluées sur les six tâches du benchmark UniVTAC, avec une moyenne de 77,5 %. FTP-π0.5 atteint 45,2 % et FTP-1 66,7 %, soit des écarts de 32,3 et 10,8 points de pourcentage. Sur quatre tâches réelles, la moyenne est de 71,3 %, soit 8,8 points au-dessus de FTP-1. Le papier, disponible sur arXiv avec une page projet, ne précise pas dans cet extrait le capteur tactile utilisé, le robot ni le nombre d'essais par tâche. L'enjeu est la chaîne d'entraînement de la manipulation riche en contacts. Beaucoup d'équipes partent du principe que greffer le toucher sur un VLA préentraîné uniquement sur la vision et le langage, au moment du réglage fin, creuse un écart intermodal et donne peu de gains, voire dégrade les résultats. Elles ajoutent donc des corpus tactiles à grande échelle ou une étape d'alignement dédiée, ce qui alourdit la collecte de données et le pipeline. SimpleTouch suggère que, si l'on dispose déjà d'un VLA et d'un encodeur tactile solides, ces étapes ne sont pas indispensables pour ces tâches. Pour un intégrateur, cela abaisse le coût d'entrée : une cinquantaine de démonstrations par tâche suffiraient pour doter une politique existante de sensibilité tactile. Il faut toutefois rester prudent. Il s'agit d'un préprint non évalué par les pairs, d'un nombre limité de tâches (six en simulation, quatre en réel), et la comparaison porte sur des références choisies par les auteurs. Rien n'indique une généralisation à d'autres capteurs, morphologies ou tâches. Ce travail s'inscrit dans la montée des VLA fondés sur la famille π de Physical Intelligence, qui servent de base à de nombreuses extensions de recherche. La question de la modalité tactile y reste ouverte : les approches concurrentes, comme FTP-1, misent sur un préentraînement tactile de la politique, tandis que SimpleTouch teste l'hypothèse inverse, celle de la simplicité. Le benchmark UniVTAC fournit un terrain commun de comparaison, mais les résultats en conditions industrielles, avec cadences, variabilité des pièces et usure des capteurs, restent à démontrer. Les prochaines étapes probables sont des réplications par d'autres laboratoires, des tests sur davantage de tâches et de capteurs, et une confrontation directe avec des modèles préentraînés sur de grands volumes de données tactiles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source