RecherchearXiv cs.RO 16 septembre 2026

Attention à l'écart : repenser la conception des entrées-sorties pour l'apprentissage de politiques visuomotrices riches en contact

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche a mis en ligne une nouvelle version (v2) de l'article arXiv "Mind the Gap: Rethinking I/O Design for Contact-Rich Visuomotor Policy Learning" (arXiv:2602.08776), consacré à un choix d'architecture resté largement implicite dans l'apprentissage de politiques robotiques par imitation à partir de données de téléopération. Lorsqu'un opérateur télécommande un bras via un dispositif maître, chaque démonstration contient deux signaux distincts : l'état d'exécution réel du robot (E) et la commande envoyée par l'opérateur (C). Une politique entraînée en E2E (exécution vers exécution) perd les écarts de commande qui génèrent justement le contact physique, tandis qu'une politique E2C (exécution vers commande) conserve ces écarts mais ignore la réponse réelle du robot. Les auteurs proposent EC2C (Dual-State Conditioning) : le modèle est conditionné simultanément sur E et C, et prédit l'évolution future de C, ce qui transforme l'écart commande-exécution en signal exploitable de contact, de latence, de charge transportée et de compensation gestuelle, souvent corrélé à la force appliquée en régime quasi statique. Testée sur un montage bas coût, sans capteur de force, sans peau tactile ni retour de courant moteur, EC2C surpasse E2E et une référence E2C renforcée sur plusieurs tâches réelles combinant contact, sensibilité aux forces et dynamique rapide.

L'intérêt pratique vise directement les intégrateurs : obtenir un signal proxy de force sans capteur dédié réduit le coût et la complexité du matériel, un enjeu central pour les bras et mains robotiques manipulant des objets fragiles ou en contact prolongé. Le résultat interroge aussi une pratique répandue dans les pipelines d'entraînement de politiques vision-langage-action (VLA), où le choix d'enregistrer l'exécution, la commande, ou les deux, est rarement documenté ni justifié, alors qu'il conditionne directement la capacité du modèle à généraliser des comportements de contact fin. Les auteurs restent prudents sur la portée de leurs résultats : les gains sont démontrés sur un nombre limité de tâches et un seul montage matériel, non encore validés à l'échelle de déploiements industriels ni comparés sur des plateformes commerciales.

Ce travail s'inscrit dans un courant de recherche qui cherche à combler l'écart entre démonstrations de téléopération et politiques robustes en conditions réelles, particulièrement pour les tâches à contact riche où le clonage comportemental classique échoue souvent faute de signal de force exploitable. Au-delà du réglage E/C, les auteurs formulent une extension nommée latency-adaptive inpainting, pensée pour les politiques à prédiction d'actions par blocs (action chunking), et discutent des conditions dans lesquelles un historique temporel long aide l'inférence de comportements dynamiques ou, au contraire, introduit une confusion causale qui dégrade l'apprentissage. Aucun partenaire industriel, aucune plateforme commerciale ni aucun calendrier de déploiement ne sont mentionnés à ce stade : il s'agit d'une contribution méthodologique destinée à orienter la conception des futurs pipelines de collecte de données de téléopération, pas d'un produit ou d'un pilote annoncé.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Ordered Action Tokens pour l'apprentissage de politiques visuomotrices

Des chercheurs publient sur arXiv (arXiv:2607.21670v1) une nouvelle méthode de tokenisation d'actions pour les politiques visuomotrices de robots, baptisée OAT (Ordered Action Tokenization). Le problème visé est concret : pour piloter un bras ou un robot humanoïde via un modèle vision-langage-action (VLA), il faut convertir des séquences d'actions continues en tokens discrets, une étape clé de l'architecture. Les méthodes existantes échouent sur deux fronts, soit elles produisent des séquences de tokens beaucoup trop longues, soit elles génèrent des tokens latents appris mais sans structure interne, ce qui les rend peu compatibles avec les politiques de contrôle en aval. OAT combine un transformer à registres, une quantification scalaire finie et des mécanismes d'entraînement qui imposent un ordre aux tokens produits. Concrètement, chaque préfixe de la séquence de tokens est entraîné à pouvoir, à lui seul, se décoder en une action valide, les premiers tokens portant l'information de contrôle grossière et les suivants affinant les détails résiduels. Les auteurs ont testé la méthode sur trois architectures de politiques différentes et plus de 60 tâches, couvrant cinq bancs d'essai en simulation ainsi que des scénarios réels. Cette structure ordonnée change la donne opérationnelle : elle permet un compromis "anytime" entre coût de calcul à l'inférence et précision du geste, un point critique pour le déploiement embarqué où la latence contraint directement la cadence de contrôle. Pour les intégrateurs travaillant avec des politiques autorégressives ou des architectures hybrides combinant tokens et experts de type flow, cela ouvre la possibilité d'ajuster dynamiquement le compromis vitesse-précision sans changer de modèle, un besoin réel face aux VLA actuels souvent jugés trop lents pour du contrôle temps réel industriel. Le travail s'inscrit dans la lignée des tokenizers d'actions développés pour les politiques VLA type Pi-0 ou GR00T N2, où l'encodage des actions reste un goulot d'étranglement identifié par la recherche depuis l'essor de ces modèles. En comparant explicitement autorégression pure et co-entraînement par tokens dans un cadre flow-based, les auteurs positionnent OAT comme une brique d'interface générique, potentiellement réutilisable au-delà des architectures testées dans l'étude.

RechercheActu

1 source

2arXiv cs.RO

Multi-apprentissage continu : adapter des politiques visuomotrices préentraînées à la force

Des chercheurs ont présenté MuSe (Multisensory Continual Learning), une méthode permettant d'adapter une politique de manipulation robotique pré-entraînée sur la seule vision à de nouvelles modalités sensorielles, sans dégrader ses performances initiales. Publiée sur arXiv (2606.30988v1) le 30 juin 2026, l'étude part d'un constat pratique : les capteurs de force, de toucher ou audio sont souvent spécifiques à un matériel ou une tâche donnée, et les jeux de données robotiques multisensoriels à grande échelle restent rares. Il est donc impossible de pré-entraîner une politique avec tous les capteurs qu'elle pourrait rencontrer en production. MuSe résout ce problème via trois mécanismes combinés : une fusion multi-étages des signaux, une prédiction future multisensorielle, et un rejeu d'expérience (expérience replay) sur les données de pré-entraînement d'origine. Les chercheurs ont testé l'approche en ajoutant un capteur de force-couple à une politique vision-seule existante, sur des tâches de manipulation réelles impliquant du contact physique. Cette méthode répond à un problème central pour l'industrie des politiques vision-langage-action (VLA) de type Pi-0, GR00T N2 ou RT-2/OpenVLA : ces modèles, entraînés quasi exclusivement sur des flux vidéo, échouent souvent sur les tâches à contact riche (insertion de pièces, assemblage, préhension d'objets déformables) où la seule vision ne suffit pas à détecter un glissement ou une collision. Pour les intégrateurs industriels, l'enjeu est d'ajouter un capteur de force sans devoir ré-entraîner un modèle depuis zéro ni perdre les compétences déjà acquises, un phénomène classique d'oubli catastrophique. Les résultats montrent que MuSe améliore les performances sur les tâches de contact tout en préservant, voire en améliorant légèrement, les performances sur les tâches de pré-entraînement d'origine, ce qui suggère qu'un jeu de données multisensoriel modeste suffit à étendre les capacités générales d'un robot au-delà de sa distribution initiale d'entraînement. Le travail s'inscrit dans la tendance actuelle du secteur à généraliser des politiques robotiques pré-entraînées à grande échelle (à l'image des fondations VLA déployées par les principaux laboratoires de robotique humanoïde), plutôt qu'à ré-entraîner des modèles spécialisés par tâche. La rareté des données tactiles et de force reste un frein reconnu du secteur, contrairement à l'abondance de données vidéo. Le site du projet (jadenvc.github.io/multisensory-continual-learning) propose des démonstrations complémentaires ; les prochaines étapes annoncées concernent l'extension à d'autres modalités, comme le tactile ou l'audio, selon la même approche de fusion incrémentale.

RecherchePaper

1 source

3arXiv cs.RO

Repenser la dépendance à l'incarnation visuelle des politiques visuomotrices

Des chercheurs publient sur arXiv (2609.16815, 16 septembre 2026) une étude sur ce qu'ils appellent la "dépendance à l'incarnation visuelle" (visual embodiment dependence, VED) dans les politiques visuomotrices, ces modèles qui pilotent un bras robotique à partir d'images de la scène et du robot lui-même. Par des expériences de "conflit d'indices" sur plusieurs politiques représentatives, l'équipe montre que la configuration visible du robot (bras, pince) devient souvent un raccourci que le modèle exploite pour prédire l'action, au lieu de raisonner sur la tâche elle-même. Plutôt que de supprimer cette information visuelle, les auteurs proposent de la restructurer via une "canonicalisation de l'incarnation" dans des nuages de points 3D : la géométrie du robot réel est remplacée par une représentation canonique de l'effecteur terminal (canonical end-effector représentation, CER), qui conserve la géométrie utile au contrôle tout en effaçant la morphologie spécifique du robot. Cette forme éditable permet aussi une augmentation par "décorrélation de configuration" pour des configurations robotiques inédites. Le site du projet est accessible à tonyfang.net/ved. Pour l'industrie robotique, ces résultats touchent un point sensible : le transfert de démonstrations humaines vers des politiques robot sans données de démonstration réelles collectées sur le robot cible, une piste centrale pour réduire le coût d'entraînement des modèles VLA (vision-language-action) à mesure que les intégrateurs multiplient les bras et les pinces différents sur leurs lignes. L'étude montre que la canonicalisation améliore nettement ce transfert humain-vers-robot, mais aussi qu'un simple retrait de l'incarnation visuelle, sans préserver la géométrie pertinente pour le contrôle, ne suffit pas et dégrade les performances. Elle révèle également un effet pervers : la CER elle-même peut redevenir un raccourci si la configuration du robot se découple de la progression de la tâche, ce que l'augmentation par décorrélation permet de corriger sans perdre en performance sur les configurations déjà vues. Ce travail s'inscrit dans la lignée des efforts pour généraliser des politiques comme Pi-0, GR00T N2 ou Helix à travers différentes plateformes robotiques, un problème central alors que des acteurs comme Figure, Tesla (Optimus) ou Physical Intelligence cherchent à faire tenir un même modèle sur des morphologies variées. Il s'agit ici d'une contribution de recherche méthodologique, testée en expérimentation sur des politiques existantes plutôt qu'un produit ou un déploiement industriel, mais elle apporte un éclairage utile sur les limites actuelles du sim-to-real et du transfert cross-embodiment, sans annoncer de calendrier de mise en œuvre commerciale.

RecherchePaper

1 source

4arXiv cs.RO

ReShoot : randomisation visuelle générative du domaine pour l'apprentissage de politiques visuomotrices

Un article publié sur arXiv sous la référence 2609.19661 présente ReShoot, une méthode qui produit de la diversité visuelle en re-rendant des démonstrations robotiques déjà enregistrées, plutôt que d'en recollecter de nouvelles pour chaque changement d'apparence. Un modèle vision-langage décrit la scène et modifie un attribut ciblé, comme le fond, la couleur d'un objet ou un matériau, puis un générateur vidéo conditionné par les contours re-rend les deux vues caméra en conséquence ; l'instruction textuelle associée est mise à jour, mais la séquence d'actions et la trajectoire proprioceptive sont conservées à l'identique, sans réétiquetage. Sur le benchmark LIBERO, une politique entraînée à parts égales sur données réelles et re-générées obtient un taux de réussite quasi identique à un entraînement uniquement sur données réelles (96,5% contre 96,9%) et améliore la robustesse aux perturbations de scène sur LIBERO-Plus (85,5% contre 82,3%). Sur deux plateformes robotiques physiques, avec seulement 43 et 100 démonstrations pré-collectées, le taux de réussite sur des objets recolorés passe de 0% à respectivement 42,9% et 47,5%, sans dégradation des performances sur l'apparence d'origine. Ce résultat vise un point faible connu des politiques visuomotrices apprises par imitation : elles restent souvent collées aux conditions visuelles précises de leurs démonstrations d'entraînement, si bien qu'un simple changement de couleur ou de décor fait chuter drastiquement leurs performances. La parade habituelle, recollecter des démonstrations pour chaque nouveau contexte visuel, mobilise à chaque fois un robot, un environnement contrôlé et un opérateur humain, ce qui freine le déploiement à grande échelle en usine ou en entrepôt. En déplaçant l'effort de la collecte vers la génération, ReShoot suggère qu'une part significative de la robustesse visuelle recherchée par les intégrateurs peut s'obtenir sans temps robot supplémentaire ni simulation photoréaliste coûteuse à construire. Cette approche s'inscrit dans la lignée des travaux sur la randomisation de domaine et l'augmentation de données par génération, qui cherchent depuis plusieurs années à combler l'écart entre les démonstrations limitées disponibles et la diversité des conditions réelles d'exploitation. Sa particularité est de conserver intégralement les labels d'action et de proprioception du geste original, évitant le risque de réétiquetage erroné propre à d'autres pipelines génératifs. Le résumé ne précise ni les plateformes robotiques utilisées ni un calendrier de publication du code, ce qui place pour l'instant ReShoot au stade de publication de recherche plutôt que d'outil disponible pour les intégrateurs.

RecherchePaper

1 source