RecherchearXiv cs.RO 14 mai 2026

Quand agir, interroger ou apprendre : le pilotage de politique par gestion de l'incertitude

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié sur arXiv (réf. 2602.22474) un cadre nommé UPS (Uncertainty-Aware Policy Steering), conçu pour adapter le comportement d'un robot au moment du déploiement sans nécessiter de réentraînement complet. Le "policy steering" consiste à utiliser un vérificateur appris qui analyse les échantillons d'actions proposés par une politique pré-entraînée (typiquement une diffusion policy) et ne retient que celles jugées conformes à la tâche. UPS utilise un Vision-Language Model (VLM) comme vérificateur général, mais y ajoute une calibration par prédiction conforme (conformal prediction) pour corriger le biais de surconfiance caractéristique de ces modèles. Le système distingue trois régimes de décision : exécuter une action avec haute confiance, demander une clarification en langage naturel si la consigne est ambiguë, ou solliciter une intervention humaine sur l'action lorsque la politique de base est jugée incapable d'exécuter la tâche. Des expériences ont été menées en simulation et sur plateforme physique.

Le problème de la surconfiance des VLMs est concret et rarement traité dans la littérature sur le déploiement robotique. En pratique, un vérificateur qui ne sait pas qu'il ne sait pas valide des actions incorrectes ou bloque des actions valides, dégradant directement la performance opérationnelle. UPS apporte une garantie statistique formelle sur le choix de stratégie, ce qui est significatif pour des intégrateurs industriels qui ont besoin de bornes de fiabilité chiffrées. La composante de residual learning permet au système de progresser à partir des interventions collectées en déploiement, avec un objectif explicite de minimiser le feedback humain coûteux. Cette combinaison calibration plus apprentissage continu différencie UPS des pipelines d'apprentissage actif classiques, qui ne pondèrent pas le coût réel des interruptions.

Le policy steering s'est accéléré avec la disponibilité de politiques pré-entraînées génériques comme la diffusion policy, ACT ou pi-0, et de VLMs capables de raisonnement visuel. Les approches précédentes (SayCan, inner-monologue, RT-2) traitaient généralement la planification de haut niveau et l'exécution de bas niveau comme des modules séparés, sans calibration jointe de l'incertitude. UPS tente de combler ce gap en traitant simultanément l'incertitude sémantique et l'incertitude d'action dans un seul cadre probabiliste avec garanties statistiques. Les concurrents directs incluent les frameworks human-in-the-loop comme TAMER ou les approches de gating robotique d'OpenVLA, qui s'appuient sur des heuristiques moins formelles pour décider quand escalader vers un opérateur. Les travaux sont portés par une équipe académique (site de démonstration : jessie-yuan.github.io/ups) ; aucun partenaire industriel ni calendrier de transfert n'est annoncé à ce stade.

Dans nos dossiers

OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

RouteRLT : apprendre quand et quel spécialiste RL doit contrôler une politique vision-langage-action

Des chercheurs ont présenté RouteRLT, un système d'orchestration qui décide en temps réel quand transférer le contrôle d'un modèle vision-langage-action (VLA) généraliste à un spécialiste entraîné par apprentissage par renforcement (RL) pour une phase précise d'une tâche manipulatrice, comme l'insertion de connecteurs ou la gestion de câbles. Le framework combine un sélecteur de phase identifiant le contrôleur actif, un stabilisateur limitant les bascules trop fréquentes, et un gestionnaire de frontières gérant les transitions entre sorties de politiques produites par blocs. Il a été testé sur des tâches multi-objets du simulateur LIBERO et sur une tâche réelle de prise de câble et d'insertion de port. En simulation, le routage appris égale un routage « oracle » disposant des frontières de phase réelles, sans y avoir accès au déploiement ; sur robot réel, il valide automatiquement le basculement vers les spécialistes de prise et d'insertion. Publié sur arXiv (2609.26467), ce travail reste un résultat de recherche, sans partenaire industriel ni calendrier de commercialisation annoncés. Ce travail cible une friction bien connue dans la manipulation robotisée : les modèles VLA généralistes, entraînés par clonage comportemental sur de vastes corpus de démonstrations, excellent en polyvalence mais échouent souvent sur les phases exigeant une précision fine, typiques des tâches industrielles à fort contact comme le câblage électronique. Le remède habituel, un fine-tuning RL du modèle entier, risque de dégrader ce comportement généraliste. En approchant les performances d'un routage oracle sans y accéder en production, RouteRLT esquisse une architecture alternative, généraliste plus spécialistes RL orchestrés, potentiellement plus praticable pour les intégrateurs que le pari d'un modèle unique capable de tout faire avec la même précision. L'approche prolonge les travaux récents associant modèles VLA préentraînés et affinage par renforcement pour combler l'écart entre démonstration et exécution fiable, sans réentraîner l'intégralité du modèle de base. Les auteurs restent prudents sur la portée de leurs résultats : l'évaluation réelle se limite à une seule tâche de câblage à plusieurs étapes, sous un protocole de transfert aligné avec un opérateur humain, et aucun passage à un produit commercial n'est évoqué. La suite logique suggérée serait d'élargir le nombre de spécialistes RL disponibles et la diversité des tâches testées avant d'envisager une intégration dans des pipelines industriels réels.

RechercheOpinion

1 source

2arXiv cs.RO

Apprendre la navigation sociale à partir de vidéos Internet dans l'espace d'états de la politique

Des chercheurs proposent, dans un preprint arXiv (v1), un pipeline qui transforme de simples vidéos monoculaires de personnes en train de marcher en environnements d'entraînement en boucle fermée pour la navigation sociale de robots. Le système ne reconstruit ni ne rend d'observations photoréalistes. Il représente la scène statique par une carte de traversabilité métrique, qui subit une transformation rigide lorsque le robot se déplace de façon contrefactuelle. Les trajectoires des piétons extraites de la vidéo sont rejouées telles quelles dans le temps. La dynamique directe est donc définie dans l'espace d'état de la politique elle-même. La politique entraînée atteint 81,2 % de réussite sur le benchmark indépendant Arena, contre 75,0 % pour la meilleure base de comparaison, et réussit 19 essais réels sur 20 sans fine-tuning. Le résumé ne précise ni la plateforme robotique, ni les sites d'essai, ni le nombre de vidéos utilisées. L'intérêt tient au coût des données. Entraîner une politique robuste de navigation sociale exige des simulateurs variés, avec des agencements de scènes, des terrains et des mouvements humains divers. Construire ces mondes et scripter le comportement des piétons reste long et cher. En s'appuyant sur des vidéos disponibles sur Internet, cette approche déplace le goulot d'étranglement de la modélisation manuelle vers la collecte de vidéos. Elle contourne aussi une partie du problème sim-to-real : comme la politique n'apprend pas sur des images synthétiques, l'écart visuel entre simulation et réel se réduit. L'hypothèse défendue est que la navigation locale dépend surtout de deux informations, la zone traversable et le mouvement des piétons proches. Le résultat de 19/20 la soutient, mais avec des réserves. Le gain de 6,2 points sur Arena est réel sans être spectaculaire. Vingt essais réels donnent un intervalle de confiance large. Le rejeu de trajectoires enregistrées suppose aussi que les piétons ne réagissent pas au robot, ce qui limite la fidélité des interactions. Le travail s'inscrit dans une lignée de recherches sur la navigation sociale : simulateurs à foules scriptées, apprentissage par renforcement dans des scènes synthétiques, puis apprentissage à partir de vidéos humaines. Il rejoint la tendance plus large qui consiste à exploiter des données vidéo à grande échelle pour l'entraînement de politiques robotiques. Les prochaines étapes probables sont des tests sur plusieurs morphologies (quadrupèdes, humanoïdes), dans des foules plus denses et avec des piétons réactifs. La question de la transposition aux plateformes commerciales, notamment aux robots mobiles opérant dans des espaces partagés, restera ouverte tant que le code, les données et les conditions d'essai ne seront pas publiés et reproduits indépendamment.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Q-Learning par transport optimal pour le pilotage et l'accélération de politiques de flux

Des chercheurs proposent une nouvelle méthode baptisée Optimal Transport Q-Learning (OTQL), destinée à affiner et accélérer les politiques robotiques basées sur des modèles de diffusion et de flow matching, très utilisées dans les modèles vision-langage-action (VLA). Publiée le 8 juillet sur arXiv, l'étude combine apprentissage par renforcement (RL) post-entraînement et transport optimal conditionné par l'avantage, pour corriger les comportements sous-optimaux de ces politiques sans recourir à la distillation, coûteuse en calcul. Avec un budget d'interaction limité à seulement 50 à 60 épisodes, la méthode fait grimper le taux de succès moyen de politiques mono-tâche de 36 % à 86 %, et celui d'un modèle VLA pré-entraîné de 38 % à 76 %, tout en réduisant de 70 % le nombre d'étapes d'inférence nécessaires pour générer une action. Les tests ont été menés à la fois en simulation et sur des tâches robotiques réelles. Ces résultats s'attaquent à deux limites bien connues des politiques de diffusion et de flow matching pour la robotique: leur dépendance à des démonstrations de haute qualité, souvent rares ou coûteuses à collecter, et leur lenteur d'inférence, qui freine leur déploiement temps réel sur des robots physiques. En démontrant qu'un nombre restreint d'épisodes d'expérience réelle suffit à corriger significativement les échecs sous décalage de distribution, OTQL apporte un début de réponse à l'écart persistant entre démonstrations en laboratoire et performance en conditions réelles, un problème central pour les intégrateurs qui cherchent à fiabiliser des modèles VLA du type de ceux utilisés dans les bras manipulateurs ou les humanoïdes actuels. La réduction de 70 % des étapes d'inférence est également notable pour les décideurs B2B, car elle touche directement au coût de calcul embarqué et à la latence, deux freins concrets à la commercialisation à grande échelle de politiques génératives sur robot. Les politiques de diffusion et de flow matching se sont imposées ces dernières années comme l'approche dominante pour capturer des distributions de trajectoires multimodales dans les tâches de manipulation robotique, notamment dans les architectures VLA. Mais leur adoption industrielle butait jusqu'ici sur deux verrous: l'accélération de l'inférence, généralement traitée par des méthodes de distillation gourmandes en ressources de simulation, et l'amélioration post-déploiement, qui nécessite habituellement de nouvelles données de démonstration coûteuses à produire. OTQL s'inscrit dans une lignée de travaux cherchant à exploiter le RL pour du post-entraînement léger plutôt que du réentraînement complet. Les auteurs ne précisent pas encore de calendrier de transfert vers des plateformes commerciales, mais la méthode ouvre une piste pour que les opérateurs de flottes robotiques affinent leurs politiques directement à partir de l'expérience de terrain, sans dépendre de nouveaux cycles de collecte de données coûteux.

RechercheActu

1 source

4arXiv cs.RO

Apprendre à exploiter la compliance : un cadre d'apprentissage de politique en admittance pour l'insertion robotique

Une équipe de chercheurs a publié le 28 septembre 2026 sur arXiv (référence 2609.31439v1) un nouveau cadre baptisé LeCo, pour "Leverage Compliance", destiné à l'assemblage robotique de précision par insertion de connecteurs. Le système combine une politique visuelle apprise par apprentissage automatique avec un contrôle en admittance à raideur fixe, et ajoute un mécanisme de rétroaction multi-fréquence qui agrège les mesures de contact haute fréquence en récompenses au niveau des transitions de la politique. Deux termes de coût inédits structurent l'apprentissage: un coût de conflit intégré, qui pénalise les situations où la politique continue de pousser pendant que le contrôleur relâche la pression sans progression réelle, et un coût de traînée directionnelle en force, qui sanctionne les épisodes de chargement prolongé au sein d'une même transition. Testé sur quatre tâches réelles d'assemblage de connecteurs avec un bras robotique physique, LeCo atteint un taux de réussite agrégé de 94%. Par rapport à une méthode de référence, les pics de force résultante chutent d'environ 30% et les pics de couple d'environ 64% sur les essais réussis, tandis qu'une étude d'ablation montre que le seul ajout du coût de conflit réduit de 53% la densité médiane de conflits en situation de contact. L'enjeu dépasse la simple démonstration technique: l'assemblage par insertion (connecteurs électriques, câblage automobile, électronique) reste l'un des points faibles classiques des politiques visuo-motrices, car une politique entraînée à atteindre un objectif visuel peut continuer à pousser mécaniquement même quand un contrôleur conforme cède sous la résistance, générant des charges inutiles sans avancement. LeCo apporte une preuve empirique que ce défaut de coordination entre perception, décision et contrôle physique peut être corrigé par un signal de récompense dédié, plutôt que par un simple ajustement de la raideur mécanique. Pour les intégrateurs industriels visant l'automatisation de lignes d'assemblage fin (connectique, PCB, câblage), ce type de résultat réduit concrètement le risque de casse de pièces fragiles et améliore la fiabilité des cycles d'insertion, un enjeu direct de rentabilité en production. Ce travail s'inscrit dans une littérature plus large sur la manipulation robotique en contact riche, où l'articulation entre contrôle hybride position/force et politiques apprises par imitation ou renforcement reste un problème ouvert, distinct des efforts actuels sur les modèles généralistes vision-langage-action (Pi-0, GR00T N2, Helix) qui visent une polyvalence de tâches plutôt qu'une précision d'insertion fine. Les auteurs ne précisent pas d'affiliation industrielle ni de calendrier de transfert vers une ligne de production; il s'agit à ce stade d'une contribution de recherche validée sur quatre tâches en laboratoire, sans annonce de déploiement commercial.

RecherchePaper

1 source