RecherchearXiv cs.RO 7 septembre 2026

Même trajectoire, récompenses contradictoires (ROBORMBENCH) : la fragilité des modèles de récompense vision-langage face aux paraphrases

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche a publié ROBORMBENCH, un benchmark mesurant la fragilité des modèles vision-langage (VLM) utilisés comme fonctions de récompense en robotique, dans un article mis en ligne en septembre 2026 sur arXiv sous la référence 2609.05401. Le jeu de données réunit 2 390 trajectoires de robots réels, des étiquettes de progression vérifiées au sol, et 21 673 paraphrases vérifiées couvrant des réécritures lexicales, syntaxiques et de type action-objectif. Constat central : reformuler une consigne, sans toucher à la trajectoire réellement exécutée par le robot, peut faire varier fortement le score de progression prédit par le modèle, au point de faire basculer un comportement identique entre échec et succès. Testée sur des modèles propriétaires et open-source, cette instabilité induite par la paraphrase s'avère répandue, sévère, s'aggrave à mesure que les reformulations s'éloignent du texte d'origine, et résiste aussi bien à l'augmentation de la taille du modèle qu'à l'ajout de raisonnement explicite. Seuls des modèles de récompense dédiés, entraînés avec une supervision ancrée dans la trajectoire, se montrent nettement plus stables.

Ce résultat fragilise une hypothèse de plus en plus répandue dans le secteur, selon laquelle des VLM généralistes peuvent servir tels quels de juges pour entraîner des politiques robotiques par renforcement. Pour les intégrateurs et laboratoires qui bâtissent des pipelines de fine-tuning à partir de récompenses générées automatiquement, l'étude pointe un risque concret : une même démonstration réussie pourrait être notée comme un échec simplement parce que l'instruction textuelle a changé de formulation, introduisant un bruit silencieux dans l'entraînement des politiques. Le fait que ni l'échelle du modèle ni un raisonnement explicite ne corrigent le problème contredit l'idée que ces limites se résorberaient naturellement avec des modèles plus gros ou plus verbeux, et plaide pour des modèles de récompense spécialisés plutôt que pour des VLM généralistes détournés de leur usage d'origine.

ROBORMBENCH s'inscrit dans la tendance récente consistant à réutiliser des VLM prêts à l'emploi comme évaluateurs automatiques de progression de tâche en robotique, une alternative moins coûteuse que la supervision humaine ou l'écriture manuelle de fonctions de récompense. Le benchmark combine des trajectoires issues de robots réels, et non simulées, avec des paraphrases vérifiées par des humains, ce qui le distingue des tests synthétiques habituels du domaine. Le résumé de l'article ne précise ni les organismes à l'origine des travaux ni de calendrier de suite, mais la publication invite explicitement le secteur à traiter la robustesse aux paraphrases comme un critère obligatoire avant de déployer des VLM comme juges dans des boucles d'entraînement robotique, aux côtés de métriques plus classiques comme la précision ou la cohérence temporelle des prédictions.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

MaskVLA : le masquage visuel contre le surapprentissage des trajectoires des modèles vision-langage-action

Publiée sur arXiv en cross-listing sous la référence 2609.23565v1 (septembre 2026), MaskVLA est une méthode de finetuning pour les modèles vision-langage-action (VLA) qui pilotent des bras robotiques à partir d'instructions et de flux caméra. Le constat de départ : finetunés sur des jeux de démonstrations limités, ces modèles mémorisent des trajectoires spécifiques au lieu d'apprendre une politique généralisable, un phénomène que les auteurs nomment le "trajectory overfitting". La méthode masque aléatoirement une petite portion du flux vidéo de la caméra principale durant l'entraînement, forçant le modèle à mieux exploiter la caméra de poignet et à apprendre des traits visuels plus fins. Sur le benchmark de simulation RoboTwin 2.0, MaskVLA améliore le taux de réussite moyen de 23,2 % face à Pi-0 et de 16,8 % face à OpenVLA-OFT, un gain confirmé sur un bras robotique réel de la plateforme ALOHA. La rareté des démonstrations réelles oblige la plupart des laboratoires à finetuner leurs VLA sur des jeux de données restreints, produisant des politiques fragiles dès qu'un objet change de position ou d'apparence : le problème visé n'est donc pas anecdotique. Qu'une simple restriction du signal de la caméra principale, technique de régularisation légère et peu coûteuse, suffise à dégager des gains à deux chiffres face à des références établies comme Pi-0 et OpenVLA-OFT suggère que la marge de progrès des VLA ne tient pas qu'à l'échelle du pré-entraînement mais aussi à l'exploitation de l'information multicaméra, en particulier la caméra de poignet, souvent sous-utilisée dans les politiques bout-en-bout des plateformes bi-bras comme ALOHA. Contrairement à une nouvelle architecture, MaskVLA reste une recette d'entraînement facile à intégrer dans des pipelines existants. Le travail reste au stade de preprint, sans revue par les pairs confirmée ni produit commercial associé. Il s'inscrit dans la lignée des travaux sur la généralisation des politiques VLA initiés par Pi-0 de Physical Intelligence et OpenVLA-OFT, utilisés ici comme étalons de comparaison, aux côtés d'autres modèles généralistes du secteur comme GR00T N2 de Nvidia ou Helix de Figure AI, qui visent la même robustesse avec peu de démonstrations. RoboTwin 2.0 et la plateforme ALOHA, issue des travaux de téléopération bas coût de Stanford et Berkeley, servent de terrain de validation standard pour ce type de méthode. Aucun acteur français ou européen n'est cité dans cette étude, et les auteurs ne donnent aucun calendrier de suite.

RechercheOpinion

1 source

2arXiv cs.RO

Attaques par redirection de trajectoire sur les modèles vision-langage-action (VLA)

Des chercheurs ont publié le 12 juin 2026 un article (arXiv:2606.12978) introduisant une nouvelle classe d'attaques adversariales sur les politiques robotiques de type VLA (Vision-Language-Action), ces architectures qui combinent un modèle de langage, une vision par caméra et un contrôleur moteur pour exécuter des tâches de manipulation à partir d'instructions textuelles. L'attaque baptisée "command-preserving trajectory redirection" (redirection de trajectoire préservant la commande) consiste à modifier subtilement le prompt d'entrée de façon à ce qu'il reste visuellement et sémantiquement proche de l'instruction légitime, mais provoque un résultat physique entièrement différent. Le modèle de menace est strict : l'attaquant ne modifie ni les poids du modèle, ni l'environnement, il choisit un seul prompt avant l'épisode, et ce prompt reste dans la norme syntaxique de la commande originale, sans mots-cibles ni langage correctif. Les auteurs proposent une méthode de recherche "on-policy" qui exploite des rollouts réels du robot pour identifier les perturbations textuelles dont le comportement en boucle fermée dévie vers une tâche cible. Les expériences sont conduites en simulation et sur robot physique, confirmant le transfert de l'attaque au monde réel. Ce résultat est significatif pour les intégrateurs et les décideurs industriels qui évaluent l'adoption des VLA en production, notamment dans les contextes de manipulation collaborative ou d'assemblage. La vulnérabilité exploite une propriété structurelle des VLA en boucle fermée : le même prompt est réappliqué à chaque étape de re-planification, et chaque action conditionnée modifie les observations futures sur lesquelles la politique agit. Un prompt malveillant peut donc cumuler ses effets sur toute une trajectoire, là où les attaques précédentes se limitaient à des perturbations action-par-action ou à la persistance d'actions basses. Cela contredit implicitement l'hypothèse que la robustesse visuelle d'un VLA suffit à garantir son intégrité comportementale, et soulève des questions concrètes sur la validation de sécurité avant déploiement. Les modèles VLA sont au coeur de plusieurs développements récents : pi0 de Physical Intelligence, OpenVLA, RT-2 de Google DeepMind, ou encore les politiques embarquées sur les humanoïdes Figure et 1X. La recherche en sécurité adversariale sur ces architectures était jusqu'ici dominée par des attaques sur les observations visuelles ou sur les actions individuelles ; ce travail ouvre formellement le champ des attaques au niveau de l'instruction textuelle à horizon long. Les auteurs n'annoncent pas de correctif ni de contre-mesure validée, ce qui laisse ouverte la question de la robustification des pipelines VLA. Les prochaines étapes attendues dans la communauté concerneront vraisemblablement la détection de prompts adversariaux à la volée et l'évaluation de ce vecteur d'attaque sur des modèles déployés commercialement. Le site projet est accessible à l'adresse indiquée dans le papier.

RechercheOpinion

1 source

3arXiv cs.RO

Grands modèles de récompense : génération de récompenses robotiques en ligne et généralisable grâce aux modèles vision-langage

Des chercheurs proposent les Large Reward Models (LRM), un cadre qui transforme des modèles vision-langage (VLM) de base en générateurs de récompense image par image, destinés à affiner des politiques de manipulation robotique. Le VLM de pointe retenu est spécialisé sur un jeu de données multi-sources : trajectoires de robots réels, interactions humain-objet et environnements de manipulation simulés. Contrairement aux approches qui évaluent les trajectoires a posteriori, les LRM exposent trois interfaces de récompense à partir des seules observations visuelles : estimation de progression, détection d'achèvement de la tâche et comparaison contrastive temporelle. Partant d'une politique apprise par imitation (IL), les auteurs utilisent ces signaux pour guider un affinage par PPO sur des tâches de manipulation à long horizon non vues pendant l'entraînement. La récompense de progression s'impose comme le meilleur signal en ligne sans information privilégiée : elle améliore la politique IL de référence et réduit l'écart avec les récompenses « privilégiées » issues de l'état interne de l'environnement. Côté matériel réel, elle sert à pondérer un clonage comportemental (behavioral cloning) selon la progression, sur quatre tâches de manipulation et deux plateformes robotiques, avec un gain sur le fine-tuning supervisé (SFT) classique dans les quatre cas. Le résumé ne donne ni modèle de VLM, ni taux de réussite chiffrés, ni noms de robots. L'enjeu est celui d'un goulot d'étranglement bien connu : l'apprentissage par renforcement (RL) peut améliorer les politiques de manipulation, mais écrire une fonction de récompense à la fois sémantiquement pertinente et réutilisable d'une tâche à l'autre reste coûteux, et se fait aujourd'hui surtout à la main, tâche par tâche. Si ces résultats se confirment, un VLM spécialisé pourrait servir de récompense générique, ce qui réduirait l'ingénierie de récompense pour les intégrateurs et ouvrirait la voie à une auto-amélioration des robots en déploiement, sans instrumentation de la scène. Des réserves s'imposent : l'écart avec les récompenses privilégiées est réduit, pas comblé ; la validation réelle ne porte que sur quatre tâches, et sur du clonage comportemental pondéré plutôt que sur du RL en ligne sur robot physique. Le travail relève de la recherche (preprint arXiv, version 3), sans produit ni déploiement industriel. Ces travaux s'inscrivent dans la montée des modèles de fondation pour la robotique, des VLA (vision-langage-action) comme Pi-0 ou GR00T aux VLM utilisés comme juges ou générateurs de récompense. Les approches précédentes de récompense par modèle de langage ou de vision restaient souvent limitées à une évaluation après coup, ce que les LRM cherchent à dépasser avec un signal exploitable en ligne. La suite logique serait de tester ces récompenses en RL directement sur robot réel, sur un plus grand nombre de tâches, et de mesurer leur robustesse face aux erreurs d'estimation de progression, qui peuvent être exploitées par la politique. Le résumé ne cite aucun acteur européen ni partenaire industriel.

RecherchePaper

1 source

4arXiv cs.RO

Hermite curves comme a priori de trajectoire pour les modèles vision-langage-action

Une équipe de recherche présente les "Hermite trajectory priors", une méthode qui structure explicitement les trajectoires générées par les modèles Vision-Language-Action (VLA) pour la manipulation robotique. Le problème identifié : les VLA actuels découpent chaque "chunk" d'action en commandes point par point, ce qui produit des mouvements saccadés et des discontinuités aux frontières entre segments lors de l'exécution physique. La solution proposée paramétrise la trajectoire comme une courbe cubique d'Hermite par morceaux, définie par les positions et vitesses aux points de contrôle, pour imposer mathématiquement la fluidité. Trois variantes sont testées : les Hermite Tokens (prédiction autorégressive des variables de frontière quantifiées), le Hermite Scaffold (décomposition en trajectoire de base plus résidus) et la Hermite Regularization (contrainte ajoutée uniquement comme objectif d'entraînement auxiliaire). Cette dernière s'avère la plus performante des trois. Appliquée au modèle π0.5, elle fait passer le taux de succès de 95,9 % à 98,7 % sur le benchmark LIBERO, de 85,7 % à 90,9 % sur LIBERO-plus, et de 63,4 % à 90,0 % sur quatre tâches réelles exécutées sur robot physique, sans surcoût de calcul à l'inférence. Ce résultat pèse dans un débat central du secteur : celui de l'écart entre démonstration et réalité pour les modèles VLA. Beaucoup de systèmes affichent des scores élevés en simulation mais se dégradent nettement lors du transfert vers un robot réel, notamment à cause de la gigue de mouvement générée par le découpage naïf en chunks. En montrant qu'une contrainte de lissage purement géométrique, ajoutée pendant l'entraînement et retirée à l'inférence, améliore les performances réelles sans coût supplémentaire, les auteurs suggèrent que la structuration explicite des trajectoires agit comme un biais inductif d'apprentissage plutôt que comme une contrainte d'exécution en temps réel. Le travail s'inscrit dans la lignée des architectures VLA récentes comme π0, GR00T N2 ou Helix, qui cherchent toutes à généraliser le contrôle robotique à partir de données multimodales massives. La méthode, agnostique à l'architecture, pourrait s'intégrer à d'autres pipelines VLA existants ; les auteurs ne précisent toutefois pas de calendrier de déploiement industriel ni de partenariat avec un fabricant de robots.

RechercheActu

1 source