Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
MaskVLA : le masquage visuel contre le surapprentissage des trajectoires des modèles vision-langage-action
RecherchearXiv cs.RO 

MaskVLA : le masquage visuel contre le surapprentissage des trajectoires des modèles vision-langage-action

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Publiée sur arXiv en cross-listing sous la référence 2609.23565v1 (septembre 2026), MaskVLA est une méthode de finetuning pour les modèles vision-langage-action (VLA) qui pilotent des bras robotiques à partir d'instructions et de flux caméra. Le constat de départ : finetunés sur des jeux de démonstrations limités, ces modèles mémorisent des trajectoires spécifiques au lieu d'apprendre une politique généralisable, un phénomène que les auteurs nomment le "trajectory overfitting". La méthode masque aléatoirement une petite portion du flux vidéo de la caméra principale durant l'entraînement, forçant le modèle à mieux exploiter la caméra de poignet et à apprendre des traits visuels plus fins. Sur le benchmark de simulation RoboTwin 2.0, MaskVLA améliore le taux de réussite moyen de 23,2 % face à Pi-0 et de 16,8 % face à OpenVLA-OFT, un gain confirmé sur un bras robotique réel de la plateforme ALOHA.

La rareté des démonstrations réelles oblige la plupart des laboratoires à finetuner leurs VLA sur des jeux de données restreints, produisant des politiques fragiles dès qu'un objet change de position ou d'apparence : le problème visé n'est donc pas anecdotique. Qu'une simple restriction du signal de la caméra principale, technique de régularisation légère et peu coûteuse, suffise à dégager des gains à deux chiffres face à des références établies comme Pi-0 et OpenVLA-OFT suggère que la marge de progrès des VLA ne tient pas qu'à l'échelle du pré-entraînement mais aussi à l'exploitation de l'information multicaméra, en particulier la caméra de poignet, souvent sous-utilisée dans les politiques bout-en-bout des plateformes bi-bras comme ALOHA. Contrairement à une nouvelle architecture, MaskVLA reste une recette d'entraînement facile à intégrer dans des pipelines existants.

Le travail reste au stade de preprint, sans revue par les pairs confirmée ni produit commercial associé. Il s'inscrit dans la lignée des travaux sur la généralisation des politiques VLA initiés par Pi-0 de Physical Intelligence et OpenVLA-OFT, utilisés ici comme étalons de comparaison, aux côtés d'autres modèles généralistes du secteur comme GR00T N2 de Nvidia ou Helix de Figure AI, qui visent la même robustesse avec peu de démonstrations. RoboTwin 2.0 et la plateforme ALOHA, issue des travaux de téléopération bas coût de Stanford et Berkeley, servent de terrain de validation standard pour ce type de méthode. Aucun acteur français ou européen n'est cité dans cette étude, et les auteurs ne donnent aucun calendrier de suite.

Dans nos dossiers

FigureIA physique & VLANVIDIA GR00TPhysical Intelligence — π0

À lire aussi

Attaques par redirection de trajectoire sur les modèles vision-langage-action (VLA)
1arXiv cs.RO 

Attaques par redirection de trajectoire sur les modèles vision-langage-action (VLA)

Des chercheurs ont publié le 12 juin 2026 un article (arXiv:2606.12978) introduisant une nouvelle classe d'attaques adversariales sur les politiques robotiques de type VLA (Vision-Language-Action), ces architectures qui combinent un modèle de langage, une vision par caméra et un contrôleur moteur pour exécuter des tâches de manipulation à partir d'instructions textuelles. L'attaque baptisée "command-preserving trajectory redirection" (redirection de trajectoire préservant la commande) consiste à modifier subtilement le prompt d'entrée de façon à ce qu'il reste visuellement et sémantiquement proche de l'instruction légitime, mais provoque un résultat physique entièrement différent. Le modèle de menace est strict : l'attaquant ne modifie ni les poids du modèle, ni l'environnement, il choisit un seul prompt avant l'épisode, et ce prompt reste dans la norme syntaxique de la commande originale, sans mots-cibles ni langage correctif. Les auteurs proposent une méthode de recherche "on-policy" qui exploite des rollouts réels du robot pour identifier les perturbations textuelles dont le comportement en boucle fermée dévie vers une tâche cible. Les expériences sont conduites en simulation et sur robot physique, confirmant le transfert de l'attaque au monde réel. Ce résultat est significatif pour les intégrateurs et les décideurs industriels qui évaluent l'adoption des VLA en production, notamment dans les contextes de manipulation collaborative ou d'assemblage. La vulnérabilité exploite une propriété structurelle des VLA en boucle fermée : le même prompt est réappliqué à chaque étape de re-planification, et chaque action conditionnée modifie les observations futures sur lesquelles la politique agit. Un prompt malveillant peut donc cumuler ses effets sur toute une trajectoire, là où les attaques précédentes se limitaient à des perturbations action-par-action ou à la persistance d'actions basses. Cela contredit implicitement l'hypothèse que la robustesse visuelle d'un VLA suffit à garantir son intégrité comportementale, et soulève des questions concrètes sur la validation de sécurité avant déploiement. Les modèles VLA sont au coeur de plusieurs développements récents : pi0 de Physical Intelligence, OpenVLA, RT-2 de Google DeepMind, ou encore les politiques embarquées sur les humanoïdes Figure et 1X. La recherche en sécurité adversariale sur ces architectures était jusqu'ici dominée par des attaques sur les observations visuelles ou sur les actions individuelles ; ce travail ouvre formellement le champ des attaques au niveau de l'instruction textuelle à horizon long. Les auteurs n'annoncent pas de correctif ni de contre-mesure validée, ce qui laisse ouverte la question de la robustification des pipelines VLA. Les prochaines étapes attendues dans la communauté concerneront vraisemblablement la détection de prompts adversariaux à la volée et l'évaluation de ce vecteur d'attaque sur des modèles déployés commercialement. Le site projet est accessible à l'adresse indiquée dans le papier.

RechercheOpinion
1 source
Hermite curves comme a priori de trajectoire pour les modèles vision-langage-action
2arXiv cs.RO 

Hermite curves comme a priori de trajectoire pour les modèles vision-langage-action

Une équipe de recherche présente les "Hermite trajectory priors", une méthode qui structure explicitement les trajectoires générées par les modèles Vision-Language-Action (VLA) pour la manipulation robotique. Le problème identifié : les VLA actuels découpent chaque "chunk" d'action en commandes point par point, ce qui produit des mouvements saccadés et des discontinuités aux frontières entre segments lors de l'exécution physique. La solution proposée paramétrise la trajectoire comme une courbe cubique d'Hermite par morceaux, définie par les positions et vitesses aux points de contrôle, pour imposer mathématiquement la fluidité. Trois variantes sont testées : les Hermite Tokens (prédiction autorégressive des variables de frontière quantifiées), le Hermite Scaffold (décomposition en trajectoire de base plus résidus) et la Hermite Regularization (contrainte ajoutée uniquement comme objectif d'entraînement auxiliaire). Cette dernière s'avère la plus performante des trois. Appliquée au modèle π0.5, elle fait passer le taux de succès de 95,9 % à 98,7 % sur le benchmark LIBERO, de 85,7 % à 90,9 % sur LIBERO-plus, et de 63,4 % à 90,0 % sur quatre tâches réelles exécutées sur robot physique, sans surcoût de calcul à l'inférence. Ce résultat pèse dans un débat central du secteur : celui de l'écart entre démonstration et réalité pour les modèles VLA. Beaucoup de systèmes affichent des scores élevés en simulation mais se dégradent nettement lors du transfert vers un robot réel, notamment à cause de la gigue de mouvement générée par le découpage naïf en chunks. En montrant qu'une contrainte de lissage purement géométrique, ajoutée pendant l'entraînement et retirée à l'inférence, améliore les performances réelles sans coût supplémentaire, les auteurs suggèrent que la structuration explicite des trajectoires agit comme un biais inductif d'apprentissage plutôt que comme une contrainte d'exécution en temps réel. Le travail s'inscrit dans la lignée des architectures VLA récentes comme π0, GR00T N2 ou Helix, qui cherchent toutes à généraliser le contrôle robotique à partir de données multimodales massives. La méthode, agnostique à l'architecture, pourrait s'intégrer à d'autres pipelines VLA existants ; les auteurs ne précisent toutefois pas de calendrier de déploiement industriel ni de partenariat avec un fabricant de robots.

RechercheActu
1 source
Là où le succès échoue : apprentissage aux frontières d'échec pour des modèles vision-langage-action (VLA) robustes
3arXiv cs.RO 

Là où le succès échoue : apprentissage aux frontières d'échec pour des modèles vision-langage-action (VLA) robustes

Des chercheurs proposent DLS (Discovering, Localizing, Shaping), une méthode d'adaptation de modèles vision-langage-action (VLA) qui vise à rendre ces politiques plus robustes après un fine-tuning supervisé (SFT). Le point de départ est une asymétrie structurelle: les démonstrations d'experts indiquent où se situe le comportement réussi, mais ne disent rien de la zone où il cesse d'être fiable. DLS s'appuie sur un a priori comportemental ancré dans le réel, obtenu à partir de quelques démonstrations réelles et d'un co-entraînement en simulation. La méthode explore ensuite à grande échelle les frontières d'échec grâce à des déploiements « on-policy » dans un jumeau numérique de l'environnement. Les auteurs annoncent une amélioration de la robustesse par rapport au SFT et à des baselines d'apprentissage par renforcement en ligne, sur des tâches de manipulation avec robot réel. Le gain est surtout marqué avec des états initiaux aléatoires et des conditions visuelles inédites. L'article, en version 2 sur arXiv, ne fournit dans ce résumé ni taux de réussite chiffrés, ni nombre de démonstrations, ni modèle de base nommé. Le principal apport est conceptuel: au lieu de traiter chaque rollout comme un simple succès ou échec, DLS exploite les états privilégiés du simulateur, inaccessibles en conditions réelles, pour mesurer où la trajectoire franchit la frontière de l'échec. Cette « localisation sémantique de la progression » produit un signal plus riche qu'un label binaire. Ce signal sert à façonner la dynamique de flux de la politique, c'est-à-dire le débruitage des actions: les directions qui mènent au succès sont renforcées, celles qui mènent à l'échec sont supprimées. Cela se fait sans calcul de vraisemblance des actions et sans critique auxiliaire, deux composants qui compliquent souvent le RL appliqué aux politiques à diffusion ou à flow matching. Pour les intégrateurs, l'enjeu est la fragilité bien connue des VLA hors de la distribution des démonstrations (positions initiales variées, éclairage, textures). Si les résultats se confirment, le jumeau numérique servirait moins à générer des démonstrations qu'à cartographier les zones de rupture, ce qui réduirait le besoin de collecte réelle coûteuse. Les résultats restent toutefois ceux d'un préprint, sans comparaison indépendante, et leur portée dépend du nombre de tâches, de la fidélité du jumeau numérique et de l'écart sim-to-real réellement couvert. Ce travail s'inscrit dans la montée du post-entraînement des VLA après le SFT, où le RL en ligne et le co-entraînement simulation-réel sont devenus les pistes dominantes pour dépasser le plafond de l'imitation. Les modèles à flux ou à diffusion, comme la famille Pi-0 ou GR00T, rendent cette adaptation plus délicate, car leurs vraisemblances d'action sont difficiles à calculer, d'où l'intérêt d'une approche qui les évite. DLS se positionne face aux méthodes de RL en ligne qui récompensent uniquement le succès final, avec un signal de progression plus dense. Les prochaines étapes à surveiller sont la publication du code et des chiffres détaillés, le test sur des modèles de base variés et la validation sur des tâches plus longues ou plus contraintes en précision, qui diront si la cartographie des frontières d'échec passe à l'échelle industrielle.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Modèles vision-action pour l'apprentissage et le contrôle des robots : une étude
4arXiv cs.RO 

Modèles vision-action pour l'apprentissage et le contrôle des robots : une étude

Une équipe de chercheurs publie sur arXiv (identifiant 2609.16074v1) une étude de synthèse consacrée aux World-Action Models (WAM), des architectures qui couplent prédiction de l'état futur du monde et génération d'actions exécutables pour des robots. Le texte ne présente ni robot ni déploiement terrain : c'est une revue de littérature qui situe les WAM par rapport aux modèles du monde classiques, à l'apprentissage par renforcement basé sur un modèle, à la génération vidéo conditionnée par l'action et aux politiques VLA (vision-langage-action) purement réactives. Les auteurs proposent une taxonomie unifiée couvrant représentations, modélisation des transitions d'état, interfaces d'action, architectures, pipelines d'entraînement, modalités de données et stratégies de mise à l'échelle, puis passent en revue les applications en manipulation robotique, navigation et conduite autonome, avant de recenser les jeux de données, benchmarks, métriques et protocoles d'évaluation existants. Une page de projet répertoriant les travaux associés est mise en ligne à l'adresse rcl-robotics.github.io. L'intérêt de ce travail tient moins à un résultat inédit qu'à la mise en ordre d'un champ en pleine effervescence. Depuis l'essor des modèles du monde et de politiques VLA comme Pi-0, GR00T N2 ou Helix, une même intuition traverse le secteur : un robot fiable doit anticiper les conséquences d'une action avant de l'exécuter, plutôt que de se contenter d'associer observation et geste. Pour les intégrateurs et décideurs B2B, cette synthèse offre un vocabulaire commun pour évaluer des annonces concurrentes qui se réclament toutes, à des degrés divers, de cette convergence entre prédiction et action. Elle rappelle aussi, en creux, que la plupart des systèmes déployés aujourd'hui restent soit des générateurs vidéo sans boucle d'action réelle, soit des politiques réactives sans véritable anticipation, ce qui relativise la maturité que certains fournisseurs revendiquent. Ce travail s'inscrit dans la convergence amorcée depuis 2024-2025 entre les modèles du monde issus de la génération vidéo et les politiques d'action de type VLA popularisées par des laboratoires nord-américains et asiatiques ; aucun acteur français ou européen n'est cité dans cette étude, qui reste centrée sur la littérature académique et industrielle existante. Les auteurs identifient plusieurs verrous encore ouverts : l'alignement entre prédiction et action, la factorisation monde-action, la cohérence spatiale et multi-vue, la mémoire à long horizon, la simulation neuronale pour l'apprentissage en boucle fermée, et l'inférence efficace nécessaire à un déploiement temps réel. Ces axes dessinent l'agenda de recherche à venir pour transformer les WAM, aujourd'hui à l'état de cadre conceptuel, en briques réellement déployables sur des robots.

RecherchePaper
1 source