Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
STRONG-VLA : robustesse découplée des modèles vision-langage-action face aux perturbations multimodales
RecherchearXiv cs.RO 

STRONG-VLA : robustesse découplée des modèles vision-langage-action face aux perturbations multimodales

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

STRONG-VLA est un framework de fine-tuning en deux étapes qui vise a rendre les modèles Vision-Language-Action (VLA) plus robustes face aux perturbations multimodales, c'est-a-dire au bruit visuel et aux instructions linguistiques dégradées qui font chuter les performances en conditions réelles. Plutot que d'entrainer conjointement sur données propres et perturbées, ce qui créé un conflit d'optimisation, la méthode sépare l'acquisition de robustesse, via un curriculum de 28 types de perturbations textuelles et visuelles (bruit de capteur, occlusions, instructions corrompues), d'un réajustement final sur taches propres. Sur le benchmark LIBERO, elle ameliore le taux de réussite jusqu'a 12,60% sur perturbations connues et 7,77% sur perturbations inédites pour OpenVLA, avec des gains plus marques encore sur OpenVLA-OFT (+14,48% / +13,81%) et pi0 (+16,49% / +5,58%). Des tests en conditions réelles sur une plateforme robotique AIRBOT confirment ces résultats hors simulation.

Le travail cible un angle mort connu du secteur: les démonstrations de VLA se font généralement en environnement contrôle, alors que le déploiement réel expose ces systèmes a des variations d'éclairage, des occlusions et des instructions humaines imprécises. En prouvant que la robustesse peut être gagnée sans sacrifier la performance sur taches propres, et que ce gain se reproduit sur trois architectures distinctes, les auteurs apportent un signal de généralisation qui intéressé directement les intégrateurs cherchant a fiabiliser des pipelines VLA au-delà du laboratoire. Cela remet en cause l'hypothèse, courante dans l'industrie, qu'un simple entrainement conjoint sur données propres et perturbées suffit a garantir la robustesse.

STRONG-VLA s'inscrit dans les efforts pour combler l'écart entre simulation et déploiement réel des modèles VLA, une famille d'architectures qui compte déjà des références comme OpenVLA, sa variante OpenVLA-OFT, et pi0 développe par Physical Intelligence. Le benchmark de 28 perturbations introduit par les auteurs se veut un outil de référence pour évaluer la robustesse de futurs modèles, au-delà des scores de réussite en environnement propre mesures par LIBERO. Aucun acteur européen n'est cite dans cette publication académique, qui reste a ce stade une contribution de recherche validée en laboratoire et sur une seule plateforme physique, sans annonce de déploiement industriel ou de partenariat commercial.

Dans nos dossiers

IA physique & VLAPhysical Intelligence — π0OpenVLA / RT-X

À lire aussi

RobustVLA : robustesse d'un modèle vision-langage-action face aux perturbations multimodales
1arXiv cs.RO 

RobustVLA : robustesse d'un modèle vision-langage-action face aux perturbations multimodales

RobustVLA s'attaque à un angle mort des modèles Vision-Language-Action (VLA) : leur fragilité face aux perturbations réelles. Une équipe de recherche a d'abord testé les principaux VLA sous 17 types de perturbations réparties sur quatre modalités (actions, instructions, environnement, observations visuelles). Résultat : les actions constituent la modalité la plus fragile, les modèles réputés robustes visuellement (comme BYOVLA) ne conservent aucun gain sur les autres modalités, et pi0 se distingue par une robustesse supérieure aux autres backbones testés. Pour corriger ces faiblesses, les chercheurs proposent RobustVLA, qui combine une optimisation robuste hors ligne contre le pire cas de bruit sur les actions (via l'objectif de flow matching) et un mécanisme forçant des actions cohérentes malgré les variations d'entrée. La sélection automatique des perturbations les plus nuisibles est traitée comme un problème de bandit multi-bras, résolu par un algorithme d'upper confidence bound. Sur le benchmark LIBERO, RobustVLA gagne 12,6% de réussite absolue sur backbone pi0 et 10,4% sur OpenVLA face aux 17 perturbations combinées, avec une inférence 50,6 fois plus rapide que BYOVLA, qui dépend de LLM externes. Cette avancée touche un point sensible pour l'industrie robotique : la plupart des démonstrations de VLA impressionnent en conditions contrôlées mais s'effondrent face au bruit réel (mauvaise calibration caméra, instructions ambiguës, occlusions, dérive capteurs). En identifiant les actions comme le maillon le plus faible, l'étude remet en question l'hypothèse répandue selon laquelle la robustesse visuelle suffirait à garantir un déploiement fiable. Sur robot réel FR5, RobustVLA dépasse pi0 de 65,6% de taux de réussite avec seulement 25 démonstrations, un résultat clé pour les intégrateurs qui manquent de données d'entraînement en environnement industriel. Même avec des données abondantes, le gain reste de 30%, ce qui suggère que la méthode n'est pas qu'un palliatif pour le few-shot mais une amélioration structurelle. Le papier s'inscrit dans la lignée des travaux récents sur pi0 (Physical Intelligence) et OpenVLA, deux architectures de référence dans la course aux modèles génériques de manipulation robotique. Il répond directement aux limites de BYOVLA, une approche antérieure de robustesse visuelle jugée coûteuse en calcul car dépendante de LLM externes. Les auteurs positionnent RobustVLA comme une alternative légère et généralisable, testée à la fois en simulation (LIBERO) et en conditions réelles. Le code et des vidéos de démonstration sont disponibles sur GitHub, ce qui permettra une validation indépendante par la communauté avant une adoption plus large en environnement industriel.

RecherchePaper
1 source
Modèles vision-langage-action : superviser les VLA au-delà des actions physiques
2arXiv cs.RO 

Modèles vision-langage-action : superviser les VLA au-delà des actions physiques

Une équipe de recherche propose UVT (Unified Visuomotor Target), une méthode d'entraînement pour les modèles vision-langage-action (VLA), détaillée dans un article déposé sur arXiv en août 2026 (2608.03563v1). Le point de départ : les VLA sont entraînés à prédire directement des commandes moteur bas niveau à partir d'observations visuelles et de langage, alors que les modèles vision-langage sous-jacents encodent des représentations riches et de haut niveau des scènes et des objectifs, un décalage qui freine l'apprentissage. UVT introduit une cible latente unique encodant conjointement le contrôle moteur et la transition visuelle de la scène, sans modifier l'architecture ni ajouter de données. Testée sur deux systèmes VLA représentatifs, en simulation comme sur des tâches réelles de manipulation bimanuelle, elle améliore l'efficacité d'entraînement, la performance finale et la robustesse de la politique, avec des gains marqués sous budget d'entraînement limité ou en conditions difficiles. Pour l'industrie robotique, ce travail touche un point de friction bien identifié : la difficulté à obtenir des politiques VLA robustes sans volumes massifs de démonstrations téléopérées, coûteuses à collecter. En montrant qu'un simple changement de cible d'entraînement, sans toucher à l'architecture ni au volume de données, améliore l'efficacité et la robustesse, UVT s'inscrit dans une tendance cherchant à mieux exploiter l'information déjà présente dans les modèles vision-langage préentraînés plutôt que d'empiler paramètres ou données. Pour les équipes qui entraînent leurs propres politiques (laboratoires, intégrateurs, startups humanoïdes), c'est un levier peu coûteux à tester. Les résultats restent toutefois obtenus sur benchmarks et tâches de manipulation en conditions contrôlées ; leur généralisation à des environnements industriels variés et à d'autres familles de VLA n'est pas démontrée. L'article s'inscrit dans la vague de recherche VLA ouverte par des systèmes comme RT-2, OpenVLA, Pi-0 ou GR00T, qui adaptent des modèles vision-langage préentraînés à la prédiction d'actions robotiques. L'essentiel des travaux récents porte sur l'échelle des données ou sur l'architecture (tokenisation des actions, diffusion, mélange d'experts) ; UVT prend le contre-pied en questionnant la cible de supervision elle-même, tout en restant compatible avec les architectures VLA existantes, ce qui facilite en théorie son adoption. La publication ne mentionne aucun partenariat industriel ni déploiement au-delà des tests de laboratoire. Il s'agit pour l'instant d'une contribution méthodologique dont l'impact dépendra de sa reproduction sur d'autres jeux de données et d'autres plateformes robotiques, humanoïdes comprises.

RecherchePaper
1 source
Adaptation des modèles vision-langage-action (VLA) à des perturbations visuelles inconnues pendant l'exécution
3arXiv cs.RO 

Adaptation des modèles vision-langage-action (VLA) à des perturbations visuelles inconnues pendant l'exécution

Des chercheurs proposent SALT (Self-supervised Adaptation from Leftover Trajectories), une méthode d'adaptation au moment du test pour les modèles vision-langage-action (VLA), publiée sur arXiv (2610.07946). Elle cible un problème précis : une perturbation visuelle (corruption d'image, obstruction physique de la caméra) survient en cours d'exécution, sans que la politique connaisse son type ni son moment d'apparition. SALT exploite la « trajectoire résiduelle », c'est-à-dire la partie non exécutée du chunk d'actions précédent. Les chunks consécutifs se recouvrant dans le temps, ce résidu fournit une cible alignée sur le même intervalle de contrôle que la prédiction courante. Aucune annotation de perturbation, aucune action d'expert et aucune démonstration du domaine cible ne sont requises. Une porte d'adaptation légère, calibrée uniquement sur des trajectoires nominales, déclenche les mises à jour. Sur LIBERO-10, le taux de succès moyen sur cinq corruptions visuelles persistantes passe de 43,9 % à 53,2 % avec SmolVLA, et de 58,7 % à 66,0 % avec GR00T N1.7, avec une performance nominale largement préservée. Sur robot réel, la progression de tâche moyenne, perturbations numériques et physiques confondues, passe de 0,49 à 0,61. L'intérêt tient à la nature du problème traité. La plupart des travaux de robustesse des VLA supposent un entraînement avec augmentation de données ou une connaissance du décalage de domaine. Or en production, caméras salies, éclairage changeant ou occultations partielles arrivent sans préavis. SALT suggère qu'on peut gagner entre 7 et 9 points de succès sans données supplémentaires, en recyclant les prédictions déjà produites par le modèle. Deux mécanismes expliquent l'effet : à l'apparition du décalage, le résidu garde un plan formé avant la corruption et sert d'ancre (Transition Anchoring), puis la correction se propage d'un replanning à l'autre (Sequential Correction Propagation). Les limites sont nettes : le gain reste modeste en valeur absolue, les taux de succès restent sous les 70 %, et le test sur robot réel, mesuré par un score de progression et non un taux de réussite, offre peu de détails sur le nombre d'essais ou les tâches. Le benchmark LIBERO reste de plus de la simulation. Ce travail s'inscrit dans l'effort de fiabilisation des VLA après la vague de modèles généralistes comme Pi-0, GR00T ou SmolVLA, dont l'écart entre démonstration et déploiement tient souvent à la sensibilité aux conditions visuelles. L'approche rejoint l'adaptation au moment du test, déjà explorée en vision par ordinateur, mais l'applique ici à la structure par chunks d'actions propre aux politiques modernes. Elle reste un résultat de recherche, sans produit ni déploiement annoncé. Les prochaines étapes probables sont des validations sur d'autres architectures, des perturbations plus variées et des tâches longues, ainsi qu'une évaluation du coût de calcul des mises à jour en ligne sur du matériel embarqué, point que le résumé ne chiffre pas.

RecherchePaper
1 source
Là où le succès échoue : apprentissage aux frontières d'échec pour des modèles vision-langage-action (VLA) robustes
4arXiv cs.RO 

Là où le succès échoue : apprentissage aux frontières d'échec pour des modèles vision-langage-action (VLA) robustes

Des chercheurs proposent DLS (Discovering, Localizing, Shaping), une méthode d'adaptation de modèles vision-langage-action (VLA) qui vise à rendre ces politiques plus robustes après un fine-tuning supervisé (SFT). Le point de départ est une asymétrie structurelle: les démonstrations d'experts indiquent où se situe le comportement réussi, mais ne disent rien de la zone où il cesse d'être fiable. DLS s'appuie sur un a priori comportemental ancré dans le réel, obtenu à partir de quelques démonstrations réelles et d'un co-entraînement en simulation. La méthode explore ensuite à grande échelle les frontières d'échec grâce à des déploiements « on-policy » dans un jumeau numérique de l'environnement. Les auteurs annoncent une amélioration de la robustesse par rapport au SFT et à des baselines d'apprentissage par renforcement en ligne, sur des tâches de manipulation avec robot réel. Le gain est surtout marqué avec des états initiaux aléatoires et des conditions visuelles inédites. L'article, en version 2 sur arXiv, ne fournit dans ce résumé ni taux de réussite chiffrés, ni nombre de démonstrations, ni modèle de base nommé. Le principal apport est conceptuel: au lieu de traiter chaque rollout comme un simple succès ou échec, DLS exploite les états privilégiés du simulateur, inaccessibles en conditions réelles, pour mesurer où la trajectoire franchit la frontière de l'échec. Cette « localisation sémantique de la progression » produit un signal plus riche qu'un label binaire. Ce signal sert à façonner la dynamique de flux de la politique, c'est-à-dire le débruitage des actions: les directions qui mènent au succès sont renforcées, celles qui mènent à l'échec sont supprimées. Cela se fait sans calcul de vraisemblance des actions et sans critique auxiliaire, deux composants qui compliquent souvent le RL appliqué aux politiques à diffusion ou à flow matching. Pour les intégrateurs, l'enjeu est la fragilité bien connue des VLA hors de la distribution des démonstrations (positions initiales variées, éclairage, textures). Si les résultats se confirment, le jumeau numérique servirait moins à générer des démonstrations qu'à cartographier les zones de rupture, ce qui réduirait le besoin de collecte réelle coûteuse. Les résultats restent toutefois ceux d'un préprint, sans comparaison indépendante, et leur portée dépend du nombre de tâches, de la fidélité du jumeau numérique et de l'écart sim-to-real réellement couvert. Ce travail s'inscrit dans la montée du post-entraînement des VLA après le SFT, où le RL en ligne et le co-entraînement simulation-réel sont devenus les pistes dominantes pour dépasser le plafond de l'imitation. Les modèles à flux ou à diffusion, comme la famille Pi-0 ou GR00T, rendent cette adaptation plus délicate, car leurs vraisemblances d'action sont difficiles à calculer, d'où l'intérêt d'une approche qui les évite. DLS se positionne face aux méthodes de RL en ligne qui récompensent uniquement le succès final, avec un signal de progression plus dense. Les prochaines étapes à surveiller sont la publication du code et des chiffres détaillés, le test sur des modèles de base variés et la validation sur des tâches plus longues ou plus contraintes en précision, qui diront si la cartographie des frontières d'échec passe à l'échelle industrielle.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source