RecherchearXiv cs.RO 15 septembre 2026

Au-delà des tests à axe unique : évaluation croisée de la robustesse combinée des politiques vision-langage-action

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente LIBERO-CTRL, un benchmark en six axes conçu pour tester la robustesse des politiques vision-langage-action (VLA) face à des perturbations combinées plutôt qu'isolées, selon un article publié sur arXiv le 15 septembre 2026 (arXiv:2609.15940v1). Le protocole apparie, pour chaque état initial, des essais à perturbation unique avec un essai équivalent soumis simultanément à plusieurs perturbations, à trois niveaux de sévérité. L'évaluation porte sur six politiques VLA et met en évidence deux phénomènes que les taux de réussite agrégés ne permettent pas de distinguer : des échecs émergents, où toutes les variantes à perturbation unique réussissent mais la version combinée échoue, et des réussites compensées, où au moins une variante à perturbation unique échoue mais la version combinée réussit. Ces deux effets vont dans des directions opposées et peuvent s'annuler statistiquement dans les moyennes, alors même que jusqu'à 29,0% des états initiaux appariés changent de résultat, ce taux montant à 34,5% dans la condition la plus affectée.

Cette étude touche un point sensible pour l'industrie robotique : elle démontre que les scores de robustesse agrégés, largement utilisés pour comparer les politiques VLA entre elles, peuvent masquer des écarts de comportement substantiels dès que plusieurs perturbations surviennent en même temps, ce qui est précisément la situation d'un déploiement réel en usine ou en entrepôt. Autrement dit, un modèle jugé robuste sur des tests à perturbation unique peut échouer de façon imprévisible dès que deux conditions défavorables se combinent, sans que cela transparaisse dans les benchmarks classiques. Pour les intégrateurs et décideurs B2B qui évaluent des politiques génératives pour du pick-and-place ou de la manipulation en environnement non contrôlé, ce résultat invite à exiger des évaluations appariées par instance plutôt que des moyennes globales avant de valider un déploiement, et tempère l'idée que les benchmarks actuels suffisent à garantir une robustesse compositionnelle.

Le travail s'inscrit dans la lignée des efforts de la communauté robotique pour évaluer les politiques VLA au-delà des suites de test standard comme LIBERO, habituellement utilisées pour mesurer la sensibilité à des décalages de distribution pris un par un (changement d'éclairage, de position d'objet, de texture, etc.). Les auteurs soulignent que les taux de transition entre échec et réussite restent stables lors de réévaluations indépendantes des politiques stochastiques, ce qui exclut un simple artefact de bruit expérimental. L'article ne précise pas les politiques testées nommément dans le résumé ni un calendrier de suivi, mais son apport principal est méthodologique : il fournit un cadre reproductible pour quantifier la robustesse composée, appelé à être repris par les équipes évaluant des modèles VLA en conditions de déploiement multi-perturbations.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Vue-croisée d'action cohérente pour des politiques vision-langage-action robustes aux caméras

Des chercheurs publient sur arXiv (2608.06965v1) une méthode pour rendre les politiques vision-langage-action (VLA) robustes au déplacement de la caméra de scène, défaut fréquent alors même que tâche et objets restent identiques. L'approche n'utilise que l'image RGB, le langage et la proprioception, sans extrinsèques ni profondeur, la caméra au poignet étant masquée pour éviter tout raccourci visuel. Pour les VLA à flow matching, elle régularise le champ de vitesse d'action via une perte cross-vue appliquée à des paires de rendus MuJoCo (vue nominale/perturbée) issues des mêmes démonstrations LIBERO. Sur le benchmark LIBERO-Plus, elle atteint 87,2% de réussite (4797 rollouts par graine, sur 3 graines d'entraînement), contre 79,8% pour un flow-matching seul sur les mêmes paires et seulement 25,8% quand les paires sont mélangées au hasard, tout en préservant 95% de réussite en caméra nominale. Sur robot réel, sur trois tâches de manipulation, le taux de réussite en caméra inédite passe de 53,3% à 74,4%. Le résultat s'attaque à un vrai point de friction pour les intégrateurs: reconfigurer ou dupliquer une cellule robotique oblige aujourd'hui à recollecter des données, faute de quoi la performance chute dès que l'angle de caméra change. Sans capteur supplémentaire ni calibration caméra, la méthode améliore la robustesse de près de 20 points sur robot réel, ce qui suggère que la généralisation aux changements de point de vue des VLA dépend autant de l'algorithme d'entraînement que du volume de données, une nuance qui tranche avec les discours misant tout sur l'échelle des données. Le taux plafonne toutefois à 74% en caméra inédite, sur seulement trente essais réels au total, ce qui limite la portée des conclusions hors laboratoire. Le travail s'appuie sur LIBERO-Plus, extension du benchmark LIBERO conçue pour stresser les politiques d'imitation face aux perturbations de caméra, et sur le flow matching, technique de génération d'action utilisée par plusieurs architectures VLA récentes. Il se positionne implicitement contre la pratique courante du fine-tuning multi-caméra, moins performante de 12,5 points que la perte cross-vue proposée. Publié comme préprint non encore évalué par les pairs, sans mention de déploiement pilote ni de partenaire industriel, l'article laisse en suspens une validation à plus grande échelle, sur davantage de tâches et de plateformes robotiques réelles.

RechercheOpinion

1 source

2arXiv cs.RO

LIBERO-PRO : vers une évaluation robuste et équitable des modèles vision-langage-action (VLA) au-delà de la mémorisation

Des chercheurs ont publié LIBERO-PRO, une extension critique du benchmark LIBERO largement utilisé pour évaluer les modèles Vision-Language-Action (VLA). Disponible sur GitHub (Zxy-MLlab/LIBERO-PRO), le travail, présenté sous forme d'arXiv preprint (arXiv:2510.03827v2), soumet les VLA à des perturbations systématiques selon quatre axes : substitution des objets manipulés, variation des états initiaux, modification des instructions de tâche, et changement d'environnement. Résultat sans appel : les modèles actuels qui atteignent plus de 90 % de succès sur l'évaluation LIBERO standard s'effondrent à 0,0 % dans le cadre généralisé de LIBERO-PRO. Concrètement, un modèle continue d'exécuter une séquence de saisie même lorsque l'objet cible est remplacé par un objet sans rapport, et ses sorties restent inchangées face à des instructions corrompues ou composées de tokens aléatoires. Ce résultat est un signal d'alarme direct pour les équipes qui fondent leurs décisions de recherche ou de déploiement sur les classements LIBERO. Il démontre que les modèles VLA n'ont pas acquis de compréhension générale des tâches ni de perception réelle de l'environnement : ils mémorisent des séquences d'actions et des configurations spatiales vues à l'entraînement. Autrement dit, le gap sim-to-real et le problème de généralisation restent entiers, quelle que soit la performance affichée sur le benchmark. Pour les intégrateurs industriels ou les équipes robotique qui envisagent de déployer des politiques basées sur des VLA, cela signifie que les scores publiés ne sont pas des indicateurs fiables de robustesse opérationnelle. LIBERO, introduit pour standardiser l'évaluation des politiques manipulatrices en langage naturel, est devenu une référence de facto dans la communauté. Mais comme tout benchmark sur-exploité, il a progressivement favorisé l'overfitting plutôt que la généralisation. LIBERO-PRO s'inscrit dans une tendance plus large de remise en question des protocoles d'évaluation VLA, aux côtés d'initiatives comparables sur les benchmarks de navigation et de saisie. La prochaine étape logique serait l'adoption de LIBERO-PRO comme standard par les principaux groupes travaillant sur des modèles comme OpenVLA, Octo ou pi0 (Physical Intelligence), afin de permettre des comparaisons réellement équitables et de pousser le secteur vers des politiques robustes en conditions réelles.

RechercheOpinion

1 source

3arXiv cs.RO

SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.06926) SWAP, pour StepWise Action Policy Routing, un cadre qui compose dynamiquement plusieurs politiques Vision-Language-Action (VLA) pendant l'exécution d'une tâche de manipulation. Aujourd'hui, la plupart des systèmes reposent sur un seul modèle VLA du début à la fin d'un épisode. SWAP formule le routage comme un problème d'apprentissage par renforcement hors ligne : un « critique de routage » est entraîné à choisir, à chaque pas de décision et selon l'observation courante, la politique la plus adaptée. Le robot peut ainsi changer de politique en cours d'épisode. L'évaluation porte sur des tâches réelles de manipulation sur la plateforme DROID et sur des simulations LIBERO. Face à l'exécution d'une politique fixe et à des méthodes de routage de référence, les auteurs annoncent jusqu'à 33 points de succès supplémentaires en conditions réelles, et une réduction de 28,3 % du nombre de pas d'action des trajectoires réussies. L'enjeu dépasse la performance brute. Le travail s'attaque à une limite que les intégrateurs constatent déjà : aucun VLA n'est le meilleur partout, et les performances varient selon la phase de la tâche et l'environnement. Au lieu d'attendre un modèle généraliste unique, SWAP traite les VLA existants comme une boîte à outils orchestrable, sans réentraîner chacun d'eux. Pour un industriel, cela suggère une voie pragmatique : combiner des politiques spécialisées ou de fournisseurs différents, et ne payer que pour la politique utile à chaque étape. La baisse de la longueur des trajectoires laisse aussi entrevoir un gain de temps de cycle, mais il s'agit d'un nombre de pas d'action, pas d'une durée mesurée en atelier. Il faut aussi rester prudent sur les chiffres : le « jusqu'à 33 % » correspond au meilleur cas, et l'abstract ne précise ni le nombre de tâches ni la taille des échantillons, ni les politiques combinées. Ce résultat s'inscrit dans la course aux modèles fondation pour la manipulation, où des VLA comme Pi-0, GR00T ou Helix sont généralement présentés comme des systèmes autonomes. Le routage entre politiques prolonge les approches de mélange d'experts, mais à l'échelle de politiques complètes et de manière apprise hors ligne. DROID, jeu de données et plateforme de manipulation très utilisé, et LIBERO, banc d'essai en simulation, servent de référence commune, ce qui facilite la comparaison. Il s'agit d'une prépublication v1 non évaluée par les pairs, sans déploiement industriel annoncé. Les prochaines étapes à surveiller : la publication du code, la robustesse du critique face à des environnements inédits, et la latence ajoutée par le routage à chaque pas de décision.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Actions vision-langage sécurisées par Poisson pour la sécurité corporelle complète des politiques apprises

Une équipe de recherche en robotique a publié en septembre 2026 sur arXiv un article décrivant VLPSA (Vision-Language-Poisson-Safe Actions), un filtre de sécurité destiné aux politiques Vision-Language-Action (VLA) qui ne garantissent aujourd'hui aucune évitement de collision fiable, en particulier hors des distributions d'entraînement. Le système synthétise en ligne, à partir des données de perception, des fonctions de sécurité de Poisson (PSF), converties en fonction barrière de contrôle (CBF) appliquée via un filtre CBF-QP sur l'ensemble du corps du robot et sur tout objet saisi, traité comme une extension du dernier lien articulaire. Pour tenir le temps réel tout en gardant une résolution spatiale fine dans les zones critiques de la tâche, VLPSA combine deux résolutions de cette PSF grâce à des compositions booléennes de CBF. Testé sur le benchmark SafeLIBERO face à plusieurs méthodes de filtrage de sécurité existantes, VLPSA obtient le meilleur taux d'évitement de collision du lot: il fait passer ce taux de 23,1% pour la politique de base pi-0.5 à 91,2%, tout en dépassant le taux de réussite des tâches de cette même politique de base. Le système a aussi été déployé sur un bras robotique Franka FR3 dans des scènes encombrées avec obstacles dynamiques et interférence humaine. L'intérêt principal tient au fait que VLPSA agit comme une surcouche de sécurité sans nécessiter de réentraînement de la politique VLA sous-jacente, un point sensible pour les intégrateurs qui déploient des modèles génériques de manipulation dans des environnements industriels non contrôlés. Le résultat contredit l'hypothèse selon laquelle renforcer la sécurité dégraderait mécaniquement la performance de la tâche: ici, sécurité et taux de réussite progressent simultanément. Cela apporte une réponse concrète à un angle mort connu des modèles VLA génériques, souvent démontrés dans des environnements scénarisés mais fragiles face à des obstacles imprévus ou des humains dans la boucle. Le travail s'inscrit dans la lignée des recherches sur les politiques VLA génériques de manipulation, dont pi-0.5 sert ici de politique de référence, et dans le champ plus large des fonctions barrière de contrôle appliquées à la robotique de sécurité. Les auteurs comparent VLPSA à d'autres baselines de filtrage de sécurité sans les nommer précisément dans le résumé, et les prochaines étapes annoncées concernent l'extension des déploiements réels au-delà du Franka FR3 testé.

RecherchePaper

1 source