RecherchearXiv cs.RO 13 août 2026

Signaux précoces de défaillance d'OpenVLA face aux changements de distribution visuelle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (2606.29699v1, juin 2026) une étude testant si les activations internes du modèle vision-langage-action OpenVLA contiennent des signaux exploitables pour prédire ses échecs avant qu'ils ne surviennent. Le protocole s'appuie sur le benchmark de manipulation LIBERO : la politique reste figée, les activations sont enregistrées pendant l'exécution, puis des sondes légères sont entraînées après coup sur ces traces. Le principal test de stress est l'occlusion visuelle, qui fait chuter le taux de réussite d'OpenVLA de 57% à 17% sur 100 épisodes par condition. Dans ce contexte dégradé, une sonde logistique appliquée à la couche 16 du réseau atteint une AUROC de 0,972 et une AUPRC de 0,352 pour anticiper un échec dans un horizon de 15 pas de temps, surpassant à la fois une baseline de différence de moyennes et une baseline fondée sur le désaccord entre actions prédites. Un balayage des couches révèle une décodabilité inégale selon la profondeur du réseau : la couche 16 domine, la couche 8 reste informative, la couche 10 est plus faible. Testé sans réentraînement sur d'autres perturbations, le moniteur ne détecte aucun échec sous simple décalage de couleur, un contrôle jugé bénin plutôt qu'un véritable test, mais reste au-dessus du hasard face au jitter de caméra, qui lui provoque de vrais échecs.

Ce travail répond à une préoccupation croissante du secteur robotique : à mesure que les modèles vision-langage-action comme Pi-0, GR00T N2 ou Helix de Figure passent du laboratoire au déploiement, leurs modes de défaillance sous changement de distribution visuelle restent largement opaques, et les intégrateurs manquent d'outils pour détecter un échec imminent avant qu'il ne se traduise en collision ou en objet lâché. Démontrer qu'une simple sonde linéaire plaquée sur les activations internes d'un modèle déjà entraîné peut anticiper l'échec avec une AUROC proche de 0,97 ouvre une voie peu coûteuse vers des systèmes de supervision en temps réel, sans toucher à la politique elle-même ni disposer d'un modèle de récompense dédié. C'est un signal utile pour les équipes de sécurité et de fiabilité travaillant sur des humanoïdes ou bras manipulateurs pilotés par VLA, davantage que pour la course à la performance brute des modèles.

OpenVLA est un modèle vision-langage-action ouvert, pensé comme référence reproductible face aux piles propriétaires du secteur, dans un paysage où Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, Figure avec Helix et Tesla avec Optimus développent chacun leurs architectures VLA fermées pour piloter humanoïdes et bras industriels. Les auteurs positionnent explicitement leur contribution comme limitée : l'étude établit une corrélation entre structure interne et échec imminent, sans démontrer de mécanisme causal, sans tester la généralisation à des tâches absentes de l'entraînement, et sans livrer de système de récupération déployable. Elle trace néanmoins une piste de recherche sur l'interprétabilité appliquée à la robotique, où comprendre ce qu'un modèle « sait » en interne pourrait devenir aussi stratégique qu'améliorer son taux de réussite brut.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 OpenVLA / RT-X

À lire aussi

1arXiv cs.RO

VLA-Scope : prédire les échecs des modèles vision-langage-action face aux changements de distribution

Un article publie sur arXiv (2609.21246v1) présente VLA-Scope, un framework en deux étapes qui prédit les échecs d'exécution des modèles vision-langage-action (VLA) quand les entrées s'écartent de la distribution d'entrainement, ou OOD. La première étape détecte les entrées OOD et classe leur type de décalage a partir de représentations poolees d'image et de texte; la seconde combine cette catégorie, le préfixe d'actions déjà jouées et la progression de la tache dans une régression logistique qui réactualisé le risque d'échec en continu. Teste avec OpenVLA sur dix taches du benchmark LIBERO-Spatial en validation croisée leave-one-group-out, le système atteint un ROC-AUC de 0,9454 pour la détection OOD et 91% de précision pour la classification des décalages. Sur les 1 400 exécutions OOD évaluées, le prédicteur d'échec obtient un ROC-AUC de 0,8497 après 60 actions, contre 0,7906 sans les indicateurs de progression, devançant les références ActProbe et SAFE-MLP. L'enjeu pour l'industrie tient au constat de départ: un modèle VLA peut réussir même en conditions OOD, donc détecter un simple écart de distribution ne suffit pas a anticiper un échec, il faut aussi suivre le déroulement de l'exécution. Pour les intégrateurs déployant des politiques VLA sur des robots réels, confrontes en continu a des variations d'éclairage ou de pose d'objets, un signal de risque qui s'affine action après action ouvre la voie a des mécanismes de secours (arrêt, reprise humaine) sans capteur ni reentrainement supplémentaires. Le travail reste valide en simulation, sur un seul benchmark et un seul modèle: une preuve de concept, pas un outil de production. OpenVLA, le modèle teste, appartient a la famille des politiques VLA open source qui côtoient des systèmes propriétaires comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, tous confrontes au même problème de fiabilité hors distribution. VLA-Scope se compare a deux méthodes existantes, ActProbe et SAFE-MLP, qu'il surpasse sur les métriques rapportées. L'article, classe comme nouvelle soumission sur arXiv sans auteurs ni calendrier précises, appelle logiquement une validation sur des taches plus variées, d'autres architectures et des robots physiques plutôt que des environnements simules.

RecherchePaper

1 source

2arXiv cs.RO

ST-WAM : un modèle sémantique-temporel monde-action pour une manipulation robuste face aux changements de distribution visuelle

Optimiser des robots pour de nouveaux environnements visuels reste un point faible connu des modèles VLA (vision-langage-action). Une équipe de recherche publie ST-WAM (Semantic-Temporal World Action Model), une architecture qui s'attaque au phénomène qu'elle nomme "Training-Distribution Hallucination" : lorsqu'un World Action Model reçoit une scène visuellement décalée par rapport à ses données d'entraînement, il a tendance à halluciner du contenu appris plutôt qu'à rester fidèle à ce qu'il observe réellement. Les chercheurs montrent, via une analyse de triplets d'images, que les features DINOv3 restent nettement plus stables face à ces variations visuelles que les latents Wan-VAE, tout en préservant mieux les distinctions d'état de la tâche. ST-WAM combine les deux : DINOv3 sert de représentation sémantique partagée pour la prédiction du futur et la récupération d'historique, tandis que le VAE conserve la dynamique fine. Deux composants portent l'architecture, les Dual-Space Future Experts (DSFE), qui prédisent conjointement latents VAE et features DINO, et le Current-Anchored Intent Retrieval (CAIR), qui récupère les indices pertinents dans l'historique DINO récent selon le contexte visuel-langage courant. Le modèle s'entraîne de bout en bout sans pré-entraînement embodied supplémentaire ni annotations spécifiques, et n'a pas besoin de générer explicitement le futur à l'inférence. Les chiffres sont l'argument central : 98,7% sur LIBERO et 92,8% sur RoboTwin 2.0, mais surtout un gain de 21,3 points sur LIBERO-Plus en zero-shot par rapport à Fast-WAM, et un taux de succès en conditions réelles sous décalage visuel qui plus que double, passant de 25,8% à 61,5%. Pour l'industrie, c'est un signal important : la robustesse face aux changements d'éclairage, de fond ou d'agencement de scène reste l'un des principaux obstacles entre les démonstrations en laboratoire et le déploiement réel, et ce travail suggère que découpler la sémantique de la dynamique pixel par pixel est une piste concrète pour réduire cet écart. Un doublement du taux de succès en conditions de shift visuel réel est un résultat rare dans la littérature récente sur les VLA, où la plupart des gains annoncés restent cantonnés aux benchmarks simulés. Les World Action Models s'inscrivent dans la lignée des approches type GR00T N2 ou Pi-0, qui cherchent à unifier prédiction du monde et génération d'action plutôt que de traiter la perception et le contrôle séparément. Le talon d'Achille identifié ici, la supervision par génération pixel pure qui mélange contenu utile à la tâche et contenu visuel non pertinent, est un problème structurel partagé par la plupart des WAM actuels, y compris Fast-WAM, utilisé comme référence de comparaison dans l'étude. En s'appuyant sur DINOv3, un encodeur de features déjà reconnu pour sa robustesse aux variations visuelles, les auteurs proposent une piste d'amélioration incrémentale plutôt qu'une rupture architecturale. Les prochaines étapes attendues pour ce type de travaux sont une validation sur des plateformes robotiques plus variées et une évaluation face à des shifts visuels encore plus prononcés que ceux testés dans LIBERO-Plus.

RechercheActu

1 source

3arXiv cs.RO

DiSA-IQL : apprentissage par renforcement hors ligne pour un contrôle robuste des robots souples face aux changements de distribution

Les robots serpents mous, capables de se faufiler et de se plier dans des environnements complexes grâce à leur structure flexible, restent difficiles à piloter car leur dynamique est fortement non linéaire et échappe aux modèles simplifiés utilisés par les contrôleurs classiques ou bio-inspirés. Une équipe de recherche propose DiSA-IQL (Distribution-Shift-Aware Implicit Q-Learning), une extension de l'algorithme d'apprentissage par renforcement hors ligne IQL, décrite dans une version révisée d'un article publié sur arXiv (identifiant 2510.00358v2). La méthode ajoute une pénalité sur les paires état-action jugées peu fiables afin de limiter la dégradation de performance causée par le décalage de distribution, un problème classique de l'apprentissage hors ligne où l'agent doit généraliser à partir d'un jeu de données figé sans pouvoir interagir en temps réel avec l'environnement. Les auteurs testent DiSA-IQL sur des tâches d'atteinte d'objectif, en distribution et hors distribution, uniquement en simulation, et rapportent des taux de réussite supérieurs, des trajectoires plus lisses et une robustesse accrue par rapport à trois références : le clonage comportemental (BC), Conservative Q-Learning (CQL) et l'IQL standard. L'enjeu dépasse le seul cas des robots serpents. L'apprentissage en ligne sur du matériel réel est coûteux et risqué pour des structures souples fragiles, ce qui pousse la recherche vers des méthodes hors ligne capables d'exploiter des jeux de données pré-collectés sans dégrader leurs performances face à des situations inédites. Si les résultats se confirment au-delà de la simulation, ils renforceraient la viabilité de pipelines d'apprentissage hors ligne pour des classes de robots à dynamique difficile à modéliser, un enjeu direct pour les intégrateurs qui cherchent à déployer des systèmes souples sans multiplier les essais physiques coûteux. Le travail s'inscrit dans la lignée directe d'IQL et de CQL, deux méthodes de référence en RL hors ligne conservateur, que les auteurs utilisent comme bases de comparaison plutôt que comme simples antécédents théoriques. Il reste à ce stade purement académique et simulé : aucune validation sur robot physique n'est rapportée, et l'article ne mentionne ni partenaire industriel ni calendrier de transfert vers du matériel réel.

RecherchePaper

1 source

4arXiv cs.RO

PrefPI : orienter un robot vers des comportements hors distribution grâce aux préférences

Des chercheurs publient PrefPI (Preference-Guided Policy Iteration), un cadre itératif qui oriente des politiques robotiques génératives pré-entraînées à partir de simples préférences relatives entre trajectoires que la politique produit elle-même. Le principe consiste à traiter l'apprentissage par préférences comme de la modélisation générative conditionnelle: les trajectoires préférées définissent une distribution conditionnelle, dont le rapport de densité avec la distribution comportementale plus large fournit un signal de préférence implicite, amplifié par le classifier-free guidance (CFG). L'étape est répétée en boucle, ce qui donne une forme d'itération de politique guidée par les préférences. Les tests couvrent des diffusion policies et le VLA à flow matching PI0.5, en simulation comme sur matériel réel. Résultat phare: la hauteur de transport d'un objet passe de 10,7 cm à 19,8 cm sur robot physique, avec seulement 150 trajectoires annotées par préférence. Il s'agit d'un preprint arXiv (v1), non évalué par les pairs, et l'abstract ne détaille ni la tâche, ni le robot, ni le nombre d'itérations ou d'essais. L'enjeu est de sortir du simple « affûtage » de modes déjà présents dans la politique, qui limite la plupart des méthodes de préférences existantes. Ici, les auteurs visent des comportements rarement, voire jamais observés sous la politique initiale, par exemple porter un objet plus haut que ce que les démonstrations couvraient. Pour un intégrateur, c'est un levier concret: adapter un VLA générique à une contrainte de site (hauteur de dépose, trajectoire d'évitement, style de manipulation) sans collecter de nouvelles téléopérations, avec un retour humain qui se limite à comparer deux séquences. Le coût d'annotation, 150 comparaisons, reste modeste face à la téléopération. Deux réserves s'imposent: le gain de 9 cm est mesuré sur une métrique unique, et rien n'indique la robustesse, le taux de réussite ou la dégradation sur les tâches initiales après plusieurs itérations. Le travail s'inscrit dans la montée en puissance des VLA open source, dont PI0.5 de Physical Intelligence est devenu une base de référence, et dans la recherche d'alternatives à l'apprentissage par renforcement, coûteux et risqué sur robot réel, pour affiner ces modèles après pré-entraînement. Il se positionne face aux méthodes de type RLHF/DPO appliquées à la robotique et aux approches de RL résiduel ou de filtrage de trajectoires, qui restent confinées au support initial de la politique. Les suites à surveiller: validation sur des tâches plus variées et de longue durée, publication du code, et test sur d'autres VLA comme GR00T ou Helix. Aucun pilote industriel n'est annoncé à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source