RecherchearXiv cs.RO 8 octobre 2026

Les modèles vision-langage-action (VLA) comprennent-ils les instructions ? Une étude d'interprétabilité mécaniste sur l'ancrage du langage

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une étude d'interprétabilité mécaniste, publiée sur arXiv (2610.10178), s'est demandé si les modèles Vision-Language-Action (VLA) utilisent réellement l'instruction textuelle pour générer leurs actions. Elle porte sur deux modèles de référence, π0.5 et GR00T N1.7. Les auteurs appliquent de l'activation patching et de l'attribution patching au flux résiduel des modules de génération d'actions. Ils corrompent les consignes de la base LIBERO selon cinq stratégies: remplacement par des synonymes, variation d'échelle sémantique, inversion directionnelle, substitution par un objet aléatoire et chaîne vide. Les deux modèles réagissent peu à une reformulation abstraite ou à la mention d'un objet inexistant. Ils réagissent fortement à une consigne vide et surtout au langage directionnel. Le siège de cette sensibilité diffère selon le modèle. Chez GR00T N1.7, elle se concentre dans les premières couches de cross-attention périodiques. Chez π0.5, elle est répartie entre les toutes premières couches et quelques couches plus tardives.

Ce résultat nuance l'idée que les VLA « comprennent » le langage. Une faible sensibilité aux synonymes pourrait être de la robustesse. Mais l'indifférence aux objets inexistants suggère que les modèles s'appuient largement sur des indices visuels et des corrélations de surface, plutôt que sur une vraie ancrage sémantique. Ces modèles n'ont pas de module de grounding explicite et dépendent des capacités de leur backbone vision-langage. Pour un intégrateur ou un responsable de déploiement, cela pose un risque concret: une consigne ambiguë, erronée ou sans rapport avec la scène peut ne pas être détectée, et le robot exécutera tout de même une tâche plausible. À l'inverse, la forte dépendance aux termes directionnels (gauche, droite, haut, bas) indique que ce sont les mots qui portent réellement l'information d'action. Les auteurs relèvent aussi que, pour GR00T N1.7, les perturbations directionnelles produisent certains des plus grands effets causaux alors que la géométrie interne des représentations change peu. Ce découplage n'apparaît pas nettement chez π0.5. Enfin, l'attribution patching, méthode d'approximation peu coûteuse, suit fidèlement l'activation patching pour GR00T N1.7 mais pas pour π0.5. Sa fiabilité dépend donc du modèle et ne peut pas être supposée.

Le contexte est celui d'une course aux modèles généralistes, où π0.5 (Physical Intelligence) et la série GR00T (NVIDIA) servent de références. Leur évaluation repose souvent sur des benchmarks comme LIBERO, dont les scènes, qui répètent des configurations proches, peuvent masquer une dépendance limitée au langage. Cette étude s'inscrit dans un courant de travaux d'audit qui testent la robustesse linguistique et visuelle avant tout déploiement réel. Il s'agit d'un travail de recherche en simulation, sans produit ni pilote associé. Les suites probables sont des protocoles d'évaluation plus exigeants, avec des consignes contradictoires, et des méthodes d'entraînement ou des architectures qui renforcent l'ancrage du langage.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

IMLE-VLA : génération d'actions en une seule étape pour les modèles vision-langage-action

Publié sur arXiv (2609.10915), IMLE-VLA remplace la tête d'action itérative des politiques vision-langage-action (VLA) par un générateur en une seule étape, entraîné via l'estimation conditionnelle du maximum de vraisemblance implicite (cIMLE). Appliqué au modèle π0.5, il fait passer la fréquence d'inférence de 15 Hz à 55 Hz, soit un facteur 3,67, et jusqu'à 11 fois le débit d'action. Sur le benchmark LIBERO, qui couvre 40 tâches, IMLE-VLA atteint 98,0% de réussite moyenne, le meilleur score et la plus haute fréquence d'inférence parmi les méthodes comparées. Sous les perturbations du test LIBERO-plus, il conserve la robustesse de π0.5 alors que les autres approches se dégradent nettement. Sur un bras Franka Emika Panda, quatre tâches en conditions réelles montrent un jerk réduit de 2,2 à 3,0 fois et un temps d'inférence par épisode divisé par 3,9 à 6,6 par rapport à π0.5 seul. Le problème visé est bien identifié dans le secteur: les têtes d'action entraînées par diffusion ou flow matching, comme celle de π0.5, exigent un échantillonnage multi-étapes (jusqu'à 10 pas d'Euler), ce qui produit un mouvement saccadé du robot et ralentit l'exécution des tâches. Pour les intégrateurs et équipes robotique qui déploient des bras ou des humanoïdes pilotés par des modèles de fondation, la latence d'inférence conditionne directement la fluidité et la sécurité du contrôle en temps réel. En montrant qu'un générateur à étape unique peut couvrir la multimodalité de l'action sans tomber dans l'effondrement de mode des têtes de régression classiques, IMLE-VLA remet en cause l'idée reçue selon laquelle l'échantillonnage itératif serait indispensable pour préserver la généralisation des politiques VLA à grande échelle. Ce travail s'inscrit dans la lignée des VLA construits sur des backbones vision-langage préentraînés, avec π0.5 comme base de comparaison. Il s'agit d'une contribution académique et non d'un produit commercial: code et vidéos de démonstration sont publiés sur le site du projet à des fins de reproductibilité, sans annonce de déploiement industriel ni de pilote client. Présentée comme générique, la méthode cIMLE pourrait en principe s'appliquer à d'autres têtes d'action par diffusion ou flow matching utilisées ailleurs dans le secteur, ce qui ouvre la voie à des tests sur d'autres politiques VLA et d'autres plateformes robotiques, au-delà du seul bras Franka Emika Panda utilisé pour cette validation.

RechercheActu

1 source

2arXiv cs.RO

Ce qui compte pour la modélisation du monde dans les modèles vision-langage-action (VLA)

Une équipe de chercheurs publie sur arXiv (2610.19825) une étude systématique visant à déterminer ce qui compte réellement lorsqu'on intègre un modèle du monde dans un modèle Vision-Langage-Action (VLA), c'est-à-dire une politique robotique qui convertit images et instructions textuelles en actions. Les auteurs classent les approches existantes en quatre paradigmes: Implicit Future Alignment, Explicit Future Query, MoT Future Expert (un expert dédié au futur, découplé de la politique, dans une architecture de type Mixture-of-Transformers) et External World Predictor. Chacun est réimplémenté dans un cadre unifié, puis évalué avec plusieurs représentations du monde et plusieurs architectures de politique. Les tests couvrent des scénarios in-domain, hors distribution (OOD), à long horizon, dynamiques, few-shot et en conditions réelles. Les résultats chiffrés détaillés figurent sur la page projet, que les auteurs accompagnent de vidéos de démonstration. Quatre conclusions se dégagent. L'efficacité d'une représentation du monde dépend du paradigme, mais les représentations sémantiques 2D apportent des gains robustes dans tous les cas. Aucun paradigme ne domine partout, même si le MoT Future Expert offre de bonnes performances globales, surtout en robustesse OOD. Le modèle du monde profite systématiquement aux politiques bâties sur des VLM standards, tandis que les conceptions découplées s'accordent mieux avec des VLA déjà pré-entraînés. Enfin, par rapport à des références limitées à la prédiction d'actions, le modèle du monde améliore les résultats dans plusieurs configurations, avec des gains notables sur les tâches longues et dynamiques. L'intérêt pour l'industrie tient à la clarification d'un champ où les publications comparaient des méthodes qui différaient à la fois par la représentation, le mode d'intégration et le backbone, ce qui rendait les attributions de gains peu fiables. Pour les équipes qui développent des VLA, le message est pragmatique: prédire des features sémantiques 2D du futur est un choix peu risqué, et une architecture découplée permet de greffer un modèle du monde sur un VLA existant sans tout réentraîner. Les gains sur les tâches longues et dynamiques correspondent précisément aux limites des politiques purement réactives en environnement industriel. Il faut toutefois rester prudent: il s'agit d'un banc d'essai académique, sans chiffres de déploiement ni de cadence, et la validation en conditions réelles reste vraisemblablement limitée en échelle. Ce travail s'inscrit dans la montée des modèles du monde dans la robotique fondationnelle, où des acteurs comme NVIDIA (GR00T), Physical Intelligence (Pi-0) ou Figure (Helix) cherchent à dépasser le simple mappage observation-action. Les choix d'architecture restent encore peu consensuels. La suite logique consiste à tester ces paradigmes à plus grande échelle, avec des VLA pré-entraînés sur de très grands corpus et sur des plateformes variées. Aucun calendrier de pilote n'est annoncé, s'agissant d'une contribution de recherche.

RecherchePaper

1 source

3arXiv cs.RO

Spa-Bench : un banc d'essai sur robot réel pour l'ancrage spatial des modèles vision-langage-action (VLA)

Spa-Bench, un benchmark sur robot réel publié sur arXiv (2610.12696), mesure la capacité des modèles vision-langage-action (VLA) à relier une description spatiale à un comportement physique adapté. Il couvre six tâches de table : état d'un objet, taille relative, description référentielle, placement relationnel, position ordinale et comptage. Les auteurs publient 4 092 épisodes collectés sur le bras SO-101, un bras open source à bas coût : 1 200 démonstrations téléopérées par des humains et 2 892 rollouts d'évaluation issus de cinq politiques VLA de pointe. Trois d'entre elles ont été évaluées intégralement. Leur taux de succès passe de 67,5-73,3 % sur les configurations spatiales vues à l'entraînement (ID) à 40,7-52,0 % sur les configurations hors distribution (OOD). Quatre conditions de diagnostic complètent le protocole. Elles testent l'exécution physique, la sensibilité à la formulation, les associations objet-tâche et la capacité à reconnaître qu'aucune action n'est requise. Le résultat clé tient à l'écart entre instruction spatiale et instruction directe. Lorsque la consigne nomme explicitement la cible, le succès remonte de 28,3 à 40,0 points de pourcentage. Les politiques savent donc souvent exécuter la manipulation demandée : le goulot d'étranglement est le raisonnement spatial, pas la dextérité. Pour les intégrateurs et les responsables d'ateliers, cela nuance les taux de succès agrégés habituellement cités. Ces chiffres mélangent changements d'objets, d'instructions et d'environnements, et masquent la fragilité sur des consignes comme « la deuxième boîte à gauche » ou « le plus petit objet ». Le protocole retire aussi deux explications faciles de l'échec, l'objet inconnu et le geste inconnu, puisque le support d'entraînement est conservé pour les objets, concepts et actions testés. Cela renforce la thèse d'un décalage entre la connaissance sémantique héritée du pré-entraînement vision-langage et son ancrage dans le monde physique. Ce travail s'inscrit dans la course aux VLA généralistes, où les modèles de type Pi-0, GR00T ou Helix sont surtout comparés sur des taux de réussite globaux. Spa-Bench propose une évaluation plus diagnostique, reproductible sur un matériel accessible, ce qui facilite son adoption par les laboratoires académiques et les équipes sans robots industriels. Les limites sont réelles : un seul bras, des tâches de table, un nombre restreint de politiques entièrement évaluées, et une publication en préprint sans relecture par les pairs. Le code, les vidéos et les données sont publiés sur le site du projet, ce qui devrait permettre à d'autres équipes de tester leurs propres modèles. La suite logique est l'intégration de ce type de tests spatiaux dans les évaluations standard des VLA, avant tout déploiement dans des environnements où l'ambiguïté des consignes est la norme.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Mémoire intégrée et compétences réutilisables : un cadre centré sur la mémoire pour les modèles vision-langage-action (VLA)

Des chercheurs proposent Optimus-R, un cadre de type VLA (Vision-Language-Action) centré sur la mémoire, qui traite l'adaptation d'un robot à une nouvelle tâche comme un réglage explicite d'une mémoire requête-compétence, plutôt que comme un réentraînement des paramètres du modèle. Le dispositif repose sur trois briques. Une interface de mémoire « en ligne » insère des tokens de mémoire apprenables dans le flux de préfixe du VLA, ce qui permet au backbone d'extraire des représentations de requête et de compétence liées au contrôle, dans son circuit natif de conditionnement de l'action. Une banque de mémoire requête-compétence externalise ensuite ces compétences : des prototypes de requêtes décident quoi récupérer, des valeurs de compétence précisent comment agir. Enfin, un mécanisme léger « Bridge-and-Adapt » aligne les requêtes et compétences du domaine cible sur l'espace mémoire existant, via un adaptateur et des mises à jour résiduelles. Les auteurs rapportent des expériences en adaptation intra-domaine, inter-domaines et en apprentissage continu. Leur conclusion est un apprentissage de compétences économe en données, avec un oubli catastrophique atténué. Le résumé ne fournit ni taux de réussite, ni nom de robot, ni taille de modèle, ni benchmark. Il s'agit d'un travail de recherche publié sur arXiv, sans produit ni déploiement associé. L'enjeu est très concret pour qui veut déployer des VLA en production. Aujourd'hui, adapter un modèle généraliste à un nouveau poste, une nouvelle pièce ou un nouvel effecteur passe le plus souvent par du fine-tuning. Celui-ci coûte du calcul et des démonstrations, et il peut dégrader les tâches déjà maîtrisées. Pour un intégrateur qui maintient plusieurs cellules, ce risque de régression oblige à revalider l'existant à chaque mise à jour. Déplacer l'apprentissage vers une mémoire externe, extensible avec peu de paramètres modifiés, irait vers une logique plus modulaire, où l'on ajoute une compétence sans toucher au reste. L'approche reste cependant à démontrer. Faute de chiffres dans le résumé, on ignore l'ampleur du gain, la nature des domaines testés (simulation ou matériel réel) et la façon dont la banque se comporte quand le nombre de compétences croît. L'écart entre résultats de laboratoire et exploitation industrielle reste donc entier. Ce travail s'inscrit dans un courant de recherche sur l'apprentissage continu pour les politiques robotiques et l'adaptation efficiente en paramètres, déjà exploré par des méthodes de type adaptateurs ou LoRA appliquées aux VLA. Il rejoint aussi l'intérêt croissant pour les mémoires externes et la récupération de compétences dans les modèles de fondation. Les acteurs industriels comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) travaillent sur des modèles généralistes, mais leurs méthodes d'adaptation propres ne sont pas détaillées publiquement dans ce cadre. La suite logique est la publication du code et des détails expérimentaux, puis une comparaison avec ces approches sur des benchmarks communs et sur robot réel. Tant que ces éléments manquent, Optimus-R relève d'une piste de recherche prometteuse et non d'une solution éprouvée.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source