RecherchearXiv cs.RO 30 septembre 2026

CoRe-VLA : préserver la coordination entre vues dans les modèles VLA lors de changements de caméra

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent CoRe-VLA (arXiv 2609.37150), un cadre logiciel « plug-and-play » qui vise à corriger l'une des fragilités les mieux documentées des modèles vision-langage-action (VLA) : la chute de performance quand la caméra externe change de position. Le système reconstruit un nuage de points de la scène, puis re-rend l'observation depuis le point de vue utilisé à l'entraînement du VLA. Deux briques complètent le dispositif. Render-to-Camera (R2C) Restoration réduit les dégradations visuelles introduites par le rendu. Execution-Trajectory-Conditioned Alignment (ETCA) limite le temps d'inactivité du robot et les conflits de mouvement pendant l'exécution asynchrone. Les tests portent sur 5 tâches sur robot réel, ainsi que sur les benchmarks LIBERO-100 et LIBERO-Plus. Le résultat le plus cité : le taux de réussite de PI0.5 passe de 13,3 % à 83,3 % pour un décalage de caméra de 1,6 m en environnement réel. Les auteurs annoncent des gains substantiels sur plusieurs VLA courants.

L'intérêt tient à la méthode autant qu'au chiffre. Les approches existantes exigent de collecter des observations appariées de la même scène sous plusieurs angles, puis de fine-tuner le VLA ou d'entraîner un module d'adaptation visuelle. CoRe-VLA n'exige ni nouvelles données multi-vues ni ré-entraînement, et peut se greffer sur des modèles déjà en place. Pour un intégrateur, c'est un point sensible : dans une cellule réelle, une caméra se déplace après une maintenance, un choc ou une reconfiguration de poste. La fragilité aux changements de caméra est donc un frein direct au déploiement fiable. L'analyse des auteurs est également instructive. Ils décrivent une « rupture de coordination inter-vues » : privé de vue globale exploitable, le robot s'appuie trop sur la caméra poignet et exécute les sous-tâches dans le mauvais ordre. Cela suggère que la robustesse des VLA dépend moins de la perception brute que de l'équilibre entre vues. Il faut toutefois rester prudent : il s'agit d'un preprint, sans relecture par les pairs, sur seulement 5 tâches réelles, et le chiffre phare correspond à un scénario précis.

Ce travail s'inscrit dans le constat, répété par plusieurs études, que les VLA, devenus le paradigme dominant en intelligence incarnée, sont sensibles aux perturbations de point de vue. LIBERO-Plus a justement été conçu pour mesurer ce type de robustesse. Les solutions concurrentes reposent sur des données supplémentaires ou du fine-tuning, avec les coûts que cela implique. Le cadre reste à éprouver : la reconstruction de nuage de points ajoute une chaîne de calcul, et sa latence, son comportement en scène dynamique ou très encombrée et sa portabilité vers d'autres VLA devront être vérifiés. Le texte ne mentionne ni code publié, ni pilote industriel, ni calendrier de déploiement.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

WARP-VLA : adaptation de la caméra de poignet pour une exécution robuste aux changements de point de vue dans les modèles vision-langage-action

WARP-VLA, un modèle décrit dans un preprint arXiv (2610.11508v1), s'attaque à une faiblesse connue des modèles Vision-Language-Action (VLA) pour la manipulation robotique : leur sensibilité à la configuration des caméras. Les auteurs ciblent en particulier la caméra montée au poignet, dont le point de vue se déplace avec le robot. Un léger écart de fixation suffit alors à modifier les indices géométriques fins dont dépend la politique. Leur solution repose sur une architecture Mixture-of-Experts (MoE) : chaque expert apprend une transformation de features propre à un type de vue, et un routeur les combine à partir d'informations de vue implicites. La politique peut ainsi être déployée sans fournir les paramètres extrinsèques de la caméra en entrée. Sur le benchmark LIBERO, le taux de succès moyen de pi-0.5 passe de 39,2 % à 78,3 % sous perturbations de la vue poignet, soit un doublement. Des essais sur robot réel indiquent que l'adaptation au niveau des features, apprise en simulation, se transfère à plusieurs configurations de déploiement. Le benchmark de robustesse aux points de vue poignet et une implémentation « plug-and-play » sont publiés. Ce résultat touche un point bloquant du passage des VLA du laboratoire à l'atelier. Reproduire exactement la pose de caméra utilisée à l'entraînement est quasi impossible d'un site à l'autre. Les supports se desserrent, les intégrateurs choisissent des fixations différentes et les générations de robots varient. Une politique qui perd la moitié de ses performances pour un déplacement modéré du capteur oblige à recalibrer ou à réentraîner à chaque déploiement, ce qui pèse directement sur les coûts d'intégration. Le gain mesuré sur pi-0.5 montre que cette fragilité vient en bonne part de la représentation visuelle, et qu'on peut la corriger sans exiger les extrinsèques en entrée. Il faut toutefois rester prudent : les chiffres viennent surtout de LIBERO, un benchmark simulé aux tâches relativement standardisées. Le résumé ne chiffre pas la performance sur robot réel, ni le nombre de plateformes, de tâches ou d'essais. Le taux de 78,3 % reste aussi nettement inférieur à ce qu'exigerait une exploitation industrielle, et le texte fourni ne dit pas quel est le niveau de référence sans perturbation. Le travail s'inscrit dans une série de recherches sur la robustesse des VLA aux changements de point de vue, après l'essor de modèles généralistes comme pi-0 et pi-0.5 de Physical Intelligence. Ces modèles sont entraînés sur des données massives, mais avec des configurations de caméras peu variées. Les approches concurrentes passent par l'augmentation de données multi-vues, la randomisation de domaine ou l'injection explicite de la géométrie de caméra. WARP-VLA évite l'entrée extrinsèque et mise sur un routage implicite, ce qui simplifie le déploiement. Le code et le benchmark publics permettront à d'autres équipes de comparer leurs méthodes, une étape utile avant toute validation en conditions de production. Aucune annonce de pilote industriel n'accompagne ce preprint, qui n'a pas encore été évalué par des pairs.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

FoveaVLA : des actions de fovéation remplacent la caméra de poignet dans les modèles VLA

Des chercheurs ont publié sur arXiv FoveaVLA, un modèle vision-langage-action (VLA) qui supprime la caméra poignet et la remplace par des actions de « fovéation » apprises. À chaque requête, la politique prédit, en plus du segment d'actions (action chunk), la région d'interaction à observer lors de la requête suivante. Elle reçoit ensuite des recadrages de cette zone, extraits des images en résolution d'origine, en complément des vues complètes. Le modèle est construit sur π0.5 de Physical Intelligence, en deux configurations : Single, avec une caméra stéréo externe, et Dual, avec deux. Les deux utilisent des entrées RGB et profondeur, en vue complète et fovéale. Le post-entraînement s'appuie sur DROID, avec les annotations d'interaction RoboInter. Sur quatre suites de tâches réelles, Single atteint 70,8 % de réussite avec une seule vue RGB-D externe et Dual 77,1 %, contre 52,1 % pour π0.5 équipé de sa caméra poignet. Les résultats sont équivalents sur le pick-and-place simple et meilleurs avec des objets distracteurs, la manipulation de tissu et les objets éloignés. Les caméras externes voient toute la scène, mais leurs images sont réduites avant d'entrer dans le VLA, ce qui fait perdre le détail utile à la manipulation fine. Ce travail suggère que le goulot d'étranglement vient autant du budget de résolution que de la taille du modèle. Il suggère aussi qu'un choix logiciel peut remplacer un capteur monté sur l'effecteur, avec moins de câblage, de calibration et d'occultations. Il faut toutefois lire ces chiffres avec prudence. Il s'agit d'un preprint dont le résumé ne donne ni le nombre d'essais, ni les intervalles de confiance, ni la latence ajoutée par la prédiction de régions. La comparaison porte sur un seul modèle de référence, et FoveaVLA bénéficie en plus d'une profondeur stéréo que la base de comparaison n'utilise pas forcément. Aucun déploiement industriel n'est évoqué. La caméra poignet est un standard des jeux de données et des plateformes de téléopération comme DROID, et π0.5 prolonge la lignée π0 de Physical Intelligence. Les alternatives courantes consistent à augmenter la résolution ou le nombre de tokens visuels, au prix d'un calcul plus lourd. La fovéation, inspirée de la vision humaine, déplace plutôt l'attention. Les prochaines étapes à surveiller sont la validation sur d'autres robots que ceux de DROID, sur des tâches longues et sous contraintes de temps réel, ainsi qu'une éventuelle publication du code et des poids.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Mémoire spatiale pour la manipulation hors champ de vision dans les modèles VLA

Une équipe de chercheurs a publié en mai 2026 (arXiv:2605.22283) SOMA, un framework de mémoire spatiale conçu pour résoudre un angle mort structurel des modèles Vision-Language-Action (VLA) : leur incapacité à manipuler des objets hors du champ visuel. Le système s'appuie sur une caméra de tête mobile pour acquérir des observations multi-vues, qu'il agrège en une représentation spatiale et sémantique persistante. SOMA repose sur trois modules : une construction de mémoire spatiale par balayage angulaire, un raffinement dynamique pour maintenir la cohérence globale au fil du temps, et une récupération contextuelle qui active les indices spatiaux pertinents à l'instruction en cours d'exécution. Les chercheurs l'ont évalué sur cinq tâches réelles de manipulation hors champ, incluant des scénarios multi-étapes et à deux bras où les objets cibles sont initialement invisibles. Les résultats montrent une amélioration du taux de succès, une localisation plus rapide des cibles, moins de recherche de point de vue, et un comportement proche du "one-shot grasping" en conditions d'observabilité partielle. Des expériences complémentaires sur les benchmarks RoboCasa GR1 et SimplerEnv confirment l'efficacité du design mémoire en contexte pleinement observable. Ce travail s'attaque à un verrou souvent ignoré dans la littérature VLA : l'hypothèse implicite que tous les objets pertinents sont dans le champ de vision au moment de l'action. Cette hypothèse rend les systèmes actuels fragiles dès qu'on sort des configurations de démonstration. Le fait que SOMA induise des comportements qualitativement différents, et non de simples gains de score, est notable : une localisation en quasi-une-passe sous observabilité partielle est un résultat concret pour tout intégrateur robotique travaillant en environnement non structuré. Cela suggère que la mémoire spatiale persistante peut s'ajouter comme couche modulaire à un VLA existant, sans refonte complète de l'architecture, ce qui abaisse le seuil d'adoption. Les VLAs ont émergé comme approche dominante en robotique de manipulation depuis fin 2023, portés par Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, et OpenVLA issu de Stanford et Berkeley. Ces modèles héritent de l'architecture vision-langage mais restent fondamentalement réactifs : ils traitent un flux visuel instantané sans mémoire de scène. Des travaux parallèles sur la mémoire épisodique existent en navigation mobile (méthodes SLAM-like, NeRF tactique), mais leur intégration dans des pipelines VLA de manipulation reste peu explorée. SOMA comble ce gap sur une plateforme à bras réel. Le code n'est pas encore disponible au moment de la publication, ce qui limite la reproductibilité immédiate ; son déploiement sur d'autres plateformes humanoïdes, au-delà de GR1, constituera l'étape de validation industrielle clé.

RechercheOpinion

1 source

4arXiv cs.RO

Cohérence sélective entre points de vue pour les modèles d'action du monde, sans information caméra au test

Des chercheurs publient un article arXiv (2608.21402v1) consacré aux modèles monde-action (World Action Models, WAM), ces architectures qui débruitent conjointement les futures images vidéo et les actions du robot à partir d'un même signal prédictif. Le papier pose une question précise : lors de l'entraînement avec des paires d'images de même état capturées sous des points de vue caméra différents, sur quelles sorties faut-il imposer une contrainte de cohérence entre vues ? Les auteurs montrent que la cible de débruitage d'un WAM mélange des coordonnées covariantes au point de vue (la scène future prédite) et des coordonnées invariantes (le segment d'actions, la proprioception future, la valeur). Appliquer une cohérence sur le bloc covariant s'avère mathématiquement néfaste : elle réduit le contenu spécifique à la vue à une fraction 1/(1+4λ) de sa valeur réelle, un effet vérifié expérimentalement. Leur méthode, la cohérence croisée sélective (SCVC), ne contraint que le bloc invariant, sans nécessiter d'étiquettes caméra, de paramètres extrinsèques, de profondeur ou de synthèse de vue, ni à l'entraînement ni au déploiement. Sur le protocole d'évaluation LIBERO-Plus, avec des points de vue orbitaux tenus à l'écart de l'enveloppe d'entraînement, SCVC améliore le taux de succès en boucle fermée de 12,2 points par rapport à un contrôle apparié (intervalle de confiance à 95 % [7,4 ; 17,0]), et de 15,5 points sur une seconde graine aléatoire indépendante, un gain répliqué sur deux autres axes caméra. Cette avancée cible un point faible connu des modèles vision-langage-action déployés en usine ou en environnement réel : la sensibilité au positionnement exact de la caméra, qui oblige souvent à recalibrer ou réentraîner lorsqu'un intégrateur change de configuration matérielle. En démontrant qu'un simple choix de coordonnées de perte peut faire la différence entre un gain réel d'extrapolation et une simple mémorisation des vues d'entraînement, l'étude questionne aussi la fiabilité de chiffres de robustesse déjà publiés par d'autres équipes, en révélant qu'ils sont souvent biaisés par la stabilité de pose des caméras poignet plutôt que par une réelle généralisation du modèle. Le travail s'inscrit dans la lignée des modèles de fondation robotiques combinant prédiction vidéo et politique d'action, une famille en expansion rapide où la robustesse au changement de point de vue reste un angle mort récurrent entre démonstrations en laboratoire et déploiement terrain. En isolant l'effet de la cohérence croisée de celui de la simple exposition à des paires de vues via un contrôle apparié, et en séparant un plafond intra-distribution d'une véritable extrapolation vers des vues inédites, les auteurs proposent un protocole d'évaluation, le carve-and-hold-out, potentiellement réutilisable par d'autres laboratoires pour auditer leurs propres modèles avant tout déploiement industriel.

UECette contribution méthodologique sur la robustesse des modèles action-monde aux changements de camera pourrait intéresser les intégrateurs robotiques européens sans impliquer directement d'acteur France/UE identifie.

RechercheOpinion

1 source