RecherchearXiv cs.RO 4 août 2026

ChainVLA : enchaînement des requêtes vision-langage-action via un état d'exécution unifié pour la manipulation à long horizon

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente ChainVLA, une politique vision-langage-action (VLA) de 1,2 milliard de paramètres conçue pour la manipulation robotique à long horizon. Le système introduit un "Progress Context", combinant un état de travail récurrent et une mémoire d'événements éparse pour suivre la progression de la tâche à partir des observations, ainsi qu'un "Motion Tail" qui réinjecte la portion non exécutée de la prédiction précédente dans la génération de l'action suivante. Ces deux composants conditionnent un décodeur qui régénère chaque horizon d'action à partir de la dernière observation, permettant à l'état porté de guider la prédiction suivante sans la figer. Sur le benchmark RMBench, ChainVLA atteint 62,8% de réussite moyenne, et 98,8% sur les quatre suites LIBERO. Les ablations montrent l'importance critique de chaque composant : retirer le Motion Tail fait chuter le score RMBench à 11,2%, et retirer le Progress Context à seulement 3,0%.

Ce travail cible un problème structurel connu des politiques VLA actuelles à découpage par blocs d'actions ("action-chunked") : à chaque nouvelle requête, le modèle replanifie depuis zéro à partir de l'entrée courante, perdant la continuité entre ce qui a déjà été accompli et ce qui reste à faire. Les approches existantes ne couvrent qu'une partie du problème, soit en préservant la mémoire de tâche à long terme, soit la continuité de mouvement à court terme via la réutilisation ou l'ensembling d'actions, mais pas les deux simultanément. Pour les intégrateurs et chercheurs en robotique manipulatrice, cette lacune du "handoff" entre requêtes successives est directement liée à l'échec des tâches longues et multi-étapes, un point de friction majeur pour le déploiement de VLA en conditions réelles au-delà des démonstrations en laboratoire. L'ampleur des écarts de performance observés dans les ablations suggère que la continuité de mouvement joue un rôle clé pour préserver le flux d'observations dont dépend l'inférence de progression, un mécanisme jusqu'ici sous-exploré.

Le papier, publié sur arXiv (2608.02326v1) début août 2026, s'inscrit dans la lignée des travaux récents sur les politiques VLA à grande échelle comme Pi-0, GR00T N2 ou Helix, qui cherchent tous à améliorer la robustesse des robots manipulateurs sur des tâches complexes et prolongées. ChainVLA se positionne comme une réponse ciblée à la limite du replanning répété à chaque requête, un défaut partagé par de nombreuses architectures action-chunked actuelles. Les benchmarks utilisés, RMBench et LIBERO, sont des références standard du domaine pour évaluer la manipulation robotique, ce qui permet une comparaison directe avec les approches concurrentes. Le document ne précise pas de calendrier de déploiement matériel ni de partenariat industriel identifié à ce stade ; il s'agit pour l'instant d'un travail de recherche évalué en simulation et sur benchmarks standardisés, sans validation annoncée sur robot physique en conditions réelles de production.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

MIKASA-Robo-VLA : évaluer la mémoire des modèles vision-langage-action (VLA) pour la manipulation à long horizon

MIKASA-Robo-VLA, un nouveau benchmark publié sur arXiv (v1, octobre 2026), propose 90 tâches de manipulation conditionnées par le langage pour mesurer comment les politiques vision-langage-action (VLA) exploitent une information qui disparaît en cours de tâche. Dans 80 d'entre elles, l'indice dont dépend l'action est masqué ; les 10 restantes sont des contrôles réactifs où il reste visible. Chaque tâche fournit une instruction textuelle, alors que la suite d'origine, MIKASA-Robo (32 tâches), n'utilisait le langage que sur un sous-ensemble représentatif. Pour 70 tâches, les temps de phase de l'environnement définissent un « écart d'information », et dans 28 cas il dépasse la fenêtre de 16 images du VLA à contexte fixe le plus large recensé par les auteurs. Les chercheurs publient 22 500 trajectoires oracle couvrant 10 types de mémoire, aux formats RLDS et LeRobotDataset v3. Une baseline de référence π0.5, avec images courantes et proprioception mais sans historique d'observations ni module de mémoire explicite, est affinée sur 14 tâches et atteint 0,211 ± 0,044 de succès moyen. L'intérêt tient à un angle mort de l'évaluation actuelle. La plupart des VLA ne voient que une ou quelques images récentes, et les benchmarks courants récompensent surtout des comportements réactifs, ce qui peut masquer l'absence totale de mémoire. En distinguant tâches à mémoire et contrôles réactifs, le benchmark permet d'isoler cette faiblesse plutôt que de la confondre avec un défaut de perception ou de contrôle. Pour les intégrateurs et décideurs B2B, c'est un rappel que les démonstrations de manipulation longue durée (assemblage multi-étapes, tri avec conditions cachées, reprise après occlusion) ne disent pas grand-chose de la capacité d'un modèle à retenir ce qu'il ne voit plus. Le score de 0,211 est toutefois à lire avec prudence : il ne porte que sur 14 tâches, et les auteurs reconnaissent eux-mêmes que le moindre succès sur les tâches de la catégorie Long est brouillé par le « chunking » en boucle ouverte et par la composition des types de mémoire de ce sous-ensemble. Il ne prouve donc pas, à lui seul, que la mémoire explique l'écart. Ce travail prolonge la lignée MIKASA-Robo, centrée sur la mémoire en manipulation, et s'inscrit dans le mouvement de standardisation des données robotiques autour de RLDS et de LeRobot, l'écosystème porté notamment par Hugging Face, avec une compatibilité v3 qui facilite la réutilisation. π0.5, de Physical Intelligence, sert de référence, mais aucun résultat n'est publié pour des architectures dotées d'historique ou de mémoire explicite, qui seraient les comparaisons naturelles. La suite logique, que le papier laisse ouverte, serait d'évaluer ces variantes sur l'ensemble des 90 tâches. Le jeu de données et la page du projet sont déjà disponibles, ce qui permet à d'autres laboratoires de tester leurs propres modèles. Il s'agit d'un benchmark de simulation, sans déploiement industriel associé.

RecherchePaper

1 source

2arXiv cs.RO

TemporalFlow-VLA : un historique d'exécution physiquement ancré pour la manipulation robotique à long horizon

Des chercheurs ont publié en août 2026 sur arXiv (référence 2608.26821) un article présentant TemporalFlow-VLA, un modèle vision-langage-action (VLA) conçu pour la manipulation robotique multi-étapes de longue durée. Le système construit un flux temporel robot-surface à partir des états enregistrés du robot, de sa géométrie et de caméras calibrées, utilisé uniquement comme signal d'entraînement pour superviser deux requêtes temporelles alignées sur l'exécution qui fournissent un historique structuré à l'expert d'action du modèle. Sur le benchmark LIBERO, le système atteint un taux de réussite moyen de 97,63% (+/- 0,26 point), dont 96,60% (+/- 0,87) sur le sous-ensemble LIBERO Long dédié aux tâches longues. Sur RoboTwin, qui regroupe 12 tâches de manipulation, il obtient 85,5% de réussite en conditions propres et 84,2% en conditions randomisées. La voie de supervision géométrique n'intervient qu'à l'entraînement et n'est pas évaluée au déploiement, ce qui, combiné à une mise en cache asynchrone des caractéristiques, permet de conserver une latence d'inférence côté serveur équivalente à celle d'un traitement image par image, sans surcoût lié à l'encodage de l'historique. L'enjeu pointé par les auteurs est concret pour l'industrie: empiler simplement des images historiques dans un modèle VLA ne suffit pas à capter un changement physique récent, en particulier quand deux états visuellement quasi identiques appellent des actions différentes selon ce qui a été exécuté juste avant, un piège classique dans les tâches à plusieurs étapes comme l'empilement ou l'assemblage séquentiel. Des interventions contrôlées sur l'historique fourni au modèle montrent que la prédiction d'action dépend à la fois du contenu de cet historique et de son ordre temporel, confirmant que le raisonnement temporel agit comme un facteur causal de performance et non comme un simple bonus. Pour les intégrateurs et décideurs qui évaluent des piles VLA face à des offres comme Pi-0, GR00T N2 ou Helix, ce travail suggère qu'une part significative de l'écart de performance sur les tâches longues tient moins à la taille du modèle qu'à la façon dont l'historique d'exécution est structuré et injecté, sans alourdir la latence en production. Le papier s'inscrit dans une vague de recherches cherchant à combler l'écart entre démonstrations en laboratoire et généralisation réelle des VLA sur les tâches longues, un problème récurrent du secteur. Il se positionne explicitement en alternative aux approches qui nécessitent une estimation de mouvement ou un traitement géométrique explicite au moment de l'inférence, coûteux en calcul et en latence pour un déploiement en production. Aucun acteur industriel ni site de déploiement commercial n'est mentionné: il s'agit à ce stade d'un travail de recherche évalué uniquement sur les bancs d'essai en simulation LIBERO et RoboTwin, sans validation annoncée sur robot physique ni calendrier de mise en production. Reste à voir si cette approche de supervision temporelle sera reprise par des laboratoires ou fournisseurs de piles VLA commerciales pour la manipulation industrielle de longue durée.

RechercheOpinion

1 source

3arXiv cs.RO

PHR-VLA : raisonnement à horizon de planification pour les modèles vision-langage-action

Des chercheurs présentent PHR-VLA (Planning Horizon Reasoning for Vision-Language-Action Models), décrit dans un preprint arXiv publié fin août 2026 (arXiv:2608.27609). Le système ajoute aux modèles vision-langage-action une tête auxiliaire légère, activée uniquement à l'entraînement, qui aligne les représentations internes du modèle avec la dynamique future de la tâche extraite d'observations à venir. Une supervision locale et centrée sur le contact, au niveau des patchs d'image issus de la caméra de poignet, fait passer le taux de réussite sur le benchmark simulé LIBERO de 84,1% à 88,4%, et sur des tâches réelles de désassemblage de 63,3% à 82,5%. Une supervision équivalente via une caméra à la troisième personne améliore aussi légèrement les résultats sur Meta-World, de 56,70% à 57,8%. Le travail cible une limite connue des VLA actuels, qui conditionnent généralement l'action sur la seule observation présente sans anticiper l'évolution de la tâche, un manque pénalisant pour les manipulations fines et riches en contacts comme l'assemblage ou le désassemblage. Le gain le plus net apparaît justement sur une tâche réelle de désassemblage, plus proche des besoins industriels que les benchmarks simulés, ce qui limite le risque d'un résultat purement académique. L'écart entre le fort gain obtenu via la caméra de poignet et le gain marginal via la troisième personne (+1,1 point sur Meta-World) suggère que la dynamique locale près du point de contact compte plus que le contexte global de la scène. Pour un intégrateur, l'argument clé est que cette tête auxiliaire n'intervient qu'à l'entraînement et n'alourdit donc pas le temps d'inférence en production. PHR-VLA s'inscrit dans la lignée des modèles VLA généralistes comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui transforment instruction en langage naturel et flux vidéo en actions robotiques. À la différence d'approches fondées sur des modèles du monde générant explicitement des vidéos futures, coûteuses en calcul, la méthode se limite à un alignement de représentations latentes, plus économe. Il s'agit pour l'instant d'un travail de recherche en preprint, sans déploiement industriel annoncé ni implication d'acteur français ou européen du secteur, la suite logique étant une éventuelle intégration de cette technique d'entraînement dans des piles VLA commerciales existantes.

RechercheOpinion

1 source

4arXiv cs.RO

Raisonner en texte et en images : traces de raisonnement vision-langage entrelacées pour la manipulation robotique à long horizon

Des chercheurs ont publié sur arXiv (arXiv:2605.00438) un cadre de politique robotique appelé IVLR (Interleaved Vision-Language Reasoning), conçu pour la manipulation à horizon long. Le coeur du système est une représentation intermédiaire explicite, la "trace", qui alterne des sous-objectifs textuels avec des images-clés visuelles sur l'ensemble de la séquence de tâche. À l'inférence, un transformateur multimodal natif génère cette trace globale à partir de l'observation initiale et de l'instruction, la met en cache, puis conditionne un décodeur d'actions en boucle fermée. Sur le benchmark simulé LIBERO, IVLR atteint 95,5 % de taux de succès moyen, dont 92,4 % sur LIBERO-Long, et 59,4 % sur SimplerEnv-WidowX. L'absence de telles traces dans les jeux de données robotiques existants est contournée par une pseudo-supervision construite en segmentant temporellement des démonstrations et en les annotant automatiquement via un modèle vision-langage. Les ablations quantifient clairement la valeur de chaque modalité : sans trace, LIBERO-Long chute à 37,7 % ; une trace texte seule atteint 62,0 %, une trace visuelle seule 68,4 %, tandis que la trace entrelacée texte-image monte à 92,4 %. L'écart de 30 points entre la combinaison et les modalités isolées démontre que le raisonnement causal (texte) et les contraintes géométriques (image) sont complémentaires, pas substituables. C'est une contribution directe au débat sur la planification explicite versus latente dans les politiques VLA (Vision-Language-Action) : masquer la planification dans des états latents, comme le font la majorité des architectures actuelles, laisse une performance substantielle sur la table. IVLR s'inscrit dans un courant de politiques VLA à planification explicite, en concurrence avec des approches comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui intègrent également des capacités de raisonnement multimodal. La méthode de pseudo-supervision est potentiellement impactante pour les équipes académiques : elle permet de réutiliser des datasets existants sans annotations humaines supplémentaires, abaissant le coût d'entrée à la recherche sur les longues séquences. Les tests de robustesse indiquent une dégradation modérée face aux perturbations d'exécution et aux traces partiellement masquées, mais les auteurs reconnaissent une limite claire : lorsque le plan global est incorrect ou obsolète, le système reste fragile. La prochaine étape logique est la mise à jour dynamique de la trace en cours d'exécution, et la validation sur robots physiques hors simulation.

UELes laboratoires académiques européens (INRIA, CEA-List) travaillant sur les politiques VLA pourraient directement réutiliser la méthode de pseudo-supervision pour annoter leurs datasets existants sans coût humain supplémentaire.

RechercheOpinion

1 source