RecherchearXiv cs.RO 2 octobre 2026

NarrativeFlow : un modèle vision-langage-action (VLA) à flux utilisant les champs de vitesse du robot

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

NarrativeFlow, publié sur arXiv (2610.00981v1) et accompagné d'une page projet, est un modèle vision-langage-action (VLA) qui génère des « flux robotiques », c'est-à-dire des champs de vitesse continus décrivant le mouvement du robot, à partir d'une instruction en langage naturel. Les auteurs le formulent par flow matching, conditionné sur le texte. L'objectif est d'obtenir des trajectoires physiquement cohérentes avec la manipulation réelle. Le résumé indique que NarrativeFlow surpasse des méthodes de référence sur des jeux de données standards de manipulation conditionnée par le langage, puis qu'il obtient des taux de réussite supérieurs sur plusieurs tâches en conditions réelles. Aucun chiffre n'est fourni dans le résumé : ni taux de succès, ni nombre de tâches, ni plateforme robotique, ni liste des baselines. Il s'agit d'une prépublication, sans produit, sans déploiement ni calendrier annoncé.

L'enjeu porte sur le goulot d'étranglement des modèles de fondation en robotique : la collecte de données propres à chaque morphologie, longue et coûteuse. Un flux de vitesse sert ici de représentation centrée sur le mouvement et indépendante de l'embodiment, ce qui permettrait de mutualiser des données issues de plateformes différentes (bras, mains, voire vidéos). Si l'approche tient ses promesses, un intégrateur pourrait réutiliser des corpus existants au lieu de recollecter des démonstrations pour chaque robot. Les auteurs positionnent leur travail face à deux limites : les méthodes qui approximent grossièrement les flux par des déplacements de points clés épars, et celles qui ne gèrent pas la consigne en langage. Reste à vérifier la généralisation entre morphologies, la robustesse hors laboratoire et le coût de calcul, trois points que le résumé ne documente pas. Les gains « sur les métriques standards » restent à examiner dans l'article complet, notamment la difficulté des tâches réelles et la taille des échantillons d'essais.

Ce travail s'inscrit dans la course aux représentations intermédiaires transférables entre robots, alors que des VLA comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) misent surtout sur la diffusion ou le flow matching directement sur les actions, avec des données massives. Les approches par flux ou par points clés cherchent à tirer parti de vidéos humaines et de données hétérogènes pour contourner cette dépendance. NarrativeFlow prolonge cette lignée en remplaçant les points clés épars par un champ continu. La suite dépendra de la publication du code et des résultats détaillés, ainsi que d'une comparaison directe avec les VLA généralistes sur des benchmarks communs. À ce stade, il s'agit d'une contribution de recherche à confirmer, non d'un système prêt pour l'industrie.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

RotVLA : action latente de rotation pour les modèles vision-langage-action (VLA)

Un groupe de chercheurs a publié en mai 2026 RotVLA (arXiv:2605.13403), un framework Vision-Language-Action (VLA) qui substitue la quantification discrète des modèles d'action latente (LAM) existants par une représentation continue dans l'espace de rotation SO(n). Entraîné sur plus de 1 700 heures de données robotiques multi-embodiment et de vidéos humaines, le modèle compte 1,7 milliard de paramètres. Son architecture associe un backbone de modèle vision-langage et une tête d'action par flow-matching, étendue en aval en un "action expert" unifié qui dénoise simultanément actions latentes et actions robot. Sur LIBERO, RotVLA atteint 98,2 % de taux de succès ; sur RoboTwin2.0, il obtient 89,6 % en configuration propre et 88,5 % en configuration randomisée, surpassant les modèles VLA antérieurs dans les deux cas. Des expériences sur des tâches de manipulation réelle confirment ces résultats hors simulation. L'enjeu est architectural : les LAMs actuels, basés sur des pipelines VQ-VAE ou similaires, induisent une reconstruction de frames souvent triviale et n'imposent aucune contrainte géométrique cohérente avec la physique du mouvement. En modélisant les actions latentes comme des éléments de SO(n), RotVLA garantit continuité et compositionnalité absentes des espaces discrets, avec un triplet frame learning qui force une dynamique temporelle non dégénérée. Pour les équipes d'intégration robotique, cela ouvre la voie à un modèle de fondation plus robuste au sim-to-real, l'un des goulots d'étranglement centraux des VLAs en conditions industrielles. L'approche suggère que la structure géométrique de l'espace d'action peut compter autant que l'échelle des données d'entraînement. Le domaine des politiques robotiques généralistes a été structuré par Pi-0 (Physical Intelligence, 2024) et GR00T N2 (NVIDIA, 2025), qui misaient sur des corpus cross-embodiment massifs pour entraîner des politiques généralisables. RotVLA s'inscrit dans cette lignée mais parie sur une représentation latente géométriquement structurée plutôt que sur le volume brut de paramètres, avec 1,7B contre plusieurs dizaines de milliards pour les modèles concurrents les plus ambitieux. Les scores LIBERO et RoboTwin2.0 sont des benchmarks académiques standardisés ; leur transposition sur des cellules industrielles réelles (bras collaboratifs, tri et picking) reste à démontrer. Aucun partenaire de déploiement ni calendrier commercial ne figure dans la publication : RotVLA est, à ce stade, une contribution de recherche.

RechercheOpinion

1 source

2arXiv cs.RO

PLaW-VLA : modélisation prédictive d'un modèle du monde latent pour les politiques vision-langage-action

PLaW-VLA, une politique vision-langage-action (VLA) décrite dans un preprint arXiv (2610.12285), propose de donner aux robots une capacité d'anticipation sans payer le coût habituel des modèles du monde génératifs. Les auteurs modélisent les états futurs pertinents pour la tâche dans un espace de représentation latent pré-entraîné, orienté prédiction, au lieu de reconstruire les pixels. L'architecture repose sur un Mixture-of-Transformers. L'action est générée à partir de l'historique d'observations, de la sémantique de la tâche en cours et des états futurs prédits, via une attention causale structurée. Les résultats annoncés sont un gain de 11,8 points de pourcentage sur le benchmark RoboTwin Hard Horizon III par rapport à des politiques purement réactives, et un gain de 1,77 point sur LIBERO-Plus en zéro-shot par rapport à une prédiction latente fondée sur la reconstruction. Le modèle du monde est léger et prédit les états futurs en parallèle. Sa latence d'inférence est environ 19 fois inférieure à celle d'une modélisation générative monde-action, pour une performance de politique comparable. L'intérêt pour l'industrie tient à l'inférence. Les VLA augmentés d'un modèle du monde génératif sont difficiles à embarquer, car la génération d'images futures ajoute une latence incompatible avec le contrôle en boucle fermée sur du matériel réel. Un facteur 19 sur la latence, à performance égale, indique que l'essentiel de l'information utile à la planification longue se loge dans une représentation compacte, et que la fidélité visuelle des prédictions n'est pas nécessaire. Le résultat contredit l'idée que prévoir le futur exige de le dessiner. Il faut toutefois relativiser. Ces chiffres viennent de benchmarks simulés (RoboTwin, LIBERO-Plus), sans validation sur robot physique mentionnée. Le gain de 1,77 point en généralisation est modeste et sa significativité statistique n'est pas précisée. Pour un intégrateur, c'est une piste d'architecture à surveiller, pas un produit ni un déploiement. Ce travail s'inscrit dans la course aux VLA dotés de capacités prédictives, après la première génération de politiques réactives (de type Pi-0 ou OpenVLA), qui mappent directement l'observation courante vers l'action et échouent sur les tâches à long horizon. Une seconde famille, qui intègre des modèles du monde génératifs pour imaginer le futur en pixels, a montré des gains mais au prix d'un calcul élevé. PLaW-VLA se positionne entre les deux, avec une prédiction latente allégée. Il s'agit d'un preprint en version 1, sans revue par les pairs. Aucun code, calendrier de publication ni test sur robot réel n'est annoncé. La suite logique serait une validation sur plateformes physiques et des comparaisons directes avec les VLA généralistes industriels sur des tâches de manipulation longues, où la latence reste le critère décisif.

RecherchePaper

1 source

3arXiv cs.RO

RobustVLA : robustesse d'un modèle vision-langage-action face aux perturbations multimodales

RobustVLA s'attaque à un angle mort des modèles Vision-Language-Action (VLA) : leur fragilité face aux perturbations réelles. Une équipe de recherche a d'abord testé les principaux VLA sous 17 types de perturbations réparties sur quatre modalités (actions, instructions, environnement, observations visuelles). Résultat : les actions constituent la modalité la plus fragile, les modèles réputés robustes visuellement (comme BYOVLA) ne conservent aucun gain sur les autres modalités, et pi0 se distingue par une robustesse supérieure aux autres backbones testés. Pour corriger ces faiblesses, les chercheurs proposent RobustVLA, qui combine une optimisation robuste hors ligne contre le pire cas de bruit sur les actions (via l'objectif de flow matching) et un mécanisme forçant des actions cohérentes malgré les variations d'entrée. La sélection automatique des perturbations les plus nuisibles est traitée comme un problème de bandit multi-bras, résolu par un algorithme d'upper confidence bound. Sur le benchmark LIBERO, RobustVLA gagne 12,6% de réussite absolue sur backbone pi0 et 10,4% sur OpenVLA face aux 17 perturbations combinées, avec une inférence 50,6 fois plus rapide que BYOVLA, qui dépend de LLM externes. Cette avancée touche un point sensible pour l'industrie robotique : la plupart des démonstrations de VLA impressionnent en conditions contrôlées mais s'effondrent face au bruit réel (mauvaise calibration caméra, instructions ambiguës, occlusions, dérive capteurs). En identifiant les actions comme le maillon le plus faible, l'étude remet en question l'hypothèse répandue selon laquelle la robustesse visuelle suffirait à garantir un déploiement fiable. Sur robot réel FR5, RobustVLA dépasse pi0 de 65,6% de taux de réussite avec seulement 25 démonstrations, un résultat clé pour les intégrateurs qui manquent de données d'entraînement en environnement industriel. Même avec des données abondantes, le gain reste de 30%, ce qui suggère que la méthode n'est pas qu'un palliatif pour le few-shot mais une amélioration structurelle. Le papier s'inscrit dans la lignée des travaux récents sur pi0 (Physical Intelligence) et OpenVLA, deux architectures de référence dans la course aux modèles génériques de manipulation robotique. Il répond directement aux limites de BYOVLA, une approche antérieure de robustesse visuelle jugée coûteuse en calcul car dépendante de LLM externes. Les auteurs positionnent RobustVLA comme une alternative légère et généralisable, testée à la fois en simulation (LIBERO) et en conditions réelles. Le code et des vidéos de démonstration sont disponibles sur GitHub, ce qui permettra une validation indépendante par la communauté avant une adoption plus large en environnement industriel.

RecherchePaper

1 source

4arXiv cs.RO

Flux proposition-vers-action calibré par le monde pour les modèles vision-langage-action (VLA)

Des chercheurs publient ProAct, un cadre pour les politiques Vision-Language-Action (VLA) à flow matching, décrit dans l'article arXiv 2610.02323. Les VLA à flow génèrent des séquences d'actions (« action chunks ») en transportant des échantillons issus d'une source gaussienne isotrope, indépendante de la tâche. ProAct remplace cette source par une source calibrée. Un « Proposal Expert » léger convertit les actions récentes en hypothèse tenant compte de la scène. Il le fait en une seule étape de flow matching ancrée sur le mouvement, ce qui place l'initialisation près de la variété des actions démontrées. Un « World Expert » prédictif traite ensuite cette hypothèse comme un a priori de mouvement souple et prédit le futur latent cohérent avec la tâche. À partir de cette compatibilité, le modèle construit une source anisotrope centrée sur la proposition. Une amplitude bornée par pas limite l'écart autorisé. Une géométrie de bas rang à trace normalisée, sous budget de nombre de conditionnement, répartit le raffinement entre translation, rotation et pince. Face à π0.5 (Physical Intelligence), ProAct améliore les résultats en simulation et en conditions réelles. Il réduit de 50 % le nombre d'étapes de débruitage, de jusqu'à 25,8 % la latence d'inférence, et augmente le débit de jusqu'à 34,8 %. Le résumé ne donne ni taux de succès chiffrés, ni robot, ni liste de tâches. L'enjeu est double : qualité et coût d'inférence. Dans les VLA actuels, le point de départ du bruit ignore le mouvement qui vient d'être exécuté. La politique doit donc reconstruire la continuité de la trajectoire à chaque chunk, ce qui coûte des étapes de débruitage. En rendant la source prédictible, ProAct vise des trajectoires plus continues avec moins de calcul. Pour un intégrateur, la latence et le débit déterminent la fréquence de contrôle atteignable sur du matériel embarqué, donc la fluidité d'exécution de tâches de manipulation. Le travail suggère aussi que les représentations prédictives du monde servent mieux la génération d'actions si elles en fixent le point de départ, la déviation permise et les directions d'expansion, plutôt que de seulement conditionner la dynamique de transport. Ces gains restent des affirmations de résumé. Ils supposent de vérifier les benchmarks, l'ampleur des gains de réussite et la part de tests réels. Aucun déploiement ni produit n'est annoncé, il s'agit de recherche académique. Ce travail s'inscrit dans la lignée des VLA à flow matching popularisés par π0, puis par π0.5, devenu une référence de comparaison. Il suit aussi un courant qui ajoute des modèles du monde aux politiques d'action pour anticiper l'évolution de la scène. Le principal angle de recherche concurrent consiste à réduire le nombre d'étapes de débruitage par distillation ou par flows en une étape. D'autres approches rendent les chunks plus continus par chevauchement temporel, mais conservent une source de bruit générique. ProAct attaque le même problème par l'initialisation. La suite dépendra de la publication du code et des poids, d'une reproduction indépendante et d'un test sur d'autres architectures, comme GR00T ou Helix, ou sur des robots humanoïdes où la latence est critique.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source