Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Veo-Act : améliorer les politiques VLA grâce aux modèles vidéo de pointe
RecherchearXiv cs.RO 

Veo-Act : améliorer les politiques VLA grâce aux modèles vidéo de pointe

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent Veo-Act, un système hiérarchique associant le modèle de génération vidéo Veo-3.1 de Google DeepMind à une politique vision-language-action (VLA) pour la manipulation robotique, décrit dans un article déposé sur arXiv (identifiant 2604.04502, version révisée). Veo-3.1 y joue le rôle de planificateur de haut niveau : il génère des séquences vidéo montrant le mouvement attendu de la main et des objets pour réaliser une instruction. Un modèle de dynamique inverse à têtes multiples convertit ces paires d'images générées en commandes motrices, tandis qu'une «porte d'interaction» décide du moment où basculer vers la politique VLA pour l'exécution réactive et précise au niveau bas. Les auteurs ont testé le système en simulation et sur un robot réel, sans préciser charge utile, degrés de liberté ni temps de cycle, ce qui relève de la recherche méthodologique plutôt que de l'annonce produit.

L'enjeu visé est bien connu du secteur : l'adaptation orientée action des politiques VLA à partir de modèles vision-langage pré-entraînés dégrade souvent leur généralisation sémantique, fragilisant leur robustesse face à des scènes ambiguës ou hors distribution. Les modèles vidéo généralisent mieux sur des scènes complexes et encodent des a priori sur les mouvements de la main, mais manquent de précision et de réactivité pour une manipulation dextre bas niveau. Veo-Act cherche à combiner ces deux forces : selon les auteurs, l'approche améliore le suivi d'instructions et le taux de réussite par rapport à une politique VLA seule, notamment dans des situations nouvelles et sémantiquement complexes, un résultat qui alimente le débat sur le rôle des modèles vidéo comme planificateurs visuels pour la robotique généraliste, aux côtés d'approches comme pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure).

Ce travail s'inscrit dans la montée en puissance des politiques VLA comme paradigme dominant de l'apprentissage robotique généraliste, et dans celle des modèles de génération vidéo dont les progrès en cohérence temporelle poussent plusieurs équipes à les détourner en planificateurs pour la robotique. Aucune entreprise, aucun laboratoire ni acteur français ou européen n'est cité, et le travail reste une contribution académique publiée en version révisée sur arXiv, sans calendrier de déploiement industriel annoncé.

Dans nos dossiers

NVIDIA GR00TPhysical Intelligence — π0Manipulation robotiquearXiv cs.RO

À lire aussi

StressDream : piloter des modèles du monde vidéo pour évaluer et améliorer la robustesse des politiques
1arXiv cs.RO 

StressDream : piloter des modèles du monde vidéo pour évaluer et améliorer la robustesse des politiques

StressDream est une méthode proposée par des chercheurs dans un preprint arXiv (2606.00267, juin 2026) pour orienter les modèles du monde vidéo (video world models, WMs) vers des scénarios rares mais plausibles lors de l'évaluation et de l'amélioration de politiques robotiques. Le principe : au lieu de tirer des millions d'échantillons depuis un WM diffusion pour espérer tomber sur un cas d'échec critique, StressDream optimise directement le bruit initial du processus de diffusion à l'inférence, guidé par une consigne textuelle (par exemple "l'agent rate la tâche"). Deux objectifs complémentaires structurent l'optimisation : un objectif sémantique, où un modèle vision-langage (VLM) fournit des gradients en raisonnant sur la vidéo générée, et un objectif de plausibilité qui empêche le bruit optimisé de dériver hors distribution (OOD), évitant ainsi des imaginations irréalistes. La méthode est validée sur des benchmarks en conduite autonome et en manipulation robotique. L'enjeu est de taille pour les équipes de validation pré-déploiement. L'évaluation nominale des politiques, c'est-à-dire simuler ce qui se passe en moyenne, rate systématiquement les événements à fort impact mais faible probabilité : collision, lâcher d'objet, blocage de bras. Or ces cas sont précisément ceux qui bloquent la mise en production. StressDream propose de les cibler chirurgicalement sans explosion combinatoire du budget de simulation. C'est une forme de stress-test automatisé, piloté par langage naturel, applicable à n'importe quel WM diffusion existant, ce qui en fait un outil d'intégration potentiellement direct dans les pipelines d'évaluation de politique comme ceux utilisés par des laboratoires développant des VLAs (Vision-Language-Action models). Les video world models ont connu une montée en puissance rapide depuis 2023, notamment avec des travaux comme DIAMOND (Micheli et al.), UniSim ou DreamerV3, portés en partie par leur utilisation dans la robotique humanoïde et la conduite autonome. La difficulté de trouver des échecs plausibles sans déploiement réel est un frein reconnu à la certification de politiques autonomes. StressDream s'inscrit dans une dynamique plus large visant à combler le gap entre simulation et réel en enrichissant la diversité des scénarios simulés, sans pour autant halluciner des situations impossibles. Les auteurs publient des résultats vidéo sur junwon.me/StressDream, mais aucune intégration industrielle ni partenariat de déploiement n'est annoncé à ce stade.

RechercheOpinion
1 source
Any3D-VLA : améliorer la robustesse des modèles VLA grâce à des nuages de points diversifiés
2arXiv cs.RO 

Any3D-VLA : améliorer la robustesse des modèles VLA grâce à des nuages de points diversifiés

Les modèles VLA (Vision-Language-Action) qui pilotent aujourd'hui les robots manipulateurs reposent quasi-exclusivement sur des images 2D comme entrée visuelle. Une équipe de chercheurs publie sur arXiv (arXiv:2506.00807v2) Any3D-VLA, une architecture d'entraînement qui intègre explicitement des nuages de points 3D pour améliorer la robustesse spatiale de ces modèles. L'approche fusionne trois sources de nuages de points hétérogènes, données de simulation, capteurs de profondeur réels (LiDAR, RGB-D), et estimation par modèle monoculaire, avec les représentations 2D existantes, dans un pipeline d'entraînement unifié. Les expériences couvrent à la fois des environnements simulés et des déploiements réels, et montrent des gains de performance mesurables sur des tâches de manipulation. L'intérêt technique est double. D'abord, le papier démontre empiriquement que "lever" l'entrée visuelle en nuage de points produit des représentations complémentaires aux features 2D, plutôt que redondantes, ce qui valide une hypothèse souvent discutée dans la communauté VLA. Ensuite, Any3D-VLA s'attaque directement aux deux verrous pratiques qui ont jusqu'ici freiné l'adoption du 3D dans ce domaine : la rareté des données 3D annotées et le domain gap lié aux différences de calibration entre environnements et aux biais d'échelle de profondeur. En traitant ces deux obstacles dans un seul framework, le travail suggère une voie vers des VLA plus robustes au sim-to-real transfer, un problème central pour le déploiement en conditions industrielles réelles. Les VLA sont au cœur d'une course intense depuis la publication de RT-2 (Google DeepMind, 2023) et l'essor de modèles comme Pi-0 (Physical Intelligence), OpenVLA, ou RoboVLMs. La plupart restent limités par leur dépendance aux caméras RGB standard, ce qui crée des angles morts en cas d'occlusion ou de scènes encombrées. Any3D-VLA ne propose pas encore un produit déployé : il s'agit d'une contribution de recherche avec code et page projet publics. La prochaine étape logique serait une intégration dans des pipelines de fine-tuning utilisés par des acteurs comme Physical Intelligence ou les équipes robotique de Figure AI, qui cherchent précisément à réduire le nombre de démonstrations réelles nécessaires grâce à un meilleur transfert depuis la simulation.

RechercheOpinion
1 source
TimelyDAgger : interrogation d'expert au bon moment pour améliorer les politiques VLA
3arXiv cs.RO 

TimelyDAgger : interrogation d'expert au bon moment pour améliorer les politiques VLA

Des chercheurs proposent TimelyDAgger, une méthode d'apprentissage par imitation interactive pour améliorer des politiques robotiques de type VLA (vision-langage-action). Elle repose sur DAgger, qui agrège les corrections d'un expert dans les états réellement visités par la politique pendant son exécution. Dans la variante « robot-gated », le robot décide lui-même quand demander la reprise en main par l'expert. TimelyDAgger combine deux briques: Bridge-PCA, qui surveille les représentations internes du modèle VLA, et Feedback-guided Threshold Adaptation, qui ajuste le seuil de déclenchement d'après le comportement de l'expert. Les auteurs introduisent aussi un cadre d'évaluation reliant détection d'échec, moment de la reprise et progrès de la politique, avec une métrique, le Target-Aligned Supervision Ratio (TASR), qui mesure la qualité de la supervision sans réentraîner le modèle. Le travail, publié sur arXiv (version 2 du 2609.33157), s'accompagne d'un site de projet. Aucun chiffre de performance n'est donné dans le résumé. L'enjeu touche un point peu discuté du déploiement de VLA: le coût de la supervision humaine. Jusqu'ici, les portes d'appel à l'expert cherchaient surtout à détecter quand le robot est en difficulté. Les auteurs soutiennent que l'instant de la reprise façonne le contenu des démonstrations collectées, donc leur valeur pour l'apprentissage. Une reprise trop tardive ou trop précoce produit des données moins utiles. Pour un intégrateur ou un exploitant qui mobilise des téléopérateurs, le budget d'actions expertes est le vrai facteur limitant. Sous budget égal, TimelyDAgger obtiendrait un taux de succès supérieur après réentraînement dans la plupart des configurations testées, avec une détection d'échec seulement « compétitive », donc pas systématiquement meilleure. La formulation prudente invite à la réserve: on ignore l'ampleur des gains, les robots, les tâches et le nombre d'essais, et le TASR est une métrique proposée par les auteurs eux-mêmes, qui reste à valider par d'autres équipes. Ce travail s'inscrit dans le prolongement de DAgger, introduit en 2011, et de ses variantes à déclenchement autonome (HG-DAgger, ThriftyDAgger et apparentées), qui ont popularisé l'idée de laisser le robot solliciter l'humain. L'essor des modèles VLA généralistes, comme Pi-0 ou Helix, rend la question plus pressante: ces modèles se perfectionnent désormais par corrections en conditions réelles, et la collecte de données d'intervention devient un goulot d'étranglement. Les suites logiques seraient des tests sur plusieurs architectures VLA, des évaluations sur robots physiques à plus grande échelle et une comparaison directe avec les méthodes concurrentes de collecte de corrections. Aucun partenariat industriel ni calendrier de déploiement n'est annoncé, et le résultat relève pour l'instant de la recherche académique.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)
4arXiv cs.RO 

SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.06926) SWAP, pour StepWise Action Policy Routing, un cadre qui compose dynamiquement plusieurs politiques Vision-Language-Action (VLA) pendant l'exécution d'une tâche de manipulation. Aujourd'hui, la plupart des systèmes reposent sur un seul modèle VLA du début à la fin d'un épisode. SWAP formule le routage comme un problème d'apprentissage par renforcement hors ligne : un « critique de routage » est entraîné à choisir, à chaque pas de décision et selon l'observation courante, la politique la plus adaptée. Le robot peut ainsi changer de politique en cours d'épisode. L'évaluation porte sur des tâches réelles de manipulation sur la plateforme DROID et sur des simulations LIBERO. Face à l'exécution d'une politique fixe et à des méthodes de routage de référence, les auteurs annoncent jusqu'à 33 points de succès supplémentaires en conditions réelles, et une réduction de 28,3 % du nombre de pas d'action des trajectoires réussies. L'enjeu dépasse la performance brute. Le travail s'attaque à une limite que les intégrateurs constatent déjà : aucun VLA n'est le meilleur partout, et les performances varient selon la phase de la tâche et l'environnement. Au lieu d'attendre un modèle généraliste unique, SWAP traite les VLA existants comme une boîte à outils orchestrable, sans réentraîner chacun d'eux. Pour un industriel, cela suggère une voie pragmatique : combiner des politiques spécialisées ou de fournisseurs différents, et ne payer que pour la politique utile à chaque étape. La baisse de la longueur des trajectoires laisse aussi entrevoir un gain de temps de cycle, mais il s'agit d'un nombre de pas d'action, pas d'une durée mesurée en atelier. Il faut aussi rester prudent sur les chiffres : le « jusqu'à 33 % » correspond au meilleur cas, et l'abstract ne précise ni le nombre de tâches ni la taille des échantillons, ni les politiques combinées. Ce résultat s'inscrit dans la course aux modèles fondation pour la manipulation, où des VLA comme Pi-0, GR00T ou Helix sont généralement présentés comme des systèmes autonomes. Le routage entre politiques prolonge les approches de mélange d'experts, mais à l'échelle de politiques complètes et de manière apprise hors ligne. DROID, jeu de données et plateforme de manipulation très utilisé, et LIBERO, banc d'essai en simulation, servent de référence commune, ce qui facilite la comparaison. Il s'agit d'une prépublication v1 non évaluée par les pairs, sans déploiement industriel annoncé. Les prochaines étapes à surveiller : la publication du code, la robustesse du critique face à des environnements inédits, et la latence ajoutée par le routage à chaque pas de décision.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source