Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Vers VLA-Dreamer : affiner le comportement des modèles VLA grâce aux modèles du monde
RecherchearXiv cs.RO 

Vers VLA-Dreamer : affiner le comportement des modèles VLA grâce aux modèles du monde

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article publié sur arXiv fin septembre 2026 sous la référence 2609.31313, intitulé "Towards VLA-Dreamer: Refining VLA Behavior Using World Models", propose une nouvelle architecture pour les modèles vision-langage-action (VLA) utilisés en contrôle robotique. Les auteurs suggèrent d'entraîner un modèle du monde prédictif directement sur l'espace d'embedding de l'encodeur visuel du VLA, plutôt que sur l'espace des pixels comme le font les modèles du monde classiques. L'hypothèse centrale est que ces embeddings, déjà utilisés pour décider des actions du robot, contiennent aussi l'information nécessaire pour anticiper l'évolution future de la scène. La perte d'apprentissage est calculée dans cet espace de représentation, une approche proche des architectures JEPA (joint embedding prédictive architecture). Le modèle du monde ainsi obtenu pourrait ensuite servir à de la planification à court terme, en générant des actions candidates à partir d'une image représentant l'objectif à atteindre.

L'enjeu dépasse la simple curiosité académique. Les VLA actuels, tels que Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, exigent des volumes massifs de données de démonstration par apprentissage par imitation, ce qui reste le principal frein économique à leur déploiement à grande échelle chez les intégrateurs industriels. L'absence de modèle du monde explicite dans ces architectures alimente aussi un doute persistant sur leur capacité réelle à comprendre la dynamique physique plutôt qu'à reproduire des trajectoires mémorisées. Si les embeddings visuels s'avèrent effectivement prédictifs, cela apporterait un argument empirique en faveur de la piste "réduction des données" tant recherchée par le secteur ; dans le cas contraire, cela confirmerait une limite structurelle largement soupçonnée des VLA.

Il s'agit à ce stade d'un "concept paper", c'est-à-dire d'une proposition architecturale sans résultats expérimentaux chiffrés rapportés dans le résumé, à ne pas confondre avec un système validé ou déployé. Elle s'inscrit dans la lignée des travaux JEPA popularisés par Meta AI et Yann LeCun, et vise, selon les auteurs, à mesurer la richesse prédictive des embeddings VLA et à réduire leurs besoins en données via ce module de planification additionnel.

Dans nos dossiers

IA physique & VLANVIDIA GR00TPhysical Intelligence — π0World models

À lire aussi

Veo-Act : améliorer les politiques VLA grâce aux modèles vidéo de pointe
1arXiv cs.RO 

Veo-Act : améliorer les politiques VLA grâce aux modèles vidéo de pointe

Des chercheurs présentent Veo-Act, un système hiérarchique associant le modèle de génération vidéo Veo-3.1 de Google DeepMind à une politique vision-language-action (VLA) pour la manipulation robotique, décrit dans un article déposé sur arXiv (identifiant 2604.04502, version révisée). Veo-3.1 y joue le rôle de planificateur de haut niveau : il génère des séquences vidéo montrant le mouvement attendu de la main et des objets pour réaliser une instruction. Un modèle de dynamique inverse à têtes multiples convertit ces paires d'images générées en commandes motrices, tandis qu'une «porte d'interaction» décide du moment où basculer vers la politique VLA pour l'exécution réactive et précise au niveau bas. Les auteurs ont testé le système en simulation et sur un robot réel, sans préciser charge utile, degrés de liberté ni temps de cycle, ce qui relève de la recherche méthodologique plutôt que de l'annonce produit. L'enjeu visé est bien connu du secteur : l'adaptation orientée action des politiques VLA à partir de modèles vision-langage pré-entraînés dégrade souvent leur généralisation sémantique, fragilisant leur robustesse face à des scènes ambiguës ou hors distribution. Les modèles vidéo généralisent mieux sur des scènes complexes et encodent des a priori sur les mouvements de la main, mais manquent de précision et de réactivité pour une manipulation dextre bas niveau. Veo-Act cherche à combiner ces deux forces : selon les auteurs, l'approche améliore le suivi d'instructions et le taux de réussite par rapport à une politique VLA seule, notamment dans des situations nouvelles et sémantiquement complexes, un résultat qui alimente le débat sur le rôle des modèles vidéo comme planificateurs visuels pour la robotique généraliste, aux côtés d'approches comme pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure). Ce travail s'inscrit dans la montée en puissance des politiques VLA comme paradigme dominant de l'apprentissage robotique généraliste, et dans celle des modèles de génération vidéo dont les progrès en cohérence temporelle poussent plusieurs équipes à les détourner en planificateurs pour la robotique. Aucune entreprise, aucun laboratoire ni acteur français ou européen n'est cité, et le travail reste une contribution académique publiée en version révisée sur arXiv, sans calendrier de déploiement industriel annoncé.

RechercheActu
1 source
Évaluer la pilotabilité comportementale des modèles fondation de comportement
2arXiv cs.RO 

Évaluer la pilotabilité comportementale des modèles fondation de comportement

Une équipe de chercheurs publie sur arXiv RoboSteer, présenté comme le premier benchmark dédié à la « steerabilité comportementale » des Behavior Foundation Models (BFM). Ces modèles servent à convertir des intentions humaines en comportements exécutables par des humanoïdes. Les auteurs définissent la steerabilité comme la capacité d'un BFM à produire fidèlement des comportements qui respectent les intentions de l'utilisateur. Le benchmark la décompose en trois niveaux hiérarchiques : le pilotage conditionnel (Conditional Steering), le pilotage sous contraintes (Constraint Steering) et le pilotage compositionnel (Compositional Steering). Il s'appuie sur un cadre d'évaluation unifié et sur un vaste corpus de mouvements multimodaux. Les auteurs ont mené avec cet outil ce qu'ils décrivent comme la première étude empirique à grande échelle de la steerabilité, sur 9 BFM existants. Le résumé publié ne donne ni la taille du corpus, ni les scores, ni le classement des modèles évalués. L'enjeu est de déplacer l'évaluation des BFM. Jusqu'ici, la qualité de la génération de mouvement (réalisme, fluidité, suivi de trajectoire) tenait lieu de mesure de progrès. RoboSteer pose une autre question, plus proche des besoins d'un intégrateur ou d'un responsable d'exploitation : le robot fait-il ce qu'on lui demande, y compris sous contraintes, et en enchaînant plusieurs consignes ? Un humanoïde capable de gestes fluides mais incapable de respecter une contrainte ou de composer deux instructions reste difficile à déployer hors démonstration. Un benchmark standardisé offre aussi un terrain commun pour comparer des modèles aujourd'hui évalués avec des protocoles hétérogènes, et pour repérer les écarts entre ce que montrent les vidéos de démonstration et la fiabilité mesurée. Il faut toutefois rester prudent. Il s'agit d'un preprint, sans relecture par les pairs, et la valeur du benchmark dépendra de la diversité de son corpus, de la robustesse de ses métriques et de leur adoption par d'autres équipes. Ce travail s'inscrit dans la montée en puissance des modèles fondation pour le contrôle d'humanoïdes. Les approches de génération de mouvement conditionnées par le texte ou par des signaux multimodaux se sont multipliées, parallèlement aux modèles vision-langage-action (VLA) généralistes. Les benchmarks existants portent surtout sur la qualité du mouvement ou sur le suivi de tâches, rarement sur la fidélité à l'intention. RoboSteer vise cette lacune et intéresse autant les laboratoires académiques que les industriels qui développent des humanoïdes. Les auteurs présentent l'ensemble comme une base pour la « réalisation d'intention » au service d'une intelligence incarnée généraliste. La suite dépendra de la publication du code, des données et d'un classement public. La question à suivre est de savoir si les modèles récents résistent au niveau compositionnel, le plus exigeant des trois.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Frottement clé pour améliorer les modèles du monde des robots
3Robotics Business Review 

Frottement clé pour améliorer les modèles du monde des robots

Un nouveau papier technique propose une architecture appelée VμA pour corriger un angle mort des modèles du monde en robotique : l'absence du coefficient de frottement statique (μ) parmi les signaux de conditionnement. Aujourd'hui, la quasi-totalité des systèmes conditionnent leurs prédictions sur deux sources seulement, les images de caméras et la position des effecteurs mesurée par les encodeurs articulaires, ce qui suffit pour des tâches en espace libre mais devient insuffisant dès qu'un robot entre en contact avec un objet. Dans de nombreuses implémentations, le contact n'est même pas mesuré directement : il est déduit du courant moteur, un signal proxy éloigné de la physique réelle qui se joue au bout du doigt du gripper. Certains systèmes ajoutent des capteurs tactiles, comme ceux commercialisés par l'entreprise australienne Contactile pour équiper mains et pinces robotiques, avec des gains mesurables sur la préhension adaptative en temps réel et la correction de glissement. Mais ces capteurs restent limités à des cartes de pression, des images de déformation ou, au mieux, une distribution de force sur trois axes : ils disent qu'un contact a lieu et avec quelle intensité, pas si ce contact va tenir. C'est précisément cette lacune que VμA cherche à combler en injectant μ comme entrée de premier ordre. Le coefficient de frottement statique est la grandeur physique qui détermine si un objet saisi reste saisi, en fonction du couple de matériaux, de l'état de surface, de la température ou de la contamination. Il ne peut être ni vu par une caméra, ni déduit du courant moteur, ni reconstruit à partir d'une carte de pression. Pour l'industrie de la manipulation robotique, l'enjeu dépasse la subtilité académique : sans μ, un modèle du monde n'apprend que des corrélations statistiques entre motifs de contact et résultats observés dans ses données d'entraînement, ce qui explique pourquoi ces systèmes échouent souvent à généraliser sur des surfaces ou des objets inédits. Un modèle conditionné sur la friction change de nature, puisqu'il manipule directement la cause physique du glissement plutôt qu'un proxy appris, ce qui intéresse au premier chef les intégrateurs travaillant sur la manipulation en environnement non structuré, de la logistique à l'assemblage fin. Cette proposition s'inscrit dans la course plus large aux modèles du monde généralistes, présentés par une partie du secteur comme la prochaine étape après les architectures vision-langage-action de type Pi-0 ou GR00T N2, censées permettre à un robot de raisonner sur des situations jamais rencontrées plutôt que de mémoriser des tâches. L'argument du papier est en réalité une critique de cette trajectoire : tant que le conditionnement tactile reste incomplet, la promesse de généralisation reste largement théorique pour toute manipulation en contact riche. Les suites concrètes, à savoir une intégration de VμA sur du matériel comme les capteurs Contactile ou des essais chez des intégrateurs industriels, ne sont pas précisées dans le document source.

RecherchePaper
1 source
TACO : modèle du monde tactile en auto-correcteur pour le post-entraînement à grande échelle des VLA
4arXiv cs.RO 

TACO : modèle du monde tactile en auto-correcteur pour le post-entraînement à grande échelle des VLA

Des chercheurs ont présente TACO (TActile world model as a self-COrrector), un cadre de post-entrainement pour les modèles Vision-Language-Action (VLA) dédié aux taches de manipulation robotique a fort contact physique, décrit dans un article publie sur arXiv (2607.02840v1). Le système repose sur une boucle en trois étapes baptisée Recognize-Imagine-Label : un modèle unifie de progression et d'action détecte les états proches de l'échec a partir d'estimations de progression, un modèle génératif visuo-tactile imagine des segments de correction locale, puis ce même modèle de progression-action étiquette ces segments avec des actions correctives exécutables. Applique a des taches réelles de manipulation a fort contact, TACO améliore le taux de réussite de 44 points de pourcentage par rapport a la politique de base, et de 32 points par rapport a une version dépourvue de son mécanisme d'adaptation tactile a isolation de connaissances, qui protégé les priors visuo-linguistiques pré-entraines pendant l'apprentissage. Ce travail cible un angle mort connu des modèles VLA actuels : la vision seule peine a détecter les micro-perturbations de contact (glissement, mauvais alignement, prise partielle) qui, dans une tache d'assemblage ou de préhension fine, peuvent transformer une erreur locale en échec irrécupérable. Jusqu'ici, corriger ce type de défaillance nécessitait soit une supervision humaine couteuse a grande échelle, soit des modèles du monde uniquement visuels susceptibles de générer des trajectoires imaginées plausibles a l'oeil mais physiquement incohérentes au niveau du contact. En montrant qu'un modèle du monde tactile peut produire des corrections exploitables sans superviseur humain et sans dégrader les capacités de base du modèle, TACO apporte un élément de réponse concret a une limite régulièrement pointée par les intégrateurs industriels : des démonstrations VLA impressionnantes en environnement contrôle qui ne se traduisent pas toujours en fiabilité sur des taches de préhension fine en usine ou en logistique. L'approche s'inscrit dans la lignée des travaux récents sur les modèles du monde pour améliorer les politiques robotiques par simulation de rollouts, dans la même veine que ce qui alimente des familles de modèles VLA comme Pi-0, GR00T N2 ou Helix, mais en ajoutant une modalité tactile la ou ces travaux se limitaient jusque-la a la vision. L'article ne précise ni affiliation institutionnelle ni déploiement industriel : il s'agit a ce stade d'une contribution de recherche publiée en preprint, sans intégration annoncée chez un fabricant de bras robotique ou d'humanoïde. La suite logique, si ces résultats se confirment, serait une adoption par des laboratoires travaillant sur la manipulation fine (objets déformables, assemblage électronique, tri logistique), la ou le cout de supervision humaine pour corriger les échecs de contact reste aujourd'hui le principal frein au déploiement a grande échelle des politiques VLA.

RechercheActu
1 source