RecherchearXiv cs.RO 11 août 2026

JEPA-WAM : des politiques vision-langage-action apprises par modélisation du monde à embarquement conjoint

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

JEPA-WAM, un nouveau modèle de monde latent (world action model, WAM) pour le contrôle robotique, est présenté dans un article publié le 11 août 2026 sur arXiv (2608.09381v1). Le système s'appuie sur l'espace latent pré-entraîné V-JEPA, l'architecture d'auto-supervision vidéo développée par Meta AI, et couple prédiction de transition et génération d'action continue via un prédicteur partagé, plutôt que de générer explicitement des vidéos futures comme le font les WAM à base vidéo, coûteux à déployer. Sur le benchmark LIBERO-Plus, JEPA-WAM atteint 79,2 % de réussite, le meilleur score parmi les méthodes sans pré-entraînement à grande échelle sur des politiques robotiques. Instancié sur le modèle pi_0.5 déjà pré-entraîné, il grimpe à 86,3 %, la meilleure performance globale rapportée dans l'article. Des expériences complémentaires sur le simulateur RoboTwin 2.0 et sur des tâches de manipulation bimanuelle en conditions réelles confirment une bonne généralisation face aux variations visuelles et spatiales.

Ce travail s'attaque à un compromis central dans l'apprentissage de politiques vision-langage-action (VLA) : les modèles de monde générant explicitement des vidéos futures sont coûteux en calcul et en latence, tandis que les approches latentes existantes sacrifient souvent la richesse de la représentation prédictive ou la séparent du chemin utilisé pour générer l'action. En démontrant qu'un même prédicteur partagé peut porter à la fois la supervision de transition et la prédiction d'action sans déconnecter représentation et politique, JEPA-WAM fournit un argument empirique en faveur de l'unification des deux tâches dans une même colonne vertébrale visuelle. Pour les équipes de recherche et les intégrateurs en robotique, l'intérêt pratique tient au fait que la méthode s'applique aussi à des politiques VLA déjà pré-entraînées, comme pi_0.5, sans modifier leurs chemins de perception et d'action d'origine, ce qui laisse entrevoir un gain applicable à des systèmes existants plutôt qu'une architecture entièrement nouvelle à réentraîner.

Il s'agit d'un article de recherche publié sur arXiv, sans annonce de produit ni de déploiement commercial : les résultats reposent sur des benchmarks de simulation (LIBERO-Plus, RoboTwin 2.0) complétés par des essais réels limités en manipulation bimanuelle, sans précision sur le nombre de robots ou les sites concernés. JEPA-WAM s'inscrit dans la lignée des architectures d'apprentissage par prédiction latente issues de V-JEPA, et se positionne face à l'écosystème grandissant des politiques VLA telles que pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. Les auteurs ne précisent aucun calendrier de suite, pilote industriel ou partenariat, ce qui situe cette publication au stade de la recherche fondamentale plutôt qu'à une étape de déploiement à court terme.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 World models

À lire aussi

1arXiv cs.RO

Modèle du monde critique pour l'apprentissage par renforcement vision-langage-action (WCM)

Des chercheurs ont publié fin juillet 2026 un article arXiv (2607.29613) présentant le World Critic Model (WCM), une nouvelle architecture pour l'apprentissage par renforcement (RL) appliqué aux modèles Vision-Language-Action (VLA) utilisés en manipulation robotique. Le problème ciblé est celui des méthodes RL à base de critique, qui évaluent la valeur d'une action à partir d'une seule image ou d'un seul instant du flux visuel, un choix mal adapté au contrôle robotique où l'observation est par nature partielle et séquentielle. Bâti sur une architecture légère dérivée de LeJEPA, WCM prédit conjointement l'état latent futur de la scène et estime la valeur de l'action, ce qui force le critique à apprendre la dynamique temporelle plutôt qu'à simplement régresser un score. Le système s'intègre aux pipelines on-policy et off-policy et fonctionne avec les backbones VLA de référence Pi0, Pi0.5 et OpenVLA-OFT. Les auteurs rapportent des résultats état de l'art sur 149 tâches réparties sur quatre benchmarks, avec des gains marqués en généralisation hors distribution, ainsi qu'une validation sur sept tâches de manipulation réelles combinant OpenVLA-OFT et Pi0.5 en RL off-policy. L'enjeu dépasse la seule performance chiffrée: le RL post-entraînement des modèles VLA est aujourd'hui l'un des leviers les plus regardés pour fiabiliser les politiques robotiques au-delà de l'imitation pure, mais les critiques scalaires classiques peinent justement là où le contrôle réel exige de la mémoire et de l'anticipation. Si les gains de généralisation se confirment en dehors du cadre des benchmarks académiques, WCM pourrait devenir un composant standard pour les équipes qui affinent des VLA en production plutôt qu'une simple curiosité de laboratoire, en particulier pour les intégrateurs qui cherchent à réduire l'écart entre démonstration en simulation et déploiement réel. L'article s'inscrit dans la lignée des travaux récents sur l'apprentissage par prédiction de représentations latentes (JEPA, popularisé par Meta AI) appliqués à la robotique, et complète les approches critic-based existantes du RL pour VLA. Les auteurs ne précisent pas de plan de mise en open source ni de calendrier d'intégration dans des stacks robotiques commerciales; l'étape suivante logique serait une validation à plus grande échelle sur des plateformes industrielles.

RechercheActu

1 source

2arXiv cs.RO

Real2Sim à base d'agents : modélisation physique du monde par agents vision-langage

Optimus, Figure, Gr00t... la robotique humanoïde progresse vite en démos mais bute toujours sur un même verrou technique : reconstruire un environnement réel en simulation physique exploitable. Un article arXiv (2607.19190) présente Agentic Real2Sim, un framework qui utilise des agents vision-langage (VLA) pour automatiser cette conversion. Concrètement, à partir d'un simple enregistrement d'une interaction robot-objet dans le monde réel, le système génère un "jumeau épisodique" simulable, préservant les observations visuelles, les géométries de la scène, les états des objets et les mouvements du robot. Les auteurs ont testé leur approche sur trois familles de scénarios distinctes habituellement traitées par des pipelines séparés : manipulation d'objets rigides, interaction avec des objets déformables, et mouvements humanoïdes. Point notable, le framework peut fonctionner avec un modèle vision-langage open-weight, à une fraction du coût des modèles frontier (type GPT-4V ou équivalents propriétaires), tout en obtenant un taux de conversion réussie comparable. L'enjeu dépasse la seule prouesse académique. Le goulot d'étranglement du "real2sim" est aujourd'hui l'un des principaux freins à l'entraînement de politiques robotiques par apprentissage : sans environnement simulé fidèle, impossible d'entraîner ou d'évaluer massivement des modèles de contrôle sans multiplier les essais coûteux sur robot physique. Actuellement, ce travail repose sur du réglage manuel de modèles de vision, du nettoyage de maillages 3D et de l'alignement de repères de coordonnées, un processus lent et peu reproductible d'un labo à l'autre. Automatiser cette étape via des agents autonomes, capables de prendre eux-mêmes les décisions de pipeline, pourrait accélérer la constitution de jeux de données d'entraînement pour les politiques de type VLA, un sujet clé alors que des acteurs comme Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2) cherchent à démontrer que leurs modèles généralisent au-delà des données d'entraînement. Ce travail s'inscrit dans une tendance plus large de recherche visant à combler l'écart entre simulation et réel (le "sim-to-real gap"), longtemps considéré comme l'un des obstacles majeurs à la robotique généraliste. Il ne s'agit ici que d'une publication de recherche, avec un site de projet public, et non d'un produit commercial ou d'un déploiement industriel : les auteurs eux-mêmes le présentent comme "un premier pas" vers une conversion real2sim généralisable et à l'échelle, sans préciser de calendrier de mise à disposition ou d'intégration dans des pipelines industriels existants.

RecherchePaper

1 source

3arXiv cs.RO

JEPA-WAM : prédiction d'embeddings conjoints par étapes pour les modèles monde-action en manipulation robotique

Des chercheurs présentent JEPA-WAM (arXiv:2608.10780), qui ajoute a un World-Action Model fonde sur Motus un module Stage-JEPA, un prédicteur Joint-Embedding Predictive Architecture conditionne par objectif. L'architecture distingue un futur physique court terme, capturant l'évolution locale de la scene pour l'exécution du geste, d'un futur sémantique au niveau de l'étape, qui représente la progression de la tache d'une phase a la suivante. Stage-JEPA s'appuie sur un encodeur V-JEPA2 gelé pour extraire l'état courant a partir de l'observation et de l'instruction, puis prédit la cible latente de l'étape suivante inférée. Sur 50 taches du benchmark de simulation RoboTwin 2.0, en environnements propres et randomises, le système atteint 90,25 % de réussite globale et réduit de 5,97 % le nombre moyen d'étapes d'exécution dans les épisodes réussis par rapport a la meilleure base de comparaison testée. Ce travail cible une limite connue des politiques vision-langage-action généralistes : la plupart représentent le futur comme un court segment vidéo-action fixe, ce qui capture la dynamique locale mais ignore la progression d'une tache a plusieurs étapes. En séparant prédiction court terme et planification sémantique par étape, JEPA-WAM propose une piste pour réduire l'écart entre réactivité immédiate et raisonnement a plus long horizon, un enjeu partage par des architectures comme Pi-0, GR00T N2 ou Helix qui visent la généralisation entre taches. Le gain de 5,97 % en nombre d'étapes suggère une meilleure efficacité d'exécution sans perte de taux de réussite, un signal utile pour des intégrateurs cherchant a raccourcir les cycles, même si ces résultats restent obtenus en simulation et non en déploiement réel. L'approche s'inscrit dans la lignée des architectures Joint-Embedding Predictive popularisées par V-JEPA et V-JEPA2, des modèles du monde auto-supervises entraines sur vidéo et repris ici comme encodeur gelé plutôt que reentraine. Le choix d'un WAM fonde sur Motus situe la contribution dans la famille grandissante des modèles combinant prédiction du monde et génération d'action, en concurrence avec les approches VLA de Physical Intelligence (Pi-0), Nvidia (GR00T N2) ou Figure (Helix) ; aucun acteur européen n'apparait dans cette publication. L'article, publie sur arXiv sous la référence 2608.10780, ne fixe aucun calendrier de transfert vers des robots physiques ni de partenariat industriel, l'étape suivante habituelle pour ce type de recherche étant la validation hors simulation avant toute intégration commerciale.

RecherchePaper

1 source

4arXiv cs.RO

SG-WAM : modélisation du monde auto-guidée dans un espace de politiques géométriquement conscient

Traduction et synthèse de l'article, en français, prêt à publier : SG-WAM (Self-Guided World Modeling in Geometry-Aware Policy Space) est un nouveau framework de recherche en robotique, publié sur arXiv (référence 2608.01397v1), qui s'attaque aux modèles World Action (WAM), ces systèmes qui couplent génération d'actions et prédiction des états futurs de la scène. La méthode introduit des "dynamics tokens" apprenables et un module appelé Self-Guided World Predictor, chargé de prévoir l'état latent futur de ces tokens en fonction des actions du robot. La supervision provient d'une copie à moyenne mobile exponentielle (EMA) du même réseau de politique, ce qui garantit une cohérence avec l'espace de représentation utilisé par le module de génération d'actions. Une supervision géométrique additionnelle structure les tokens d'image de la politique, apportant un ancrage spatial aux dynamics tokens. L'ensemble, prédiction latente, ancrage géométrique et génération d'actions par flow matching, est optimisé conjointement de bout en bout. Construit sur un modèle de seulement 0,9 milliard de paramètres, sans pré-entraînement embodied à grande échelle, SG-WAM atteint 98,5% de taux de réussite moyen sur le benchmark LIBERO et 73% sur LIBERO-Plus, tout en dépassant des baselines non précisément nommées dans l'abstract, aussi bien en conditions réelles similaires à l'entraînement qu'en généralisation hors distribution. L'enjeu identifié est concret: les WAM existants modélisent la dynamique future soit dans un espace d'observation brut, coûteux en calcul et peu aligné avec l'action, soit dans un espace latent auxiliaire non structuré pour la géométrie. En unifiant les deux dans l'espace même de la politique, SG-WAM évite ce compromis. Le résultat le plus notable reste la performance obtenue avec un modèle compact et sans pré-entraînement massif, ce qui questionne l'hypothèse dominante selon laquelle les modèles VLA nécessitent systématiquement une échelle de données et de paramètres considérable pour généraliser en conditions réelles. Le travail s'inscrit dans une lignée de recherche académique sur les world models appliqués à la manipulation robotique, où la prédiction d'état futur vient de plus en plus compléter les architectures de politique conditionnées par le langage. Il s'agit ici d'une contribution de recherche publiée en preprint, non d'un système déployé, et les baselines comparées ne sont pas explicitement identifiées dans le résumé, un point à vérifier dans le papier complet avant toute reprise de ces chiffres.

RecherchePaper

1 source