RecherchearXiv cs.RO 9 octobre 2026

LeWAM : un modèle d'action du monde JEPA avec MPC guidé par pilotage de diffusion

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

LeWAM, présenté sur arXiv (2610.12407v1), est un « world action model » (WAM) : un transformeur bidirectionnel qui gère quatre modes dans un même réseau, à savoir la dynamique directe, la dynamique inverse, la dynamique arrière et la prédiction de politique. Le modèle s'appuie sur un espace latent de type JEPA sans décodeur, entraîné de bout en bout à travers ces quatre modes. Les auteurs revendiquent trois résultats. D'abord, des sondes linéaires lisent l'état du robot et des objets dans le latent de LeWAM mieux que dans celui de LeWM (Le World Model, un JEPA à dynamique directe seule), tandis que le latent ignore les distracteurs visuels aussi bien que LeWM et bien mieux qu'un WAM fondé sur la reconstruction. Ensuite, en boucle fermée, LeWAM égale une politique classique à flow matching entraînée sur le même encodeur à taille équivalente, tout en fournissant en plus un modèle du monde. Enfin, pour la planification, échantillonner des actions brutes dans un MPC laisse le planificateur exploiter les erreurs du modèle de dynamique. Planifier dans l'espace de bruit de la tête de politique, une approche de « diffusion steering », améliore les performances en boucle fermée.

Pour les équipes qui conçoivent des politiques robotiques, le résultat le plus utile est sans doute le troisième. Le MPC avec modèle appris a un défaut connu : l'optimiseur cherche les actions qui font mentir le modèle, et non celles qui réussissent la tâche. Contraindre la recherche au voisinage de ce que la politique sait produire limite ce biais, sans exiger un modèle du monde parfait. Le deuxième résultat compte aussi : unifier politique et modèle du monde ne dégrade pas le contrôle, ce qui évite de maintenir deux réseaux. L'argument de fond est que des représentations prédictives, sans reconstruction de pixels, se montrent plus robustes aux distracteurs visuels, un point critique en environnement d'atelier ou d'entrepôt, où l'éclairage et l'arrière-plan varient. Il faut toutefois rester prudent. Le résumé ne donne ni chiffres de succès, ni noms de benchmarks, ni nombre de tâches, ni indication de test sur robot réel. On ignore donc l'ampleur des gains et leur transfert hors simulation.

Ce travail prolonge deux courants : les architectures JEPA, portées par l'école de Yann LeCun autour de l'apprentissage de représentations prédictives, et les world action models qui prédisent conjointement actions et observations futures, généralement à partir de latents reconstructifs, souvent issus de modèles de vidéo ou de diffusion. LeWAM se positionne en alternative plus légère et plus alignée avec l'état physique. Il se compare à LeWM, sa base directe, et aux WAMs à reconstruction, plutôt qu'à des VLA de grande échelle comme Pi-0 ou GR00T. Il s'agit d'un preprint v1, sans relecture par les pairs. Les prochaines étapes à surveiller sont la publication des chiffres détaillés, les tests sur matériel réel et le passage à l'échelle avec des données multi-tâches.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

NVIDIA GR00T World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

TacWAM : un modèle d'action du monde guidé par ancrage, avec prédiction tactile sensible à la mécanique

Traduction-résumé de l'article arXiv ci-dessous, format demandé (3 paragraphes, sans titres). --- Des chercheurs présentent TacWAM (Anchor-Guided World Action Model with Mechanics-Aware Tactile Prediction), un modèle qui combine prédiction d'état futur et génération d'action pour des robots manipulateurs, en s'appuyant cette fois sur le tactile plutôt que sur la seule vision. Le système repose sur trois briques : un encodeur tactile à fusion spatialement alignée (SAF) qui projette apparence tactile, champs de force denses et flux de déformation dans un espace latent commun, avec reconstruction bilatérale des forces et couples pour préserver l'information de contact globale ; un encodeur d'historique tactile qui donne du contexte temporel à la prédiction future ; et un mécanisme d'attention tri-modal guidé par ancrage (AGT) qui sépare les tokens visuels et tactiles courants, les tokens de prédiction future et les tokens d'action, de façon à ce que la supervision par le tactile futur n'agisse pas comme un raccourci direct pour l'action. Sur quatre tâches réelles de manipulation à contact riche (prise d'objets fragiles, contact de surface soutenu, manipulation dynamique en main), TacWAM atteint un taux de réussite moyen de 75,0 %, soit 37,5 points de plus que la meilleure référence testée. Des ablations montrent une dégradation nette dès que l'historique tactile est retiré ou que l'accès aux cibles de prédiction future est relâché. L'enjeu dépasse la simple mesure de performance : la vision seule peine à fournir un signal utile pour la force, le glissement ou la déformation lors de tâches de contact fin, un angle mort connu des approches de manipulation par apprentissage. En montrant qu'une prédiction tactile future bien conçue, couplée à une architecture qui empêche cette prédiction de devenir une "triche" pour l'action, améliore significativement des tâches réputées difficiles (objets fragiles, contact soutenu), les auteurs apportent un argument concret en faveur de l'intégration native du tactile dans les futurs modèles de type "world action model", au-delà des architectures VLA aujourd'hui dominées par la vision et le langage. Ce travail s'inscrit dans la lignée des World Action Models, qui cherchent à unifier prédiction du monde et politique d'action pour améliorer la robustesse des robots manipulateurs, un axe déjà exploré via la vision par des modèles comme GR00T N2 ou Pi-0. TacWAM reste à ce stade une contribution de recherche publiée sur arXiv, validée sur un nombre restreint de tâches en laboratoire et non un système déployé industriellement ; ses auteurs annoncent vouloir approfondir les ablations et étendre l'évaluation à davantage de scénarios de contact.

RecherchePaper

1 source

2arXiv cs.RO

LeWAM : modélisation de bout en bout du monde et de l'action avec les JEPA

LeWAM, un modèle publié sur arXiv (2610.12818) par une équipe de chercheurs, propose d'entraîner de bout en bout une architecture JEPA (joint-embedding prédictive architecture) dédiée au contrôle robotique. Les JEPA apprennent des modèles du monde compacts dans un espace latent, sans reconstruction de pixels. Jusqu'ici, les pipelines existants entraînaient d'abord les représentations visuelles, puis la dynamique conditionnée par l'action, et ajoutaient ensuite une politique de contrôle ou un solveur de planification. LeWAM fusionne ces étapes avec deux ingrédients: un objectif d'entraînement conjoint qui combine la prédiction de l'état latent suivant et le « flow matching » sur les actions, et une contrainte gaussienne isotrope sur l'espace latent. Un même modèle peut alors exécuter directement une politique ou planifier en évaluant des actions échantillonnées via sa dynamique latente. Sur les tâches de planification visuelle, le taux de réussite passe de 28,6 % à 89,7 % pour les tâches riches en contacts, et de 10,9 % à 46,2 % pour les tâches à long horizon, avec une planification 32,3 fois plus rapide que les JEPA antérieures. L'intérêt tient à l'unification. Les équipes robotiques arbitrent aujourd'hui entre des politiques réactives de type VLA ou behavior cloning, rapides mais sans anticipation explicite, et des modèles du monde qui permettent de planifier mais restent lourds à entraîner et à exécuter au moment du test. Un gain de vitesse d'un facteur 32 sur la planification rapproche l'approche « imaginer avant d'agir » des contraintes de cadence d'un déploiement réel. Les auteurs indiquent aussi que LeWAM reste compétitif avec des méthodes établies en behavior cloning, en simulation comme sur robots physiques, ce qui suggère qu'on n'a pas à sacrifier la qualité de la politique pour obtenir un modèle du monde utilisable. Les analyses d'interprétabilité indiquent que les représentations apprises sont pertinentes pour le contrôle et que la distribution d'actions guide efficacement la planification. Il faut toutefois relativiser: le résumé ne précise ni les benchmarks, ni les robots, ni le nombre d'essais, et les gains les plus spectaculaires sont mesurés face à d'autres JEPA, pas face aux meilleurs VLA du moment. Il s'agit d'un préprint, sans produit ni déploiement industriel associé. Le contexte est celui de la montée des modèles du monde latents, portée par la lignée JEPA défendue par Yann LeCun, et de la concurrence avec les approches génératives opérant dans l'espace des pixels ou de la vidéo, ainsi qu'avec les VLA comme Pi-0 ou GR00T. Le nom LeWAM évoque un clin d'œil à cette lignée, sans que le résumé le confirme. La prochaine étape logique est une validation indépendante sur des manipulations plus variées et des plateformes physiques plus nombreuses, avec la publication du code et des poids. Ce sera le test décisif pour savoir si ce gain de planification tient hors des benchmarks choisis par les auteurs.

RecherchePaper

1 source

3arXiv cs.RO

UniWAM : modèle unifié du monde et de l'action

UniWAM, présenté sur arXiv (2610.02054, première version), est une architecture unifiée qui combine trois blocs : un « raisonneur physique » issu d'un modèle vision-langage préentraîné, un générateur de monde (vidéo) et un prédicteur d'actions. L'ensemble apprend conjointement la compréhension sémantique du monde physique, la génération visuelle et la prédiction d'actions. Les auteurs ont construit un pipeline de nettoyage et d'annotation pour les données égocentriques humaines et les données robot. Les actions bas niveau sont exprimées en langage naturel, afin de préserver les capacités linguistiques du modèle de base. Le préentraînement répartit les supervisions entre composants : VQA (questions-réponses visuelles), vidéos égocentriques humaines et démonstrations robot. Au post-entraînement, une augmentation par bruit visuel sur le futur réduit la dépendance à des prédictions précises, et un flow matching conditionné par l'historique d'actions initialise la génération d'actions. Selon les auteurs, cela réduit nettement le nombre d'étapes de débruitage sans perte de performance. Ils revendiquent l'état de l'art en performance in-distribution, robustesse, généralisation, suivi d'instructions et tâches longues. Le résumé ne donne ni chiffres ni noms de benchmarks. L'intérêt est de s'attaquer à un compromis connu. Les modèles VLA (vision-langage-action) héritent du raisonnement des VLM, mais une supervision limitée aux actions leur donne peu d'ancrage dans la dynamique physique. À l'inverse, les modèles monde-action, bâtis sur la génération vidéo, captent bien les régularités spatio-temporelles mais comprennent et raisonnent moins bien hors distribution. Unifier les deux dans un seul modèle est une réponse directe à ce problème de robustesse, qui compte pour les intégrateurs confrontés au fossé entre démo et déploiement. La réduction des étapes de débruitage compte aussi pour la latence de contrôle, point faible des approches fondées sur la vidéo. Le résultat le plus transposable est la loi d'échelle log-linéaire du co-entraînement humain-robot. Si elle se confirme, elle soutient l'idée que les vidéos humaines, bien moins chères que la téléopération, peuvent servir de levier de données. Prudence toutefois : il s'agit d'un préprint non évalué par les pairs, sans test annoncé sur robot en production. Ce travail s'inscrit dans la course entre VLA (Pi-0 de Physical Intelligence, GR00T de NVIDIA, Helix de Figure) et modèles monde-action, qui exploitent la génération vidéo pour la planification. Il prolonge aussi la tendance à exploiter les données égocentriques humaines pour pallier la rareté des démonstrations robot. Le résumé ne cite ni équipe, ni plateforme robotique, ni calendrier de publication du code ou des poids. Il faudra donc attendre le texte complet pour juger du protocole, de la comparaison avec les références et de la validation sur matériel réel.

RecherchePaper

1 source

4arXiv cs.RO

Guidage sensible à l'achèvement pour les modèles du monde et d'action

Des chercheurs publient sur arXiv (2610.01559) une méthode baptisée Completion Aware Guidance (CAG), destinée aux World Action Models (WAMs). Ces modèles prédisent à la fois les futurs visuels et les actions du robot. Le travail cible un défaut précis, l'« imagination incomplète » : le modèle produit des prédictions plausibles et cohérentes avec les actions, mais qui omettent la transition nécessaire pour terminer la tâche. CAG est une méthode d'échantillonnage sans entraînement supplémentaire, qui oriente la génération vers l'achèvement de la tâche. Sur plusieurs WAMs représentatifs, le taux de succès passe de 64 % à 70 % sur un sous-ensemble de RoboTwin 2.0, et de 69 % à 75 % en simulation zéro-shot. La part d'imagination incomplète tombe de 79 % à 40 %. Les résultats portent sur des benchmarks simulés. L'article ne mentionne ni test sur robot réel, ni déploiement. L'intérêt tient d'abord au diagnostic. Selon les auteurs, l'échec ne vient pas de l'architecture du modèle du monde. Il apparaît quand ce modèle est adapté au contrôle par segments courts (short-chunk control). Dans ce régime, le modèle favorise de façon répétée des prolongements locaux plausibles plutôt que les transitions qui achèvent la tâche. Pour les équipes qui construisent des politiques VLA ou des WAMs, cela signale qu'une partie des échecs en manipulation vient de la procédure d'échantillonnage et d'adaptation, pas d'un manque de capacité du modèle de base. Corriger cela à l'inférence, sans réentraînement, est peu coûteux. Il faut toutefois relativiser : un gain de 6 points de succès reste modeste, et le chiffre le plus net, 79 % à 40 %, mesure un défaut défini par les auteurs eux-mêmes. Il ne se traduit pas directement en fiabilité industrielle. Ce travail s'inscrit dans l'essor des modèles qui apprennent à prédire l'avenir visuel pour guider l'action. L'approche est une alternative aux VLA purement réactifs, comme Pi-0 ou Helix. Elle est aussi un complément aux efforts de modèles du monde généralistes, tels que GR00T. RoboTwin 2.0 sert de banc d'essai standard pour la manipulation bimanuelle en simulation. Il reste donc à voir si le gain tient sur matériel réel, avec ses latences, son bruit de perception et ses contraintes de temps de cycle. Les auteurs n'annoncent pas de calendrier de validation physique. L'article n'évoque aucun acteur français ou européen.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source