RecherchearXiv cs.RO 2 octobre 2026

FutureWorlds : apprendre des modèles du monde robotiques à partir de futurs alternatifs

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient FutureWorlds, un cadre d'apprentissage de modèles du monde robotiques (world models) qui prédisent la scène future en fonction des actions du robot. Il repose sur un modèle autorégressif discret multimodal. Pendant l'apprentissage par renforcement, il applique une diverse beam search pour produire plusieurs futurs candidats qui équilibrent confiance et diversité. Chaque candidat dispose d'une mémoire bornée qui conserve les états de la scène, de sorte que la génération et le scoring de la politique s'appuient sur le même historique. Les auteurs proposent aussi MemSPO (Memory-Conditioned Search-Guided Policy Optimization). Cette méthode convertit les récompenses de trajectoires vidéo en avantages relatifs au sein d'un groupe de candidats, puis s'en sert pour optimiser le modèle. Sur RT-1, BridgeV2 et RoboCasa, la LPIPS (métrique de distance perceptuelle) à 32 images baisse de 14,78 %, 20,84 % et 9,12 % par rapport à la meilleure référence de chaque jeu de données. Selon les auteurs, 200 mises à jour MemSPO suffisent pour améliorer encore la qualité et prolonger la prédiction au-delà de l'horizon d'entraînement. Le code et la page projet sont publiés sur GitHub.

L'enjeu tient à la manière dont on exploite les prédictions d'un world model. Prédire un futur plausible ne suffit pas. Il faut comparer plusieurs futurs pour en tirer un signal d'apprentissage. Quand les candidats se ressemblent, la comparaison apporte peu d'information. Quand ils divergent, chacun exige un historique propre, ce qui fait grossir le coût de mémoire et le risque d'incohérence. En traitant ces deux contraintes ensemble, FutureWorlds vise des simulateurs appris plus fiables pour évaluer des politiques VLA (vision-langage-action) ou pour générer des données d'entraînement. Les ablations sur la mémoire, l'analyse de sensibilité au décodage et l'évaluation par flux optique indiquent que le gain dépasse l'aspect visuel, avec un mouvement mieux prédit et des états d'objets plus cohérents. Les limites sont nettes : les résultats sont des métriques de génération vidéo hors ligne, sans test sur robot réel. Les gains sont mesurés contre des références choisies par les auteurs. Rien n'indique non plus que la qualité de prédiction se traduise en meilleures politiques de contrôle.

Le travail s'inscrit dans la montée des world models pour la robotique. RT-1, BridgeV2 et RoboCasa sont des corpus de manipulation devenus des bancs d'essai courants pour ces modèles. Les approches concurrentes reposent surtout sur la diffusion vidéo ou sur des modèles autorégressifs entraînés par maximum de vraisemblance. Les auteurs misent plutôt sur le post-entraînement par renforcement, à l'image de ce qui a réussi pour les grands modèles de langage. La suite logique consisterait à utiliser ces world models comme simulateurs pour entraîner des politiques, puis à valider sur matériel réel. Cela reste à démontrer. Cette publication est une préversion arXiv (v1) qui n'a pas encore été relue par des pairs. Aucun acteur européen n'y est mentionné.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage natif de prior d'action à partir de vidéos pour les modèles d'action du monde

Des chercheurs publient sur arXiv (2610.03391) NAVA-WAM, un « world action model » (WAM) qui apprend une politique d'action directement à partir de vidéos sans annotation d'actions. Un WAM combine la prédiction de la dynamique visuelle future et celle des actions du robot. Jusqu'ici, ces modèles dépendaient de trajectoires robotiques annotées avec les actions, rares et coûteuses à collecter. NAVA-WAM s'entraîne en deux étapes. Le pré-entraînement porte sur des vidéos d'observation seule : une supervision par flow matching sur les transitions visuelles futures est propagée, via une attention jointe structurée par transitions, jusqu'à l'Action-DiT, le module de diffusion qui produit les actions. Celui-ci acquiert ainsi des « priors » d'action. La seconde étape affine l'Action-DiT sur des démonstrations étiquetées par un flow matching conjoint vidéo-action. Une attention asymétrique découple la branche visuelle du débruitage itératif des actions, ce qui permet une inférence rapide, limitée aux actions. Les auteurs affirment de meilleurs résultats que les approches antérieures, en distribution comme hors distribution, une bonne efficacité en nombre d'étiquettes d'action et une généralisation sur robot réel. Le résumé ne fournit ni score chiffré, ni liste de tâches, ni nom de plateforme robotique. L'enjeu est celui du goulot d'étranglement des données. Les modèles vision-langage-action (VLA) et leurs variantes à modèle de monde se heurtent au coût de la téléopération. Les vidéos humaines ou robotiques sans étiquettes, elles, existent en grande quantité. Les méthodes actuelles les exploitent par deux voies indirectes : pré-entraîner des représentations visuelles qu'il faut ensuite adapter au contrôle, ou inférer des « actions latentes » à ancrer ensuite sur des commandes robot. NAVA-WAM supprime ces intermédiaires, ce qui limiterait les pertes de transfert et la complexité d'un modèle d'action latente séparé. Si le résultat tient à grande échelle, le volume de données robotiques annotées nécessaires pour une nouvelle tâche ou un nouvel embodiment pourrait baisser. Un intégrateur pourrait alors réutiliser des vidéos de ses propres lignes. Prudence toutefois : il s'agit d'un preprint non évalué par des pairs. Les gains annoncés restent à confirmer par des benchmarks indépendants, avec des détails sur la quantité de vidéos et la diversité des tâches réelles testées. Ce travail s'inscrit dans la course aux WAM et aux politiques apprises de vidéo, face aux VLA entraînés sur démonstrations (Pi-0, GR00T) et aux approches par actions latentes. Les prochaines étapes à surveiller sont la publication du code et des poids, des évaluations sur des corpus vidéo plus larges, et une comparaison directe avec les modèles de fondation industriels. Les auteurs ne signalent aucun partenaire industriel ni déploiement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Grounded-Dreamer : apprentissage robotique à partir de données synthétiques d'un modèle du monde, avec ancrage physique

Des chercheurs proposent Grounded-Dreamer, un cadre logiciel (arXiv 2610.13164, première version) qui génère des données de manipulation robotique synthétiques sans aucune démonstration par téléopération humaine. Le point de départ est un petit ensemble d'images réelles montrant l'état initial d'une tâche. À partir de ces images, la méthode reconstruit automatiquement les objets pertinents et la géométrie de la caméra, les aligne dans un simulateur doté d'un moteur physique, puis y collecte des trajectoires physiquement valides. Ces trajectoires servent à post-entraîner deux modèles: un modèle du monde vidéo, qui produit des séquences de manipulation visuellement réalistes, et un modèle de dynamique inverse, qui en déduit les actions du robot correspondantes. Chaque trajectoire générée est ensuite rejouée dans la simulation reconstruite, et seules celles qui accomplissent réellement la tâche sont conservées. Les politiques déployées sur robot réel sont entraînées uniquement sur ces trajectoires filtrées. Le résumé de l'article annonce des tâches testées en conditions réelles et une amélioration « substantielle » de l'apprentissage, sans fournir de taux de réussite, de nombre de tâches, de volume de données ni de plateforme robotique. Ces éléments restent donc à vérifier dans le texte complet. L'enjeu touche le goulot d'étranglement le plus coûteux de la robotique d'apprentissage: la collecte de données étiquetées par action. La téléopération reste chère et peu extensible, la simulation pure souffre d'un écart visuel (sim-to-real gap), et les vidéos humaines n'ont pas d'annotations propres à l'embodiment du robot. Grounded-Dreamer tente de cumuler le réalisme visuel des modèles génératifs et la fiabilité physique d'un simulateur, qui joue le rôle de juge. Le filtrage par rejeu est l'idée la plus intéressante: il traite l'hallucination physique des modèles vidéo, leur principal défaut pour générer des actions exploitables, comme un problème de vérification plutôt que de modélisation parfaite. Pour un intégrateur ou un décideur industriel, la promesse est de réduire le coût marginal de nouvelles tâches à quelques photos de la scène. Il faut cependant rester prudent: la validité des données dépend de la qualité de la reconstruction des objets, et les objets déformables, articulés ou à contacts complexes risquent de rester difficiles. Le filtre ne garantit que ce que le simulateur sait modéliser. Ce travail s'inscrit dans la course aux « world models » pour la robotique, où les modèles vidéo génératifs servent de moteurs de données ou de simulateurs, en concurrence avec les approches fondées sur la téléopération à grande échelle, les données humaines égocentriques et les pipelines de simulation avec randomisation de domaine. Les modèles fondation de type VLA (vision-langage-action) dépendent tous de données d'actions rares, ce qui motive ce type de synthèse. À ce stade, il s'agit d'un préprint non évalué par des pairs, sans produit ni déploiement industriel annoncé. La suite logique serait une validation sur davantage de tâches, de morphologies et de scènes encombrées, ainsi qu'une comparaison chiffrée avec la téléopération à budget équivalent.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

LD4WAM : apprendre les dynamiques latentes à partir de vidéos humaines pour des modèles d'action du monde

Des chercheurs ont publié en août 2026 sur arXiv un article présentant LD4WAM, une méthode pour entraîner des World Action Models à partir de vidéos humaines plutôt que de données de téléopération, coûteuses à collecter. Le système associe un Latent Dynamics Model, entraîné par reconstruction sémantique et alignement sur le mouvement réel, à un World Dynamics Action Model en mixture-of-transformers, qui génère des vidéos futures puis en extrait, via des requêtes apprenables, une dynamique latente conditionnant les actions du robot. Pré-entraîné sur un jeu de données unifié de plus de 5 000 heures de vidéos humaines et robotiques, le modèle affiche de bons résultats dans le simulateur RoboTwin et sur des robots réels équipés de pinces et de mains dexterisées, avec une généralisation à des objets et arrière-plans inédits. L'enjeu dépasse la prouesse technique. La vidéo humaine est bien plus abondante et moins chère à collecter que les démonstrations téléopérées, mais son exploitation butait sur un dilemme entre prédiction vidéo pixel par pixel, riche mais non actionnable, et retargeting du mouvement vers le squelette du robot, actionnable mais marqué par un fossé visuel entre corps humain et robot. En proposant une dynamique latente alignée sur le mouvement, agnostique à l'embodiment, LD4WAM cherche à combler ce fossé, ce qui pourrait réduire la dépendance des laboratoires aux campagnes de téléopération pour entraîner des politiques de manipulation, un des principaux goulots d'étranglement du passage à l'échelle des modèles vision-langage-action. Ce travail s'inscrit dans une vague de recherche plus large sur les modèles de monde en robotique, aux côtés d'efforts comme GR00T de NVIDIA, pi-0 de Physical Intelligence ou Helix de Figure, qui explorent aussi l'exploitation de données hétérogènes pour des politiques généralistes. LD4WAM se positionne explicitement contre les deux paradigmes qui l'ont précédé, prédiction vidéo pure et retargeting de mouvement. Il s'agit pour l'instant d'un article déposé sur arXiv, non encore relu par les pairs, sans code publié ni partenariat industriel annoncé, et les démonstrations réelles restent limitées au laboratoire, sans détail sur le taux de réussite.

RecherchePaper

1 source

4arXiv cs.RO

Revue complète des modèles du monde pour l'apprentissage robotique

Un groupe de chercheurs a publié début mai 2026 une revue systématique sur les modèles de monde appliqués à l'apprentissage robotique (arXiv:2605.00080). Ces modèles sont des représentations prédictives qui modélisent l'évolution d'un environnement en réponse aux actions d'un agent. Utilisés dans six fonctions distinctes, policy learning, planification, simulation, évaluation, génération de données et entraînement à l'échelle fondation, ils sont devenus un composant central des architectures robotiques modernes. Le survey couvre les grandes familles d'architectures, leurs rôles fonctionnels et leurs applications dans l'embodied AI, en s'étendant à la navigation mobile et à la conduite autonome. Les auteurs inventorient également les benchmarks et protocoles d'évaluation disponibles dans le domaine, et maintiennent un dépôt GitHub mis à jour en continu pour intégrer les travaux émergents. L'intérêt de cette synthèse réside dans la fragmentation actuelle du domaine : les architectures de modèles de monde se développent en silos, reinforcement learning, génération vidéo, VLA (Vision-Language-Action models), avec peu de recoupement méthodologique. Le survey clarifie comment ces modèles s'articulent avec les politiques robotiques, comment ils servent de simulateurs appris pour le RL, et comment les modèles de monde vidéo ont évolué de la génération par imagination vers des formulations contrôlables à l'échelle fondation. Pour les équipes R&D et les intégrateurs industriels, cette cartographie facilite le choix architectural et réduit le risque de duplication des efforts. L'accélération récente du domaine est en partie portée par la montée en puissance des foundation models et de la génération vidéo large-scale depuis 2023. Les modèles de monde en robotique s'enracinent dans les travaux de Schmidhuber dans les années 1990 et ont connu un regain majeur avec DreamerV3 (Google DeepMind, 2023), UniSim, et les VLA récents intégrant une prédiction d'état futur comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). Les acteurs dominants restent américains et chinois, DeepMind, NVIDIA, Physical Intelligence, Figure AI, avec des contributions académiques majeures de Stanford, MIT et Berkeley. En Europe, les contributions restent moins visibles à l'échelle internationale, bien que des acteurs comme Pollen Robotics (France) et l'INRIA travaillent sur des approches connexes. Le principal défi identifié est de combler le sim-to-real gap via des modèles suffisamment fidèles pour substituer partiellement les environnements physiques dans la boucle d'entraînement.

UEPollen Robotics et l'INRIA sont mentionnés comme acteurs connexes mais restent en retrait international ; cette cartographie peut aider les équipes européennes à identifier les lacunes à combler face à la domination américaine et chinoise.

RecherchePaper

1 source