WholeBodyWAM : des modèles d'action du monde pour…

1arXiv cs.RO

Apprentissage natif de prior d'action à partir de vidéos pour les modèles d'action du monde

Des chercheurs publient sur arXiv (2610.03391) NAVA-WAM, un « world action model » (WAM) qui apprend une politique d'action directement à partir de vidéos sans annotation d'actions. Un WAM combine la prédiction de la dynamique visuelle future et celle des actions du robot. Jusqu'ici, ces modèles dépendaient de trajectoires robotiques annotées avec les actions, rares et coûteuses à collecter. NAVA-WAM s'entraîne en deux étapes. Le pré-entraînement porte sur des vidéos d'observation seule : une supervision par flow matching sur les transitions visuelles futures est propagée, via une attention jointe structurée par transitions, jusqu'à l'Action-DiT, le module de diffusion qui produit les actions. Celui-ci acquiert ainsi des « priors » d'action. La seconde étape affine l'Action-DiT sur des démonstrations étiquetées par un flow matching conjoint vidéo-action. Une attention asymétrique découple la branche visuelle du débruitage itératif des actions, ce qui permet une inférence rapide, limitée aux actions. Les auteurs affirment de meilleurs résultats que les approches antérieures, en distribution comme hors distribution, une bonne efficacité en nombre d'étiquettes d'action et une généralisation sur robot réel. Le résumé ne fournit ni score chiffré, ni liste de tâches, ni nom de plateforme robotique. L'enjeu est celui du goulot d'étranglement des données. Les modèles vision-langage-action (VLA) et leurs variantes à modèle de monde se heurtent au coût de la téléopération. Les vidéos humaines ou robotiques sans étiquettes, elles, existent en grande quantité. Les méthodes actuelles les exploitent par deux voies indirectes : pré-entraîner des représentations visuelles qu'il faut ensuite adapter au contrôle, ou inférer des « actions latentes » à ancrer ensuite sur des commandes robot. NAVA-WAM supprime ces intermédiaires, ce qui limiterait les pertes de transfert et la complexité d'un modèle d'action latente séparé. Si le résultat tient à grande échelle, le volume de données robotiques annotées nécessaires pour une nouvelle tâche ou un nouvel embodiment pourrait baisser. Un intégrateur pourrait alors réutiliser des vidéos de ses propres lignes. Prudence toutefois : il s'agit d'un preprint non évalué par des pairs. Les gains annoncés restent à confirmer par des benchmarks indépendants, avec des détails sur la quantité de vidéos et la diversité des tâches réelles testées. Ce travail s'inscrit dans la course aux WAM et aux politiques apprises de vidéo, face aux VLA entraînés sur démonstrations (Pi-0, GR00T) et aux approches par actions latentes. Les prochaines étapes à surveiller sont la publication du code et des poids, des évaluations sur des corpus vidéo plus larges, et une comparaison directe avec les modèles de fondation industriels. Les auteurs ne signalent aucun partenaire industriel ni déploiement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

MoWAM : prédiction explicite du mouvement futur pour des modèles monde-action efficaces

Un nouveau papier de recherche publié sur arXiv (référence 2609.20709v1) présente MoWAM, un modèle d'action du monde, ou World Action Model (WAM), destiné à l'apprentissage de politiques robotiques pour la manipulation. Contrairement aux WAM classiques qui génèrent explicitement des vidéos du futur pendant l'inférence pour anticiper la dynamique de l'environnement, ce qui alourdit considérablement le calcul, MoWAM remplace cette génération vidéo par une prédiction explicite du mouvement futur du robot. Le système repose sur une architecture Mixture-of-Transformer qui apprend la dynamique visuelle future pendant l'entraînement tout en prédisant conjointement mouvement et action, ce qui permet de supprimer entièrement la génération vidéo au moment de l'inférence tout en conservant une représentation explicite du futur. Les auteurs ont évalué le modèle sur les bancs d'essai de simulation LIBERO et LIBERO-Plus ainsi que sur des tâches de manipulation en conditions réelles. Le papier s'attaque à un compromis classique du secteur: retirer la génération vidéo future accélère l'inférence, mais risque de ne laisser la dynamique future qu'implicitement encodée dans les caractéristiques d'observation, ce qui fragilise les politiques face aux changements de distribution, un problème central pour tout intégrateur déployant un robot hors du cadre exact de son entraînement. En modélisant le mouvement comme une abstraction compacte du futur, MoWAM revendique une performance solide en distribution, une robustesse accrue hors distribution, et un taux de succès moyen supérieur en conditions réelles face à des WAM de référence. Point notable pour la mise à l'échelle au moment de l'inférence: la représentation compacte du mouvement permet d'échantillonner plusieurs candidats de paires mouvement-action et de les départager via un vérificateur de progression de tâche, avec des gains de performance croissants à mesure que davantage de candidats sont explorés, un signal que l'inférence-time scaling, déjà exploité pour les grands modèles de langage, commence à trouver une traduction concrète en robotique manipulatrice. MoWAM s'inscrit dans la lignée des World Action Models, qui enrichissent l'apprentissage de politiques robotiques d'une anticipation de la dynamique future, en complément des approches vision-langage-action plus directes. Il s'agit ici d'une contribution de recherche évaluée sur des bancs d'essai standards et un nombre limité de tâches réelles, sans acteur industriel, calendrier de déploiement, coûts ni volumes annoncés. L'argument central, à savoir qu'une modélisation explicite mais compacte du mouvement futur peut remplacer la coûteuse génération vidéo sans sacrifier la robustesse, mérite d'être suivi à mesure que des équipes tenteront de le reproduire sur des politiques robotiques destinées à la production plutôt qu'à la démonstration.

RechercheOpinion

1 source

3arXiv cs.RO

Atomic-WAM : un raisonnement sur des mouvements atomiques ancré dans l'exécution pour les modèles d'action du monde

Atomic-WAM est un cadre de commande robotique décrit dans un preprint arXiv (2610.20157v1) qui cible les World Action Models (WAMs). Ces modèles adaptent des modèles de fondation vidéo au contrôle de robots en prédisant conjointement la vidéo future et les actions. Le système suit une logique « comprendre puis exécuter ». Un raisonneur vision-langage lit l'instruction de la tâche et le contexte visuel, puis décrit le prochain mouvement local, dit « atomique ». Cette description guide le WAM, qui génère la vidéo future et un « action chunk », c'est-à-dire une séquence d'actions prédite d'un bloc. Les auteurs ont aussi construit un pipeline d'annotation automatique. Il produit, à partir des démonstrations multi-vues du jeu de données DROID, une supervision alignée dans le temps et enrichie d'informations de contact. Le raisonneur est post-entraîné avec EG-GRPO (Execution-Grounded GRPO). Le WAM reste figé, et le raisonneur est récompensé selon la pertinence du mouvement décrit et la réussite de l'exécution. Dans une évaluation « real-to-sim » sur RoboLab, Atomic-WAM atteint 39,6 % de succès avec les instructions par défaut et 31,6 % avec des instructions vagues. Le travail s'attaque à une faiblesse connue des modèles à instructions de haut niveau. Une consigne de tâche laisse souvent indéterminée la prochaine interaction physique, qui dépend de l'état courant de la scène. Faire produire au raisonneur une description de mouvement intermédiaire, puis l'ajuster sur le résultat réel de l'exécution plutôt que sur la seule plausibilité linguistique, est une piste crédible pour relier raisonnement sémantique et contrôle. La baisse limitée de 39,6 % à 31,6 % face à des consignes vagues suggère une certaine robustesse à l'ambiguïté. Il faut toutefois rester prudent. Un taux de succès inférieur à 40 % reste loin des seuils exigés en production. L'évaluation se fait en simulation à partir de données réelles, pas sur robot physique. Le résumé ne donne ni modèle de référence, ni écart face aux méthodes concurrentes, ni temps de cycle, ni matériel. Il s'agit donc d'un résultat de recherche, sans produit ni déploiement. Cette approche s'inscrit dans la montée des WAMs et des modèles vision-langage-action (VLA), qui se disputent la généralisation sur manipulation. DROID, corpus de démonstrations multi-vues largement utilisé, sert ici de base à l'annotation. Atomic-WAM se place dans la lignée des méthodes de raisonnement hiérarchique, qui séparent planification sémantique et contrôle bas niveau, et applique l'apprentissage par renforcement de type GRPO à la couche de raisonnement. Une page de projet est annoncée, mais le résumé ne mentionne ni code, ni pilotes industriels, ni calendrier. La suite logique serait une validation sur robots réels et des comparaisons directes avec les VLA de référence.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

R²-WAM : post-entraînement par réparation et rejet pour les modèles d'action du monde

Des chercheurs proposent R²-WAM, un cadre de post-entraînement en deux étapes, « réparer puis rejeter », destiné aux World Action Models (WAM). Ces modèles prédisent, sous forme de vidéo, les conséquences d'actions robotiques échantillonnées, afin d'affiner une politique de contrôle. Le système atteint 93,8 % de succès moyen sur le benchmark de simulation RoboTwin 2.0, en moyenne sur les configurations « clean » et randomisées. Sur une tâche réelle de longue durée, le pliage de chemise (Fold Shirt), il obtient 87,5 % de succès moyen, contre 0 % pour Fast-WAM, la base de comparaison. Le gain est obtenu sans interaction supplémentaire avec l'environnement et sans modification de la procédure d'inférence. Le code et les démonstrations sont annoncés sur une page projet dédiée. Le mécanisme tient en deux temps. L'étape de réparation corrige un défaut connu des WAM : une vidéo prédite visuellement plausible peut ne pas refléter l'action fournie en entrée, ce qui fausse tout raffinement de politique fondé sur elle. Les auteurs introduisent un score d'alignement cinématique, qui mesure l'écart entre le mouvement prédit et le mouvement démontré, pour ancrer l'imagination du modèle dans le comportement réel du robot. L'étape de rejet utilise ensuite ce modèle vidéo réparé pour comparer les résultats imaginés des actions échantillonnées à ceux des démonstrations. Les échantillons dont la progression de tâche prédite tombe sous la référence démontrée d'une marge prescrite servent d'exemples négatifs pour un fine-tuning négatif. L'intérêt dépasse le score de benchmark. Le résultat suggère que la prédiction vidéo peut passer du statut de simple apprentissage de représentations à celui de critique de conséquences, capable de trier les mauvaises actions hors ligne. Cela réduit le besoin de rollouts physiques coûteux, un point clé pour les intégrateurs confrontés au coût de collecte de données. Le contraste sur Fold Shirt est frappant : 0 % pour la base de comparaison indique que la cohérence action-vidéo est un goulot d'étranglement réel sur les tâches déformables à long horizon. Il faut toutefois rester prudent : il s'agit d'un travail académique, la tâche réelle est unique, le nombre d'essais n'est pas précisé dans le résumé, et aucun déploiement industriel ni temps de cycle n'est évoqué. Ce travail s'inscrit dans la montée des modèles du monde appliqués au contrôle, où la vidéo prédictive sert de fondation aux politiques, en parallèle des approches VLA (vision-langage-action) classiques. RoboTwin 2.0, benchmark bimanuel en simulation, est devenu un terrain de comparaison courant, et Fast-WAM représente ici l'état de l'art immédiat auquel les auteurs se mesurent. La suite logique serait une validation sur davantage de tâches réelles, d'autres plateformes et des volumes d'essais plus larges, ainsi qu'une comparaison avec les politiques VLA déployées commercialement. Aucun acteur européen ni calendrier de pilote n'est mentionné dans cette version de l'article, publiée sur arXiv en révision (v2).

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

WholeBodyWAM : des modèles d'action du monde pour le corps entier avec des a priori de mouvement évolutifs

À lire aussi

Apprentissage natif de prior d'action à partir de vidéos pour les modèles d'action du monde

MoWAM : prédiction explicite du mouvement futur pour des modèles monde-action efficaces

Atomic-WAM : un raisonnement sur des mouvements atomiques ancré dans l'exécution pour les modèles d'action du monde

R²-WAM : post-entraînement par réparation et rejet pour les modèles d'action du monde