Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
DynamicWAM : conditionnement de mouvement à double voie pour les modèles monde-action en manipulation dynamique
RecherchearXiv cs.RO 

DynamicWAM : conditionnement de mouvement à double voie pour les modèles monde-action en manipulation dynamique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié le 1er août 2026 sur arXiv (référence 2608.00793v1) un modèle baptisé DynamicWAM, conçu pour la manipulation d'objets en mouvement, un cas que les World-Action Models (WAM) actuels gèrent mal puisqu'ils ne se basent que sur l'image courante. L'architecture combine deux canaux complémentaires : un flux d'historique optique, qui encode des trames de flux optique alignées temporellement avec l'observation courante via un VAE vidéo pré-entraîné et figé, pour préserver la structure spatiale du mouvement, et un canal de descripteurs cinématiques (déplacement, durée, vitesse, accélération) injectés directement dans l'expert d'action pour fournir l'amplitude et le timing du mouvement. Les deux flux sont fusionnés par une attention conjointe monde-action, associée à un backbone compact distillé et à une exécution asynchrone basée sur le chunking temps réel (RTC). Sur le benchmark DOMINO, DynamicWAM atteint 38,2 % de taux de réussite et un score de manipulation de 53,2, devançant toutes les bases de comparaison testées. Sur 12 tâches réelles couvrant des mouvements linéaires, circulaires et composés, le taux de réussite moyen grimpe à 46,7 %, soit 22,9 points de pourcentage de plus que la meilleure base de référence.

Ce résultat cible un angle mort réel des WAM et des modèles vision-langage-action (VLA) actuels : la plupart de ces systèmes fonctionnent bien sur du pick-and-place statique mais peinent dès que la cible bouge, un scénario pourtant courant en logistique (convoyeurs) ou en collaboration humain-robot. En montrant qu'un backbone compact avec exécution asynchrone bat des bases plus lourdes en synchrone, l'étude appuie l'idée que la réactivité temps réel, plus que la seule taille du modèle, conditionne la robustesse en manipulation dynamique.

Le travail s'inscrit dans la lignée des WAM qui combinent modèle du monde (prédiction vidéo) et modèle d'action, dans la continuité de familles comme Pi-0 ou GR00T, mais en ciblant spécifiquement les cibles mobiles plutôt que les scènes figées. Il s'agit d'un préprint non encore relu par les pairs, avec une validation réelle limitée à 12 tâches ; une extension à des benchmarks plus larges et des scénarios industriels plus complexes reste à démontrer.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

DynaWM : un modèle du monde guidé par un VLA de base pour la manipulation d'objets en mouvement
1arXiv cs.RO 

DynaWM : un modèle du monde guidé par un VLA de base pour la manipulation d'objets en mouvement

DynaWM, un nouveau modèle du monde ("world foundation model") piloté par des architectures vision-langage-action (VLA), vient d'être présenté dans un preprint publié sur arXiv début juillet 2026. Le système cible un point faible connu des modèles VLA actuels : la manipulation d'objets en mouvement. Techniquement, DynaWM combine trois briques, un encodeur d'actions basé sur Mamba-3 qui traite les séquences d'actions produites par le modèle VLA de base, un encodeur visuel V-JEPA 2.1 qui exploite l'historique d'observations multi-vues, et un encodeur d'état proprioceptif du bras robotique, le tout conditionnant un transformeur à diffusion par flow-matching qui régénère des trajectoires d'action adaptées au mouvement de l'objet. Les auteurs ont aussi construit deux jeux de données : le benchmark DynaGrasp-32, qui couvre six catégories de tâches (variation de vitesse, de trajectoire, manipulation multi-objets), et DynaGrasp-1600, soit 32 scénarios, 1 600 démonstrations et environ 1,53 million d'images. Sur des checkpoints VLA finement réglés, DynaWM améliore les taux de réussite de 7,19 à 45,31 points de pourcentage selon le modèle de base (SmolVLA, X-VLA, Pi-0, Pi-0.5) ; sur des checkpoints seulement grossièrement réglés, les gains grimpent à 26 voire 44 points. L'enjeu dépasse la simple performance chiffrée : la plupart des modèles du monde existants sont fine-tunés directement dans l'architecture VLA, ce qui dégrade souvent les capacités du modèle pré-entraîné. En gardant le VLA de base intact et en ajoutant un module de guidage séparé, DynaWM évite ce compromis, un argument qui parle directement aux équipes de recherche en robotique confrontées à la fragilité des VLA lors du fine-tuning. Pour les intégrateurs, cela touche un cas d'usage concret : le tri ou la préhension d'objets sur convoyeur, en environnement non statique, un scénario encore largement absent des démonstrations spectaculaires de préhension immobile. Le travail s'inscrit dans la lignée des modèles VLA généralistes comme Pi-0, Pi-0.5, SmolVLA ou X-VLA, utilisés ici comme bases de comparaison, ainsi que des travaux sur les modèles du monde en robotique et sur l'encodeur visuel auto-supervisé V-JEPA de Meta. À ce stade, il s'agit d'un résultat de recherche académique évalué sur benchmark simulé et jeu de données maison, sans déploiement industriel annoncé ; la suite logique serait une validation sur bras robotiques réels et une comparaison avec d'autres approches de manipulation dynamique comme GR00T N2 ou Helix.

RechercheActu
1 source
Repenser le modèle monde-action pour la manipulation robotique compositionnelle et en contexte
2arXiv cs.RO 

Repenser le modèle monde-action pour la manipulation robotique compositionnelle et en contexte

Des chercheurs proposent ViGAR (Visual Goal-conditioned Action Reasoning), un cadre hiérarchique pour la manipulation robotique compositionnelle à long horizon, détaillé dans un preprint arXiv (2610.02368). Il sépare la tâche en deux modules. Un planificateur de sous-buts visuels prédit, à partir de l'observation courante et de l'instruction globale, une image du sous-but de la prochaine sous-tâche. Un exécuteur de sous-buts génère ensuite conjointement les trajectoires visuelles futures et les actions, conditionnées par ce sous-but. Les deux composants partagent la même représentation de world model pré-entraîné. Sur le benchmark simulé RoboTwin Clean2Random, ViGAR atteint 82,00 % de réussite en configuration Clean et 67,02 % en configuration Random. Cela représente 12,86 points de pourcentage de mieux que la meilleure référence, en moyenne. Les auteurs ajoutent des essais sur robot réel : cinq tâches compositionnelles et deux tâches d'apprentissage en contexte. Le résumé ne précise ni la plateforme matérielle, ni le nombre d'essais, ni les modèles de référence. Ce travail s'attaque à une limite connue des world-action models (WAM), qui prédisent à la fois de courts futurs visuels et des actions, mais sans raisonnement explicite au niveau des sous-tâches. Pour un intégrateur, la plupart des tâches utiles, comme l'assemblage, le tri ou le conditionnement, enchaînent plusieurs gestes coordonnés, et c'est sur cet enchaînement que les politiques de bout en bout échouent le plus souvent. Introduire un sous-but visuel explicite rend le plan lisible et inspectable, ce qui compte pour le diagnostic en production. L'apprentissage en contexte va dans le même sens. Une image du but global fournie comme contexte suffit à induire des décompositions et des comportements différents, sans mise à jour des paramètres. Cela réduirait le coût de reconfiguration d'une cellule robotisée. Les résultats restent à relativiser : le score Random de 67 % montre qu'une perte de performance subsiste face à la variabilité de l'environnement, et les tests réels sont peu nombreux. Ce travail s'inscrit dans la montée des politiques vision-langage-action (VLA) et des world models comme base de la manipulation généraliste. Il se place face à des approches qui produisent des actions seules, comme Pi-0, ou des modèles qui prédisent des futurs vidéo sans hiérarchie. Le benchmark RoboTwin, de manipulation bimanuelle avec randomisation de l'environnement, sert de plus en plus de test de robustesse. C'est un résultat académique, sans produit ni déploiement annoncé. Les prochaines étapes à surveiller sont la validation sur des horizons plus longs et des plateformes variées, la publication du code et des poids, et le coût de calcul d'une prédiction visuelle à chaque sous-tâche, que le résumé ne chiffre pas.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
DeltaWAM : modèles delta monde-action pour la manipulation bimanuelle
3arXiv cs.RO 

DeltaWAM : modèles delta monde-action pour la manipulation bimanuelle

Des chercheurs du AIGeeksGroup publient DeltaWAM (Delta World Action Models), une nouvelle architecture pour piloter des bras robotiques bimanuels via l'apprentissage vidéo, détaillée dans un article arXiv (2609.28811v1) diffusé fin septembre 2026, avec code et démonstrations disponibles sur GitHub. Les modèles World-Action (WAM) classiques transfèrent les connaissances visuelles et de mouvement de générateurs vidéo préentraînés vers le contrôle robotique, mais ils prédisent à chaque étape des images futures complètes, ce qui recalcule inutilement du contenu inchangé et ralentit la génération d'actions en temps réel. DeltaWAM sépare le flux en trois composantes, une ancre dense, un delta visuel épars et un flux d'actions, déclinées en trois architectures selon le partage de calcul et de représentation. Le système ajoute une Streaming Delta Memory (SDM) qui met à jour un contexte d'ancrage en cache à partir des seuls changements observés, évitant de repasser par le lourd module vidéo à chaque pas. Sur le benchmark RoboTwin, DeltaWAM avec SDM porte le taux de réussite moyen de 81,3% à 85,4% en conditions standard, et de 75,8% à 83,9% avec randomisation visuelle, par rapport à la référence Fast-WAM. Les trois architectures réduisent le coût de calcul à l'entraînement de 17,78 à 23,77%, tandis que la SDM abaisse la latence d'inférence de 36,57% et le calcul associé de 31,55%. Pour l'industrie robotique, ce travail cible un goulot d'étranglement concret: les modèles génératifs vidéo, puissants pour transférer des priors de mouvement, restent trop lourds pour du contrôle en quelques pas de temps, un frein direct pour des manipulations bimanuelles réactives en usine ou en logistique. En découplant la dynamique liée à l'action des variations d'apparence parasites, DeltaWAM répond à un doute récurrent sur les architectures VLA à grande échelle: leur capacité à généraliser sans reconstruire l'intégralité de la scène à chaque inférence. Les gains annoncés en conditions réelles restent toutefois évalués par les auteurs eux-mêmes, face à un nombre limité de politiques concurrentes, sans validation indépendante à ce stade. L'article s'inscrit dans la lignée des WAM apparus pour exploiter les générateurs vidéo comme source de priors physiques, avec Fast-WAM comme point de comparaison direct explicitement cité. Aucun acteur industriel ni équipe européenne n'est mentionné, le travail restant à ce stade une contribution académique avec code ouvert, sans annonce de déploiement matériel ni de partenariat commercial.

RechercheActu
1 source
Streaming-WAM : modèle monde-action conditionné par l'action pour la manipulation robotique asynchrone
4arXiv cs.RO 

Streaming-WAM : modèle monde-action conditionné par l'action pour la manipulation robotique asynchrone

Un modèle de recherche baptisé Streaming-WAM (World-Action Model), décrit dans un article publié sur arXiv le 25 septembre 2026 (arXiv:2609.28927v1), s'attaque au coût de calcul des modèles qui prédisent l'image future pour piloter un bras robotique. Ces modèles, dits world-action models, génèrent habituellement une prédiction visuelle avant de produire l'action suivante, ce qui immobilise le robot pendant l'inférence. Streaming-WAM fonctionne en mode asynchrone : à chaque mise à jour, il conditionne sa prédiction visuelle non seulement sur la dernière observation caméra, mais aussi sur les actions déjà engagées, c'est-à-dire le segment fixe du prochain lot de mouvements en cours d'exécution par le robot. Les caractéristiques visuelles ainsi anticipées servent ensuite à générer, dans la même passe, les actions restantes du lot. Sur le benchmark de simulation LIBERO, le système atteint un taux de succès moyen de 98,35 % tout en divisant par 2,93 le temps moyen par épisode par rapport à une variante appelée Fast-WAM. Sur une tâche en conditions réelles consistant à tamponner une feuille de papier, le temps d'épisode passe de 90 secondes avec un modèle synchrone classique (Joint-WAM) à 38 secondes avec Streaming-WAM. L'enjeu dépasse la simple accélération : les world-action models sont perçus comme un moyen de rendre la manipulation robotique plus robuste en anticipant les conséquences visuelles d'une action avant de l'exécuter, mais leur latence de génération les rendait jusqu'ici difficiles à déployer en temps réel. En montrant qu'il est possible de conserver un taux de succès élevé tout en réduisant fortement le temps de cycle grâce à l'asynchronie, ce travail répond directement à l'un des reproches récurrents faits aux architectures de prédiction du monde en robotique : leur écart entre performance en simulation et viabilité pratique. Pour les intégrateurs et laboratoires qui évaluent ces approches face aux politiques vision-langage-action plus légères, ce type de résultat suggère qu'il n'est plus nécessaire de sacrifier la vitesse pour garder les bénéfices de la prédiction visuelle. Le travail se positionne comme une amélioration incrémentale par rapport à deux approches de référence citées dans l'article, Fast-WAM et Joint-WAM, qui servent de points de comparaison directs plutôt que de produits commerciaux. Il s'agit à ce stade d'un résultat de recherche publié sur arXiv, validé sur un seul benchmark simulé et une unique tâche physique réalisée en laboratoire, sans indication de partenariat industriel, de déploiement en usine ni de calendrier de commercialisation. La prochaine étape logique, non détaillée dans l'article, consisterait à étendre l'évaluation à un éventail plus large de tâches manuelles réelles et à des plateformes robotiques variées.

RecherchePaper
1 source