IA physiquearXiv cs.RO 12 juin 2026

MaskWAM : unification du masquage guidé et de la prédiction pour les modèles monde-action

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a soumis sur arXiv (référence 2606.13515) un modèle baptisé MaskWAM, visant à lever deux verrous structurels des World Action Models (WAMs) pour le contrôle robotique par prédiction vidéo. Les WAMs constituent une approche active : au lieu d'apprendre directement une politique motrice, le modèle prédit des frames vidéo futures conditionnées par les actions du robot et extrait la politique de cette représentation. Le problème identifié est double. Les entrées textuelles génèrent une ambiguïté référentielle dans les scènes encombrées : si deux objets similaires cohabitent dans le champ de la caméra, le texte ne suffit pas à désambiguïser la cible. Par ailleurs, les prédictions RGB brutes manquent d'ancrage sémantique et restent perturbées par des arrière-plans sans lien avec la tâche. MaskWAM intègre des masques de segmentation à la fois comme entrées explicites (premier frame annoté avec la cible) et comme sorties prédites, au sein d'une architecture unifiée Mixture of Transformers (MoT).

L'apport central est l'introduction d'une supervision sémantique centrée sur l'objet : en forçant le modèle à prédire les masques futurs en parallèle des frames RGB, les auteurs réduisent l'influence du bruit visuel de fond sur la politique apprise. Évalué sur les benchmarks LIBERO et RoboTwin, ainsi que sur des tâches réelles non précisées en détail, MaskWAM surpasse significativement les baselines existantes en conditions de langage clair comme ambigu. Pour les équipes R&D en manipulation robotique, l'enjeu concret est la robustesse des politiques face aux variations de décor et aux instructions imprécises, deux points de friction récurrents dans le transfert du labo vers la ligne de production. Ces résultats restent toutefois ceux d'une prépublication académique sur benchmarks standardisés : aucun déploiement industriel n'est mentionné, et les conditions exactes des expérimentations réelles ne sont pas détaillées dans le résumé disponible.

MaskWAM s'inscrit dans la dynamique des Visual Language Action models et des WAMs apparus depuis 2023, notamment Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA. Sa spécificité est l'exploitation systématique des masques de segmentation comme signal de supervision, là où la plupart des approches concurrentes restent ancrées sur du texte libre ou des images de référence non structurées. Les prochaines étapes prévisibles pour ce type de travaux sont l'évaluation sur des manipulations multi-objets en environnement non contrôlé et l'intégration dans des fondations robotiques plus larges. Aucun partenariat industriel ni calendrier de transfert applicatif ne sont mentionnés à ce stade.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 OpenVLA / RT-X Manipulation robotique

À lire aussi

1arXiv cs.RO

NavWAM : modèle du monde et d'action pour la navigation visuelle guidée par objectif

Des chercheurs présentent NavWAM (Navigation World Action Model), une architecture diffusion-transformer publiée en préprint sur arXiv (identifiant 2606.13494, juin 2026), conçue pour la navigation visuelle conditionnée par un objectif. Le problème posé est classique en robotique mobile : un robot doit naviguer vers une cible image sous observabilité partielle, en anticipant uniquement depuis sa caméra embarquée comment ses déplacements vont modifier son champ de vision. NavWAM fusionne dans une séquence latente partagée trois composantes distinctes : les observations visuelles futures prédites, les valeurs de progression vers l'objectif, et les blocs d'actions (action chunks). L'entraînement combine un préentraînement en simulation suivi d'une adaptation sur robot réel, avec une évaluation en boucle fermée sur des tâches de navigation image-à-image. Ce travail répond à une limitation bien identifiée des modèles de monde pour la navigation : ces modèles prédisent correctement l'évolution visuelle future, mais restent des modules passifs qui exigent un planificateur externe pour convertir leurs prédictions en commandes effectives. NavWAM élimine ce découplage en apprenant conjointement la prédiction visuelle, les valeurs d'objectif et la politique d'action. Concrètement, la clairvoyance visuelle du modèle de monde devient directement exploitable pour le contrôle moteur, sans recourir à une recherche d'actions de type CEM (Cross-Entropy Method). Sur les benchmarks offline et en déploiement réel en boucle fermée, NavWAM surpasse les baselines world-model à planification externe reportées par les auteurs. Comme pour tout préprint non encore revu par les pairs, ces résultats restent à valider sur une diversité d'environnements plus large. L'approche s'inscrit dans une tendance qui cherche à unifier modèles génératifs et politiques de contrôle, direction explorée notamment par les modèles VLA (Vision-Language-Action) tels que Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui opèrent eux aussi sur des espaces latents partagés multi-modalités. La différence ici est la focalisation stricte sur la navigation monoculaire, sans instruction sémantique en langage naturel. Le passage sim-to-real est traité par fine-tuning sur données réelles, méthode désormais standard mais dont la robustesse dépend fortement de la diversité des scènes d'entraînement, non précisée dans l'abstract. Aucun code ni dataset n'est encore annoncé ; une page projet avec démonstrations vidéo est disponible à l'adresse fournie par les auteurs.

IA physiqueOpinion

1 source

2arXiv cs.RO

UniTacVLA : compréhension et prédiction tactiles unifiées dans les modèles vision-langage-action

UniTacVLA, un modèle vision-langage-action (VLA) tactile, vise à résoudre un point faible connu des VLA classiques : la manipulation dextre en contact riche, comme l'insertion, l'essuyage, l'assemblage ou l'ajustement de précision. Contrairement aux approches vision-tactile-langage-action (VTLA) existantes qui traitent le signal tactile comme une simple entrée auxiliaire passive, l'équipe de recherche propose un espace latent tactile unifié qui modélise conjointement l'état tactile courant et les changements de contact futurs, via un raisonnement en chaîne de pensée tactile et une prédiction tactile progressive (coarse-to-fine). Ce prior tactile alimente ensuite un contrôleur mixte tactile-action combinant retour tactile en temps réel et retour prédit, pour corriger à haute fréquence des chunks d'action calculés à basse fréquence. Les expériences ont été menées en conditions réelles sur quatre catégories de tâches à fort contact (ajustement, insertion, essuyage, assemblage), testées à la fois en environnement propre et sous perturbations externes. L'enjeu dépasse la simple amélioration de benchmark. La manipulation en contact riche reste l'un des goulots d'étranglement majeurs empêchant les bras robotiques et humanoïdes de passer de la démonstration en laboratoire au déploiement industriel réel, notamment pour des tâches d'assemblage fin où la seule vision ne suffit pas à garantir la précision ou la robustesse face aux perturbations. En traitant le tactile comme un signal dynamique et prédictif plutôt que comme un simple capteur passif, UniTacVLA s'attaque directement à l'écart persistant entre les VLA génériques, entraînés majoritairement sur des données visuelles, et les exigences physiques réelles de l'assemblage industriel ou de la manipulation fine en conditions non contrôlées. Les auteurs revendiquent des gains sur le taux de succès, la précision de manipulation et la robustesse au contact par rapport aux méthodes existantes, ce qui, si confirmé à plus grande échelle, renforcerait l'argument selon lequel l'intégration tactile profonde est nécessaire pour les tâches dextres, et pas seulement un ajout marginal. Ce travail s'inscrit dans une vague plus large de recherche visant à doter les modèles VLA de capacités multimodales au-delà de la vision et du langage, à mesure que des acteurs comme Physical Intelligence (Pi-0) ou NVIDIA (GR00T) poussent leurs propres modèles génération vers la production industrielle. Les architectures VTLA précédentes, limitées par un traitement passif du tactile, constituent la ligne de base que ce papier cherche à dépasser. La publication, un prépublication arXiv, ne mentionne pas de partenariat industriel ni de calendrier de déploiement commercial ; les prochaines étapes attendues porteraient sur l'extension à davantage de types de capteurs tactiles et de tâches, ainsi que sur une validation à plus grande échelle en dehors du cadre contrôlé des expériences décrites.

IA physiqueActu

1 source

3arXiv cs.RO

SelfWAM : un modèle unifié d'action et du monde auto-fondé pour le contrôle rapide de robots

Une nouvelle publication arXiv (2608.00725v1) présente SelfWAM, un modèle unifié de type "World Action Model" (WAM) conçu pour le contrôle rapide de robots manipulateurs. Contrairement aux WAM classiques qui prédisent les observations futures uniquement à partir du prompt de tâche et du contexte visuel, ce qui les pousse à capturer une progression générique de la tâche plutôt que les conséquences précises de l'action exécutée, SelfWAM s'appuie sur une architecture Mixture-of-Transformers (MoT) spécialisée par modalité. Elle prédit simultanément trois éléments: l'action à exécuter, les images RGB futures conditionnées par cette action, et des masques de silhouette du robot lui-même. Pendant l'entraînement conjoint, le modèle laisse la branche vidéo attendre une copie "propre" de l'action démontrée, ce qui transforme cette branche en modèle des conséquences spécifiques à chaque action, sans ralentir le chemin d'inférence rapide dédié uniquement à l'action. Les auteurs ajoutent des objectifs spécifiques au prompt pour la prédiction des masques du robot, une supervision qui retire les détails d'apparence et concentre l'apprentissage sur les changements visuels directement liés au mouvement du bras. Les tests sur le benchmark RoboTwin 2.0 et sur des tâches de manipulation en conditions réelles montrent des prédictions plus sensibles à l'action et une amélioration des performances de la politique de contrôle, sans dégrader la vitesse d'inférence. Pour le secteur, ce travail s'attaque à un problème connu des modèles vision-langage-action (VLA): la difficulté à faire coïncider prédiction visuelle et effet réel de l'action, un écart qui limite souvent le transfert entre simulation et monde réel. En couplant explicitement la prédiction future à une action "propre" et à la silhouette du robot, SelfWAM cherche à combler ce fossé sans sacrifier la latence, un compromis central pour tout déploiement industriel où le temps de cycle compte. Il s'agit ici d'une publication de recherche déposée sur arXiv, sans produit commercial ni déploiement annoncé: SelfWAM s'inscrit dans la lignée des World Action Models qui gagnent du terrain comme alternative aux politiques purement réactives, en misant sur une modélisation conjointe action-observation pour améliorer la généralisation des robots manipulateurs.

IA physiqueActu

1 source

4arXiv cs.RO

HarnessWAM : concilier prédiction et délibération dans les modèles vision-action du monde

HarnessWAM, un framework agentique décrit dans un preprint publié sur arXiv (identifiant 2608.09516), vise à combler ce que ses auteurs nomment le « prédiction-délibération gap » des World Action Models (WAM), ces modèles qui apprennent conjointement la dynamique de l'environnement et la génération d'actions robotiques. Le système ajoute un Task Manager basé sur un modèle vision-langage, chargé de maintenir une croyance de scène ancrée dans l'observation et un graphe de tâches, ainsi qu'une projection des plans en séquences de compétences atomiques compatibles avec les capacités du WAM sous-jacent. Une boucle de rétroaction à deux échelles temporelles associe un estimateur de progression haute fréquence à une délibération aux jalons clés, capable de réviser le plan ou de déclencher une récupération locale après l'échec d'une sous-tâche. Sur le benchmark RoboMemArena, HarnessWAM atteint 59,6% de réussite sur les tâches complètes, 69,9% sur les sous-tâches, et 23,7% sur RoboCerebra Ideal, des résultats présentés comme l'état de l'art. Ce travail cible un point de friction connu du secteur : les WAM actuels, entraînés à prédire et agir sur un horizon court, échouent sur des tâches longues exigeant planification globale, maintien d'état entre étapes et récupération après échec, soit le profil typique attendu d'un robot humanoïde en usine ou en entrepôt. En montrant qu'une couche de gestion d'état externe au modèle, couplée à une décision en boucle fermée, prolonge les capacités de contrôle local des WAM vers une exécution vérifiable et récupérable, l'étude suggère que le goulot d'étranglement des architectures VLA/WAM tient autant à l'orchestration cognitive qu'à la génération d'actions elle-même. Les gains restent toutefois mesurés sur des bancs d'essai spécifiques, sans validation annoncée sur robot physique en environnement industriel réel. HarnessWAM s'inscrit dans la lignée des modèles fondation pour la robotique de type VLA ou WAM, à l'image de GR00T N2, Pi-0 ou Helix, qui génèrent des actions à partir d'observations visuelles et de consignes en langage naturel mais restent structurellement limités à des horizons de prédiction courts. Le framework se présente comme une couche agentique complémentaire plutôt qu'un nouveau backbone, en principe transposable à d'autres WAM sous-jacents. La publication ne mentionne ni partenariat industriel, ni pilote de déploiement, ni acteur européen : il s'agit à ce stade d'une contribution académique évaluée en benchmark, dont la suite logique serait une validation sur plateformes robotiques réelles.

IA physiqueActu

1 source