Modèle du monde multimodal pour interactions…

1arXiv cs.RO

DexTacWAM : un modèle visuo-tactile du monde et de l'action pour la manipulation dextérique

Un article déposé sur arXiv en septembre 2026 (arXiv:2609.24976v1) présente DexTacWAM, un World-Action Model (WAM) visuo-tactile pour la manipulation dextre, qui encode indépendamment chaque bout de doigt et injecte l'information tactile, via un compresseur sensible au doigt et à sa pose, dans un modèle du monde fondé sur la diffusion vidéo. Testé sur six tâches de manipulation à fort contact sur une plateforme bimanuelle à 22 degrés de liberté, DexTacWAM obtient le meilleur score sur toutes, avec une moyenne de 70,6 points contre 38,0 pour le meilleur système de référence, sur une échelle non précisée par les auteurs. Une étude d'ablation montre que retirer la modélisation tactile du monde, tout en gardant les mêmes caractéristiques tactiles et le même module d'action, fait chuter la moyenne sur quatre tâches de 74,7 à 26,6 points. Avec un encodeur vidéo pré-entraîné gelé, quatre heures d'adaptation de l'encodeur tactile et une centaine de démonstrations par tâche suffisent pour une qualité de prédiction visuelle à moins de 0,5 dB du niveau purement visuel, un rappel de contact conservé à 89,4% après compression, un entraînement 2,26 fois plus rapide et une inférence 1,29 fois plus rapide. Ce résultat cible une limite connue des WAM actuels, généralement centrés sur la vision et donc incapables de modéliser directement la dynamique de contact, pourtant déterminante en manipulation fine. L'étude montre que le gain provient surtout du fait de traiter l'évolution du contact comme une composante de l'état du monde prédit, plutôt que d'un simple conditionnement des actions sur des données tactiles. Pour les intégrateurs et les équipes de recherche en robotique dextre, l'intérêt pratique tient à l'efficacité: étendre un grand modèle vidéo déjà entraîné au sens du toucher avec un budget de données et de calcul réduit, sans tout ré-entraîner. Le travail s'inscrit dans la lignée des World-Action Models, qui couplent modélisation vidéo prédictive et génération d'action pour anticiper les effets des mouvements d'un robot, jusqu'ici presque exclusivement visuels. Il s'agit à ce stade d'un article de recherche, sans identification des auteurs ni annonce de partenariat industriel, de plateforme commerciale ou de calendrier de déploiement. La suite logique, non détaillée dans l'article, consisterait à valider l'approche sur davantage de tâches et de plateformes, voire sur des mains dextres commerciales, avant toute intégration dans des systèmes de manipulation opérationnels.

RechercheActu

1 source

2arXiv cs.RO

Modèle du monde visuo-tactile FeelWorld pour la prédiction et la planification hiérarchiques du contact

FeelWorld est un nouveau modèle du monde visuo-tactile hiérarchique présenté dans un article arXiv (2607.24267v1) qui prédit conjointement les futurs visuels latents et trois états tactiles : l'état de contact, un latent tactile 3D encodant les informations de force, et l'état de glissement. Ces trois signaux sont produits par un modèle de dynamique latente partagé, entraîné avec une supervision explicite et un mécanisme d'attention asymétrique à porte de contact, qui maintient un chemin de prédiction purement visuel avant tout contact puis active la prédiction conjointe visuo-tactile une fois le contact établi. L'entraînement s'appuie sur des rollouts autorégressifs et une injection de bruit contextuel pour limiter l'accumulation d'erreurs. Sur trois tâches de manipulation, saisie de puces électroniques, saisie de fruits et insertion de connecteurs USB, FeelWorld réduit le LPIPS à 10 pas de 0,084 à 0,058 et reste 61% inférieur au LPIPS d'un modèle purement visuel après un rollout autorégressif de 80 pas. Couplé à un planificateur CEM sensible au contact, il atteint un taux de réussite moyen de 81,7% en planification zero-shot. L'apport principal tient au constat que les modèles du monde utilisés en robotique se limitent en général à la dynamique visuelle, ce qui peut générer des futurs imaginés plausibles à l'œil mais physiquement incohérents dès qu'il y a contact réel avec l'objet. Pour des tâches d'assemblage précis, de préhension d'objets fragiles ou d'insertion, cette lacune pèse directement sur la fiabilité du planning robotique. En intégrant le retour tactile directement dans la boucle de prédiction plutôt qu'en aval, FeelWorld cible un des points faibles connus des architectures VLA et des pipelines de planification par imagination, où l'écart entre démonstration visuelle et physique réelle reste un obstacle à la mise à l'échelle. Le travail s'inscrit dans la lignée des modèles du monde issus du RL basé sur modèle et des architectures récentes de prédiction visuelle, jusqu'ici quasi exclusivement centrées sur l'image. La détection tactile constituait jusque-là un axe de recherche largement séparé. Il s'agit ici d'une contribution académique, sans déploiement industriel annoncé ni acteur commercial identifié ; les suites naturelles concernent des tests sur du matériel physique équipé de capteurs tactiles et une intégration dans des piles de planification robotique plus larges.

RecherchePaper

1 source

3arXiv cs.RO

PLaW-VLA : modélisation prédictive d'un modèle du monde latent pour les politiques vision-langage-action

PLaW-VLA, une politique vision-langage-action (VLA) décrite dans un preprint arXiv (2610.12285), propose de donner aux robots une capacité d'anticipation sans payer le coût habituel des modèles du monde génératifs. Les auteurs modélisent les états futurs pertinents pour la tâche dans un espace de représentation latent pré-entraîné, orienté prédiction, au lieu de reconstruire les pixels. L'architecture repose sur un Mixture-of-Transformers. L'action est générée à partir de l'historique d'observations, de la sémantique de la tâche en cours et des états futurs prédits, via une attention causale structurée. Les résultats annoncés sont un gain de 11,8 points de pourcentage sur le benchmark RoboTwin Hard Horizon III par rapport à des politiques purement réactives, et un gain de 1,77 point sur LIBERO-Plus en zéro-shot par rapport à une prédiction latente fondée sur la reconstruction. Le modèle du monde est léger et prédit les états futurs en parallèle. Sa latence d'inférence est environ 19 fois inférieure à celle d'une modélisation générative monde-action, pour une performance de politique comparable. L'intérêt pour l'industrie tient à l'inférence. Les VLA augmentés d'un modèle du monde génératif sont difficiles à embarquer, car la génération d'images futures ajoute une latence incompatible avec le contrôle en boucle fermée sur du matériel réel. Un facteur 19 sur la latence, à performance égale, indique que l'essentiel de l'information utile à la planification longue se loge dans une représentation compacte, et que la fidélité visuelle des prédictions n'est pas nécessaire. Le résultat contredit l'idée que prévoir le futur exige de le dessiner. Il faut toutefois relativiser. Ces chiffres viennent de benchmarks simulés (RoboTwin, LIBERO-Plus), sans validation sur robot physique mentionnée. Le gain de 1,77 point en généralisation est modeste et sa significativité statistique n'est pas précisée. Pour un intégrateur, c'est une piste d'architecture à surveiller, pas un produit ni un déploiement. Ce travail s'inscrit dans la course aux VLA dotés de capacités prédictives, après la première génération de politiques réactives (de type Pi-0 ou OpenVLA), qui mappent directement l'observation courante vers l'action et échouent sur les tâches à long horizon. Une seconde famille, qui intègre des modèles du monde génératifs pour imaginer le futur en pixels, a montré des gains mais au prix d'un calcul élevé. PLaW-VLA se positionne entre les deux, avec une prédiction latente allégée. Il s'agit d'un preprint en version 1, sans revue par les pairs. Aucun code, calendrier de publication ni test sur robot réel n'est annoncé. La suite logique serait une validation sur plateformes physiques et des comparaisons directes avec les VLA généralistes industriels sur des tâches de manipulation longues, où la latence reste le critère décisif.

RecherchePaper

1 source

4arXiv cs.RO

Le pressentiment tactilo-visuel démêlé : découverte d'interface guidée par oracle pour les modèles d'action du monde

Des chercheurs présentent Oracle Visuo-Tactile Foresight (OVTF), un cadre expérimental conçu pour étudier comment structurer les prédictions visuelles et tactiles futures dans les modèles "world action" utilisés pour le contrôle robotique en manipulation à contact riche. Plutôt que de laisser un modèle appris générer ces futurs, source d'erreurs et de scènes physiquement invalides, OVTF fournit des paires de flux RGB et tactiles issues de trajectoires réussies, vérifiées en simulation, isolant ainsi la seule question de l'interface entre prédiction et action. Dans ce cadre, l'équipe propose l'Asymmetric Phase-Local Future Memory (AFM), une architecture où la mémoire visuelle lit le futur visuel, où chaque flux tactile futur s'attache à la fois à son propre signal et à la vision alignée en phase, et où l'accès croisé entre canaux tactiles reste bloqué. Comparée à une variante Modality-Isolated Future Memory (IFM), qui traite chaque modalité de façon totalement indépendante, AFM est testée sur sept tâches du benchmark de simulation UniVTAC. Résultat : 32,0 % de taux de réussite moyen pour AFM, contre 23,7 % pour IFM et seulement 14,9 % pour la référence UniVTAC-ACT sans ce mécanisme. Ces chiffres, modestes en valeur absolue, restent significatifs car peu de travaux isolent proprement la question de l'interface futur-action dans les modèles tactiles world-action : la plupart des évaluations de bout en bout mélangent qualité de prédiction, fiabilité du modèle et choix d'architecture, ce qui rend les comparaisons peu concluantes. En montrant qu'un routage sélectif et aligné en phase entre vision et tactile surpasse un traitement strictement séparé des modalités, l'étude fournit un argument concret pour les équipes qui conçoivent des politiques de manipulation contact-riche (préhension, insertion, assemblage), où la vision seule ne capture ni le glissement, ni la force de contact, ni l'alignement fin. Pour les chercheurs et intégrateurs en robotique manipulatrice, le signal est clair : l'enjeu n'est pas seulement de prédire correctement le futur tactile, mais de choisir la bonne architecture d'attention pour que cette prédiction profite réellement à l'action, un rappel utile face à l'engouement actuel pour les modèles VLA généralistes, dont l'efficacité réelle en contact riche reste largement à prouver au-delà des démonstrations. L'étude s'inscrit dans la lignée des travaux récents sur les modèles "world action" tactiles, qui tentent de coupler prédiction visuelle et signaux de contact pour guider la génération d'actions robotiques, un axe de recherche en expansion rapide à mesure que les capteurs tactiles se banalisent sur les bras manipulateurs. Contrairement aux approches qui évaluent directement des modèles appris de bout en bout, les auteurs choisissent délibérément une méthode oracle pour neutraliser les sources de bruit et isoler la seule variable d'architecture, une démarche méthodologique plutôt qu'un système prêt à déployer. Le papier, publié début août 2026 sur arXiv, ne mentionne ni partenariat industriel ni calendrier de transfert vers du matériel réel : la suite logique consisterait à vérifier si les gains observés en simulation avec des futurs oracle se maintiennent lorsque ces futurs tactiles sont réellement prédits par un modèle appris, puis testés sur du hardware physique.

RecherchePaper

1 source

Modèle du monde multimodal pour interactions physiques : prédictions visuelles et tactiles simultanées pour une précision accrue

À lire aussi

DexTacWAM : un modèle visuo-tactile du monde et de l'action pour la manipulation dextérique

Modèle du monde visuo-tactile FeelWorld pour la prédiction et la planification hiérarchiques du contact

PLaW-VLA : modélisation prédictive d'un modèle du monde latent pour les politiques vision-langage-action

Le pressentiment tactilo-visuel démêlé : découverte d'interface guidée par oracle pour les modèles d'action du monde