RecherchearXiv cs.RO 10 septembre 2026

Modèles du monde visuotactiles compacts pour la préhension : prédiction, alignement de récompense et contraintes de force

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une étude publiée sur arXiv le 10 septembre 2026 (référence 2609.09597) présente un modèle du monde visuotactile compact testé sur la tâche "Lift" du simulateur physique MuJoCo, sur 160 épisodes. Couplé à une calibration d'incertitude au niveau de la trajectoire et à un apprentissage acteur-critique par imagination, l'ajout d'un retour tactile fait chuter l'erreur de prédiction de force au point final de 1,058 à 0,228 newton, et l'erreur de pic sur intervalle de 2,724 à 0,523 N, moyennes sur trois graines d'entraînement; une variante à persistance tactile descend encore à 0,095 et 0,498 N. Sur 680 exécutions de contrôle réparties sur 40 conditions de test indépendantes, une révision de la fonction de récompense porte le taux de réussite du soulèvement à 10 cm de 20,0% à 93,3%, mais seulement 33,3% des essais respectent un budget de sécurité de 8 N par doigt sans retour de force, contre 70,0% avec retour de force actif. Sur des enregistrements publics de capteurs GelSight, un régresseur de force atteint 0,04234 N d'erreur, avec une couverture de calibration de 87,36% au niveau trajectoire contre seulement 15,80% image par image, pour une cible nominale de 90%.

L'intérêt de l'étude tient à sa distinction rigoureuse entre trois progrès que les communiqués industriels ont tendance à confondre: mieux percevoir le contact, mieux réussir la tâche grâce à la récompense, et rester dans une contrainte de force sans risque pour l'objet manipulé. Le résultat central, un taux de succès qui grimpe de 20% à plus de 93% par simple ajustement de récompense mais qui retombe fortement sous contrainte de sécurité, rappelle aux intégrateurs et décideurs évaluant des politiques de préhension que des métriques de réussite affichées ne garantissent ni la sécurité de l'exécution ni un transfert vers un usage réel. C'est un signal utile à l'heure où les architectures vision-langage-action pour la manipulation fine suscitent un fort engouement commercial.

Le travail prolonge la lignée des modèles du monde de type Dreamer, appliqués ici au toucher plutôt qu'à la seule vision, dans un secteur où des approches comme Pi-0 ou GR00T N2 misent surtout sur l'apprentissage par démonstrations à grande échelle plutôt que sur l'imagination interne. Il s'appuie sur des capteurs GelSight, déjà largement répandus dans les mains robotiques tactiles commerciales. Les auteurs reconnaissent eux-mêmes une limite centrale: aucun transfert n'a été démontré entre les enregistrements réels et l'exécution en simulateur, ce qui situe cette contribution du côté de la recherche amont plutôt que d'une brique prête à industrialiser, sans calendrier annoncé de validation sur robot physique.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Modèle du monde visuo-tactile FeelWorld pour la prédiction et la planification hiérarchiques du contact

FeelWorld est un nouveau modèle du monde visuo-tactile hiérarchique présenté dans un article arXiv (2607.24267v1) qui prédit conjointement les futurs visuels latents et trois états tactiles : l'état de contact, un latent tactile 3D encodant les informations de force, et l'état de glissement. Ces trois signaux sont produits par un modèle de dynamique latente partagé, entraîné avec une supervision explicite et un mécanisme d'attention asymétrique à porte de contact, qui maintient un chemin de prédiction purement visuel avant tout contact puis active la prédiction conjointe visuo-tactile une fois le contact établi. L'entraînement s'appuie sur des rollouts autorégressifs et une injection de bruit contextuel pour limiter l'accumulation d'erreurs. Sur trois tâches de manipulation, saisie de puces électroniques, saisie de fruits et insertion de connecteurs USB, FeelWorld réduit le LPIPS à 10 pas de 0,084 à 0,058 et reste 61% inférieur au LPIPS d'un modèle purement visuel après un rollout autorégressif de 80 pas. Couplé à un planificateur CEM sensible au contact, il atteint un taux de réussite moyen de 81,7% en planification zero-shot. L'apport principal tient au constat que les modèles du monde utilisés en robotique se limitent en général à la dynamique visuelle, ce qui peut générer des futurs imaginés plausibles à l'œil mais physiquement incohérents dès qu'il y a contact réel avec l'objet. Pour des tâches d'assemblage précis, de préhension d'objets fragiles ou d'insertion, cette lacune pèse directement sur la fiabilité du planning robotique. En intégrant le retour tactile directement dans la boucle de prédiction plutôt qu'en aval, FeelWorld cible un des points faibles connus des architectures VLA et des pipelines de planification par imagination, où l'écart entre démonstration visuelle et physique réelle reste un obstacle à la mise à l'échelle. Le travail s'inscrit dans la lignée des modèles du monde issus du RL basé sur modèle et des architectures récentes de prédiction visuelle, jusqu'ici quasi exclusivement centrées sur l'image. La détection tactile constituait jusque-là un axe de recherche largement séparé. Il s'agit ici d'une contribution académique, sans déploiement industriel annoncé ni acteur commercial identifié ; les suites naturelles concernent des tests sur du matériel physique équipé de capteurs tactiles et une intégration dans des piles de planification robotique plus larges.

RecherchePaper

1 source

2arXiv cs.RO

VT-WAM : modèle du monde et action visuo-tactile pour la manipulation à contacts riches

Des chercheurs présentent VT-WAM, un modèle de manipulation robotique combinant vision et toucher, décrit dans un article déposé sur arXiv (2607.02503v1) et accompagné d'un site dédié (vt-wam.github.io). Le système, un "Visual-Tactile World Action Model", apprend simultanément trois choses dans un même cadre de flow matching : prédire les images visuelles futures, prédire la déformation tactile future, et prédire l'action à exécuter. Deux mécanismes techniques soutiennent cette approche : une attention "Asymmetric Mixture-of-Transformers" (MoT) qui relie une première image de référence à la dynamique tactile dans le temps, et un module nommé AVTAG (Action-Visual-Tactile Attention Guidance) qui force le modèle à s'appuyer davantage sur le signal tactile pendant les phases de contact. Sur six tâches de manipulation en conditions réelles impliquant un contact physique important, VT-WAM atteint un taux de réussite moyen de 71,67%, contre des scores inférieurs de 26,67 points pour Fast-WAM et de 35,84 points pour OmniVTLA, deux modèles de référence utilisés en comparaison. L'enjeu dépasse la simple performance chiffrée : les politiques visuo-tactiles existantes se contentent généralement d'injecter le signal tactile brut dans la prédiction d'action, sans modéliser comment cette déformation évolue dans le temps. Or c'est précisément sur les tâches à fort contact (insertion, préhension d'objets déformables, gestion du glissement) que les modèles purement visuels ou de type VLA (vision-language-action) échouent le plus souvent, malgré des démonstrations impressionnantes en environnement contrôlé. Pour les intégrateurs industriels qui cherchent à automatiser des opérations d'assemblage fin, ce travail illustre une piste concrète pour combler l'écart entre démonstration et fiabilité réelle. Le papier s'inscrit dans la lignée des "world models" appliqués à la robotique, dont Fast-WAM constitue un prédécesseur direct servant de base de comparaison, aux côtés de familles de modèles VLA comme OmniVTLA. Il s'agit toutefois d'une publication académique, sans acteur industriel identifié ni date de déploiement annoncée : les résultats restent circonscrits à six tâches de laboratoire, et les auteurs eux-mêmes soulignent via leurs ablations que la modélisation de la dynamique tactile reste un problème ouvert plutôt qu'une solution définitivement close.

RecherchePaper

1 source

3arXiv cs.RO

Raisonnement visuel sur les actions aligné sur les événements pour les modèles monde-action

Des chercheurs proposent un cadre de « raisonnement visuel-action aligné sur les événements » pour les World-Action Models (WAMs), ces politiques robotiques qui génèrent une prédiction visuelle du futur comme étape intermédiaire avant de produire des actions. Le travail, publié sur arXiv sous la référence 2610.09427, part d'un constat: les WAMs actuels découpent leur « imagination » visuelle selon des intervalles temporels prédéfinis, sans distinguer les interactions décisives (saisie, insertion, relâchement) des phases de transition qui les relient. La méthode organise au contraire la prédiction autour des événements d'interaction. Grâce à une supervision visuelle et motrice alignée sur ces événements, le modèle apprend à produire, dans chaque déroulé imaginé, un contexte visuel détaillé autour des changements d'état critiques et plus grossier pendant les transitions. Les auteurs ajoutent une « execution validity head », un module qui identifie la portion valide de chaque séquence d'actions prédite, afin d'éviter les actions redondantes lors de l'inférence par blocs (action chunking). Sur le benchmark DOMINO, le taux de succès progresse de 10,26 points de pourcentage par rapport à la référence. Les résultats sont qualifiés de compétitifs sur RoboTwin 2.0, sans gain net revendiqué. Le transfert du niveau 1 de DOMINO vers les niveaux 2 et 3 se fait sans adaptation propre à chaque niveau. L'intérêt tient à la granularité de la prévision visuelle, un paramètre souvent traité comme un détail d'ingénierie. Si la précision doit se concentrer là où la tâche se joue, les modèles qui génèrent des images futures à pas fixe dépensent une part de leur capacité sur des phases peu informatives, ce qui peut dégrader la qualité des actions. La tête de validité d'exécution répond à un problème pratique de l'action chunking: exécuter un bloc entier d'actions prédites alors que seule une partie reste pertinente produit des mouvements parasites, au détriment du temps de cycle et de la fiabilité. Le transfert entre niveaux de DOMINO suggère aussi une certaine robustesse face à des variations de difficulté. Il faut toutefois rester prudent: les résultats sont obtenus en simulation, où l'écart entre démonstration et déploiement réel reste le principal point d'interrogation. Aucun test sur robot physique, aucune mesure de latence d'inférence ni de coût de calcul n'est mentionné, alors que générer des images futures alourdit sensiblement les modèles. Un gain de 10 points face à une référence dont la solidité n'est pas précisée demande aussi à être confirmé par des reproductions indépendantes. Ce travail s'inscrit dans la montée des politiques « world model + action », qui cherchent à dépasser les VLA (vision-langage-action) classiques en leur donnant une capacité de prévision explicite. Il se mesure à des approches de génération vidéo conditionnée par l'action et à des politiques de type Pi-0 ou GR00T, qui prédisent des actions sans passer par une imagination visuelle structurée. RoboTwin 2.0 est devenu un banc d'essai courant pour la manipulation bimanuelle en simulation, et DOMINO fournit des niveaux de difficulté croissants qui servent ici à tester la généralisation. La suite logique serait une validation sur matériel réel et une mesure du compromis entre qualité de prédiction et vitesse d'exécution, deux critères déterminants pour les intégrateurs qui envisagent ce type de politique en production.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Forçage temporel : alignement de représentation 4D pour les modèles vision-langage-action

Des chercheurs présentent Temporal Forcing, une méthode d'alignement de représentation 4D pour les modèles vision-langage-action (VLA), détaillée dans un article publié sur arXiv (2608.30643v1) le 30 août 2026 ou aux alentours. Le système ajoute une voie dédiée à l'historique des observations, permettant à un modèle VLA standard de condenser cet historique en représentations latentes tenant compte du temps. Ces représentations sont ensuite alignées avec les caractéristiques géométriques extraites par un modèle de fondation 4D préentraîné, capable de capturer l'évolution d'une scène 3D dans le temps de façon géométriquement cohérente. Sur le benchmark LIBERO, Temporal Forcing atteint un taux de réussite de 98,8%, soit 2,2 points de plus que son modèle de base. Sur une tâche physique de placement d'objet caché ("hidden-placement"), le taux de réussite complet de la tâche passe de 20,0% à 43,3%. Le code source doit être rendu public, sans date de disponibilité précisée dans l'article. Cette avancée cible un problème connu des VLA actuels: la confusion entre états visuellement similaires (observation aliasing) et la difficulté à gérer des manipulations longues, deux limites qui découlent du fait que les représentations 3D classiques ne capturent qu'un instant figé de la scène, sans mémoire de son évolution. En démontrant qu'ajouter une dimension temporelle à l'alignement géométrique améliore concrètement le taux de succès sur une tâche physique réelle, et pas seulement en simulation, ces résultats nuancent l'idée que l'alignement 3D seul suffirait à rapprocher les VLA d'une robustesse proche de l'humain. Pour les intégrateurs et équipes de recherche en robotique manipulatrice, cela suggère qu'exploiter des modèles de fondation 4D préentraînés peut devenir un ingrédient standard pour améliorer la mémoire de contexte des politiques d'action, sans changer l'architecture de base du modèle VLA. Ce travail s'inscrit dans la lignée des méthodes récentes de VLA qui alignent leurs représentations internes sur la géométrie de scène 3D pour améliorer la manipulation, une approche qui a gagné du terrain mais bute sur les tâches à long horizon. Temporal Forcing se positionne comme une extension de ces approches géométriques plutôt qu'une rupture architecturale, en s'appuyant sur un modèle de fondation 4D externe déjà entraîné. Les auteurs annoncent la publication future du code, ce qui permettra à la communauté de valider les résultats sur d'autres benchmarks que LIBERO et la tâche physique testée, mais aucun calendrier de déploiement industriel ni de partenariat n'est mentionné à ce stade.

RechercheActu

1 source