RecherchearXiv cs.RO 18 septembre 2026

TacSushi : modélisation monde-action ancrée dans le tactile pour la manipulation dextérique de sushis

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente TacSushi, une politique robotique world-action ancrée dans le toucher, bâtie sur un modèle de monde Cosmos3, destinée à la manipulation dextre d'aliments déformables comme le sushi. Le système encode l'image RGB courante, une consigne en langage naturel et l'état de la main, puis fusionne par un mécanisme de gating feature-wise les signaux tactiles des bouts de doigts dans la représentation d'action ; pendant l'entraînement seulement, un décodeur conditionné par les segments d'action démontrés prédit les observations visuelles futures, la progression de la tâche et le risque de contact, avant d'être retiré au déploiement. Entraîné sur 340 essais réussis et 50 essais échoués sur robot réel, TacSushi a été testé sur 600 rollouts couvrant trois tâches en distribution et deux variantes d'ingrédients hors distribution, la qualité du plat final étant jugée par un protocole mêlant à parts égales cinq notations humaines et trois notations de modèles vision-langage. Résultat : 68,3% de réussite moyenne en distribution et 37,5% hors distribution, contre 36,7%/10,0% sans la supervision par conséquences futures et 25,0%/17,5% avec une simple concaténation tactile au lieu de la fusion gated.

Ces chiffres valident surtout deux choix d'architecture plutôt qu'une performance spectaculaire : la fusion tactile gated par caractéristique apporte un gain net face à une concaténation brute, et la supervision prédictive, entraînée mais jamais exécutée en production, améliore la généralisation sans coût au déploiement. Pour les équipes de manipulation dextre et les intégrateurs, l'écart entre réussite en distribution et hors distribution illustre une nouvelle fois le fossé persistant entre démonstration contrôlée et généralisation réelle des politiques vision-langage-action, un problème que le secteur peine encore à résoudre malgré les annonces. Évaluer la qualité perçue de l'aliment via des juges humains et des modèles vision-langage, plutôt qu'un seuil géométrique binaire, répond aussi à une limite méthodologique connue des benchmarks de manipulation alimentaire, où texture et présentation comptent autant que le succès du geste.

TacSushi s'inscrit dans la lignée des politiques robotiques bâties sur des backbones de modèles de monde ou vision-langage-action, comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, mais cible un terrain nettement moins couvert, la manipulation d'aliments fragiles, plutôt que la préhension d'objets rigides. Publié en prépublication sur arXiv sans affiliation industrielle mentionnée, le travail reste une évaluation de laboratoire sur rollouts contrôlés, sans partenaire commercial ni calendrier de déploiement annoncés, et son jeu d'entraînement de 340 démonstrations réussies pour seulement 50 échecs demeure modeste au regard des efforts de VLA à grande échelle menés par les grands laboratoires. La suite logique, non précisée par les auteurs, consisterait à élargir les tâches culinaires et les variantes d'ingrédients testées pour vérifier si les gains observés hors distribution résistent à une variabilité alimentaire encore plus large.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 World models

À lire aussi

1arXiv cs.RO

DexTacWAM : un modèle visuo-tactile du monde et de l'action pour la manipulation dextérique

Un article déposé sur arXiv en septembre 2026 (arXiv:2609.24976v1) présente DexTacWAM, un World-Action Model (WAM) visuo-tactile pour la manipulation dextre, qui encode indépendamment chaque bout de doigt et injecte l'information tactile, via un compresseur sensible au doigt et à sa pose, dans un modèle du monde fondé sur la diffusion vidéo. Testé sur six tâches de manipulation à fort contact sur une plateforme bimanuelle à 22 degrés de liberté, DexTacWAM obtient le meilleur score sur toutes, avec une moyenne de 70,6 points contre 38,0 pour le meilleur système de référence, sur une échelle non précisée par les auteurs. Une étude d'ablation montre que retirer la modélisation tactile du monde, tout en gardant les mêmes caractéristiques tactiles et le même module d'action, fait chuter la moyenne sur quatre tâches de 74,7 à 26,6 points. Avec un encodeur vidéo pré-entraîné gelé, quatre heures d'adaptation de l'encodeur tactile et une centaine de démonstrations par tâche suffisent pour une qualité de prédiction visuelle à moins de 0,5 dB du niveau purement visuel, un rappel de contact conservé à 89,4% après compression, un entraînement 2,26 fois plus rapide et une inférence 1,29 fois plus rapide. Ce résultat cible une limite connue des WAM actuels, généralement centrés sur la vision et donc incapables de modéliser directement la dynamique de contact, pourtant déterminante en manipulation fine. L'étude montre que le gain provient surtout du fait de traiter l'évolution du contact comme une composante de l'état du monde prédit, plutôt que d'un simple conditionnement des actions sur des données tactiles. Pour les intégrateurs et les équipes de recherche en robotique dextre, l'intérêt pratique tient à l'efficacité: étendre un grand modèle vidéo déjà entraîné au sens du toucher avec un budget de données et de calcul réduit, sans tout ré-entraîner. Le travail s'inscrit dans la lignée des World-Action Models, qui couplent modélisation vidéo prédictive et génération d'action pour anticiper les effets des mouvements d'un robot, jusqu'ici presque exclusivement visuels. Il s'agit à ce stade d'un article de recherche, sans identification des auteurs ni annonce de partenariat industriel, de plateforme commerciale ou de calendrier de déploiement. La suite logique, non détaillée dans l'article, consisterait à valider l'approche sur davantage de tâches et de plateformes, voire sur des mains dextres commerciales, avant toute intégration dans des systèmes de manipulation opérationnels.

RechercheActu

1 source

2arXiv cs.RO

PointWAM : modélisation d'actions du monde en 3D pour la manipulation robotique dextre

Des chercheurs publient sur arXiv (2610.02840) PointWAM, un « Point World Action Model » qui prédit conjointement l'évolution du monde et les actions d'un robot sous forme de trajectoires de points 3D. Le modèle décompose la scène en deux entités, l'environnement et les mains (l'acteur). Les deux sont prévus dans un même repère espace-temps. À partir d'un nuage de points coloré et d'une instruction en langage naturel, il anticipe comment la scène et les mains évoluent ensemble. Il retranspose ensuite le mouvement de main prévu en commandes robot. Les résultats sont ceux des auteurs, sur le benchmark DexJoCo et sur un robot réel. Le pré-entraînement sur des vidéos de démonstrations humaines améliore le taux de succès moyen sur DexJoCo de 56,9 points de pourcentage. Ajouter la supervision des trajectoires de la scène, et pas seulement celles des mains, apporte 10,9 points de plus. Avec les deux ingrédients, PointWAM dépasse de 11,7 points l'état de l'art précédent sur dix tâches DexJoCo et surpasse de « solides » VLA (modèles vision-langage-action) sur un robot physique. L'article ne précise pas dans cet extrait les modèles de référence, le robot ou le nombre d'essais. L'enjeu est la manipulation dextre, où les approches courantes montrent leurs limites. Les world action models habituels représentent le monde en images RGB ou en espaces latents, et les actions en poses d'effecteur ou en angles articulaires. Ces représentations capturent mal la structure spatiale 3D et la géométrie des contacts, qui décident pourtant du succès d'une saisie ou d'une manipulation en main. Une représentation explicite en points 3D évite aussi de choisir à la main les objets ou points-clés propres à chaque tâche. Elle permet ainsi un pré-entraînement à grande échelle sur des vidéos humaines, une source de données bien moins coûteuse que la téléopération robotique. Le gain de 56,9 points suggère que le transfert humain vers robot dépend beaucoup du choix de représentation. Ces chiffres viennent d'un preprint non évalué par les pairs, sur un benchmark très probablement en grande partie simulé. Le résultat sur robot réel reste à qualifier, notamment sur la diversité des tâches et la robustesse hors laboratoire. Ce travail s'inscrit dans la montée des world action models, qui fusionnent prédiction de dynamique et génération d'actions, en réaction aux VLA purement réactifs. Ces derniers, comme Pi-0 ou Helix, s'appuient sur des représentations 2D et des données robot coûteuses. PointWAM se place sur le créneau de l'apprentissage à partir de vidéos humaines et de la 3D explicite, face aux approches par images ou latents. La suite dépendra de la reproduction des résultats, d'une éventuelle publication du code et des poids, et de tests sur des mains robotiques multi-doigts variées. Aucune application industrielle ni calendrier de déploiement n'est annoncé à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

ForeAct3D : modélisation du monde futur ancrée dans la politique pour les politiques VLA

ForeAct3D est un cadre de modélisation du monde futur intégré aux politiques VLA (Vision-Language-Action), publié sur arXiv (2610.04607, version 2) avec code et page projet sur GitHub. Des requêtes géométriques apprenables décodent, à partir de la représentation interne de la politique, la profondeur, la segmentation sémantique et la pose de caméra. Elles produisent ainsi un état de scène 3D sémantique courant et un état futur. Les requêtes « futures » sont conditionnées par le chunk d'actions que la politique génère elle-même, de sorte que la prédiction reflète l'interaction réellement planifiée. Une fermeture de cohérence physique relie les deux états par la staticité du fond et la rigidité au niveau des instances, et ancre la pose de la caméra poignet à la cinématique de l'effecteur. Sans pré-entraînement robotique, le système atteint 98,3 % de succès moyen sur LIBERO et une longueur de tâche moyenne de 3,73 sur CALVIN, devant sa politique de base sur chaque suite. En conditions réelles (placement spatial, insertion d'objets, manipulation séquentielle), le succès moyen passe de 6,7 % à 37,8 %. L'intérêt tient à la manière dont la prédiction du futur est utilisée. Les VLA qui prédisent des observations futures à partir de caractéristiques partagées laissent la prévision découplée des actions exécutées et ne lui imposent aucune contrainte physique. Ici, ces objectifs ne servent qu'à façonner la représentation partagée pendant l'entraînement : aucune prédiction du futur n'est requise à l'inférence, donc pas de surcoût de latence au déploiement. Les ablations indiquent que la supervision 3D sémantique, la cohérence physique et le conditionnement par l'action améliorent chacun la manipulation, et que ce dernier améliore nettement la localisation future des objets. Les résultats réels appellent toutefois de la prudence : 37,8 % de succès reste très loin d'un seuil industriel, et le gain relatif (environ 5,6 fois) part d'une base très basse de 6,7 %. Les benchmarks LIBERO et CALVIN, proches de la saturation, sont en outre des environnements simulés où l'écart entre démonstration et réalité reste à prouver. Ce travail s'inscrit dans la tendance des VLA enrichis de modèles du monde, où l'on cherche à doter les politiques d'une anticipation de la dynamique des scènes, par prédiction d'images futures ou de représentations latentes. Il se distingue en privilégiant une supervision géométrique et physique explicite plutôt qu'une prédiction visuelle purement pixel. L'article ne détaille pas, dans ce résumé, la politique de base utilisée ni la taille des essais réels, ce qui limite la comparaison directe avec les modèles de référence du secteur comme Pi-0 ou GR00T. Les prochaines étapes naturelles seraient une validation sur davantage de tâches physiques, des plateformes variées et des protocoles d'évaluation indépendants, la publication du code permettant à d'autres équipes de reproduire ces résultats.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Modélisation unifiée vision-toucher-action à partir de démonstrations humaines pour la manipulation dextérique

Des chercheurs proposent UVTA, un cadre qui exploite des démonstrations humaines enregistrées avec retour tactile pour améliorer les politiques de manipulation dextre des robots. L'équipe a d'abord construit un système de capture de mouvement tactile, qui enregistre de façon synchrone les images, les signaux tactiles et les mouvements de la main. Avec cet outil, elle a constitué le jeu de données UVTA, qui couvre cinq tâches riches en contacts. Il comprend 1 000 démonstrations humaines et 150 démonstrations robot par tâche. Le modèle associé, un Unified Visual-Tactile-Action Model, projette l'humain et le robot dans des représentations tactiles et d'action alignées. Il prédit conjointement les trajectoires futures d'action et de toucher. Les démonstrations humaines supervisent ainsi l'apprentissage de représentations sensibles au contact, et seules les actions du robot sont exécutées au déploiement. Lors d'évaluations sur robot réel, sur les cinq tâches, la méthode atteint 70 % de réussite moyenne. La meilleure base de comparaison visuo-tactile plafonne à 29 %, et une ablation d'architecture à 42 %. L'enjeu tient au goulot d'étranglement des données tactiles. La téléopération de mains dextres ne renvoie à l'opérateur qu'un retour tactile limité, ce qui rend les démonstrations robot riches en toucher difficiles à collecter à grande échelle. Les auteurs contournent le problème avec l'hypothèse que la main change mais que la physique de l'interaction reste la même. Les données humaines deviennent alors une source de supervision plus abondante et plus variée. Les performances progressent avec le nombre de démonstrations humaines et ne saturent pas à 1 000 par tâche. Cela suggère qu'une montée en volume pourrait encore améliorer les résultats, sans que le papier le démontre au-delà. Pour les intégrateurs et les équipes qui développent des politiques de préhension fine, l'idée est de déplacer l'effort de collecte du robot vers l'humain, moins coûteux. Elle vise les tâches où la vision seule échoue, comme l'insertion, la manipulation en occlusion ou le contrôle de force. Il s'agit d'un travail académique, pas d'un produit, et il faut lire les chiffres avec prudence. Le score de 70 % porte sur seulement cinq tâches, avec 150 démonstrations robot par tâche, dans un cadre de laboratoire. Le résumé ne précise ni la main utilisée, ni les capteurs tactiles, ni le nombre d'essais, ni la nature exacte des tâches. L'écart avec les bases de comparaison (29 % et 42 %) est net, mais il dépend de choix de baselines que seul le texte complet permet d'apprécier. Le papier s'inscrit dans un courant de recherche qui cherche à apprendre la manipulation à partir de vidéos et de gants de capture humains, pour dépasser la téléopération. Il ajoute ici la modalité tactile, encore peu présente dans les grands modèles vision-langage-action (VLA). La version 2 de l'article sur arXiv et une page projet (uni-vta.github.io) sont disponibles. Aucun déploiement industriel ni calendrier n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source