RecherchearXiv cs.RO 19 mai 2026

TacSE3 : estimation SE(3) équivariante sur images visuotactiles à faible texture pour suivi et compensation en préhension

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (identifiant 2605.17929) TacSE3, un pipeline d'estimation de mouvement tactile conçu pour le suivi d'objets en prise de robot. Le système prend en entrée des images visuotactiles à faible texture, les convertit en un champ de force tridimensionnel découplé, puis estime le mouvement rigide incrémental dans SE(3), c'est-à-dire le groupe euclidien spécial à six degrés de liberté combinant trois axes de translation et trois axes de rotation. L'architecture dérive la translation planaire depuis le déplacement du centroïde de contact, et estime la rotation principalement à partir des réponses tactiles de cisaillement (shear). Les expériences s'appuient sur une paire de capteurs visuotactiles DM-Tac montés en configuration bidigitale, sans autre précision sur le matériel robotique hôte ni sur les benchmarks comparatifs utilisés.

L'intérêt industriel réside dans deux propriétés rarement combinées : l'interprétabilité physique du signal et l'absence de ré-entraînement de la politique de base. En manipulation in-hand, l'occlusion visuelle fréquente prive les approches classiques de correspondances stables entre images, qu'il s'agisse de matching géométrique ou de flux optique. TacSE3 contourne ce problème en exploitant uniquement le retour tactile, lequel reste disponible même lorsque la caméra extéroceptive est aveugle. La configuration à deux capteurs réduit l'ambiguïté translation-rotation inhérente à un capteur unique et permet le suivi en rotation sur plusieurs axes et géométries d'objets. Le signal de compensation reste léger et s'intègre en surcouche d'une politique existante, ce qui simplifie l'industrialisation : pas besoin de reprendre l'apprentissage pour améliorer la tolérance aux perturbations.

La manipulation tactile en prise est un axe de recherche actif, porté notamment par les travaux autour des capteurs GelSight (MIT) et des approches vision-language-action (VLA) qui peinent encore sur la finesse des contacts. TacSE3 s'inscrit dans la tendance à enrichir ces pipelines avec un retour proprioceptif interprétable plutôt que de tout déléguer au visuel. Côté concurrence, des équipes comme celles derrière Digit (Meta/GelSight Technologies) ou Soft Robotics travaillent sur des capteurs tactiles embarqués, mais peu proposent une estimation SE(3) sans texture. La preprint ne mentionne pas de partenaire industriel ni de calendrier de déploiement ; les résultats restent à confirmer hors laboratoire, en conditions d'encombrement et de bruit réels.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Politique de diffusion équivariante visuo-tactile pour la manipulation riche en contacts

Des chercheurs proposent VISTA, une politique de diffusion visuo-tactile équivariante conçue pour l'apprentissage par imitation de tâches de manipulation riches en contacts (arXiv 2610.03333, première version). Le système projette les observations visuelles et tactiles dans des « jetons sphériques », puis injecte les indices de contact tactile dans les directions sphériques visuelles grâce à une fusion sphérique équivariante aux permutations. La représentation harmonique ainsi fusionnée est ensuite tournée selon l'orientation de l'effecteur terminal. Elle conditionne une politique de diffusion équivariante, chargée de prédire des actions cohérentes dans l'espace de travail. Les auteurs affirment, à partir d'expériences en simulation et sur robot réel, que VISTA améliore nettement l'efficacité en données par rapport à de solides références d'apprentissage par imitation visuo-tactile. Le résumé publié ne donne ni chiffres, ni nombre de démonstrations, ni liste des tâches ou des capteurs tactiles utilisés. Un site de projet accompagne le travail. L'enjeu est économique avant d'être académique. Les démonstrations expertes pour les tâches de contact (insertion, assemblage, manipulation fine) sont coûteuses : elles exigent de la téléopération qualifiée, du temps machine et, de plus en plus, des capteurs tactiles. Les politiques de diffusion et les VLA (modèles vision-langage-action) fonctionnent, mais au prix de volumes de données qui freinent leur déploiement chez les intégrateurs. Intégrer des symétries géométriques directement dans l'architecture, plutôt que de les faire apprendre par des données supplémentaires, est une piste crédible pour réduire ce coût. Le travail suggère aussi que le toucher gagne à être fusionné de façon structurée avec la vision, et non simplement concaténé. Il faut toutefois rester prudent : il s'agit d'un préprint sans relecture par les pairs, dont l'ampleur réelle du gain n'est pas vérifiable à ce stade. Aucun déploiement industriel n'est annoncé. VISTA s'inscrit dans la lignée des politiques de diffusion (Diffusion Policy) et de leurs variantes équivariantes, qui exploitent les symétries SE(3) ou SO(3) pour gagner en efficacité. Les recherches récentes sur le visuo-tactile cherchent à compenser les limites de la vision en cas d'occlusion ou d'ambiguïté de contact. En face, les grands modèles généralistes (Pi-0, GR00T, Helix) misent plutôt sur l'échelle des données que sur les biais inductifs géométriques. Les prochaines étapes à surveiller sont la publication du code et des chiffres détaillés, les comparaisons sur des benchmarks communs, et l'éventuelle combinaison de ces biais équivariants avec des modèles préentraînés à grande échelle.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Robot tenségrité : capteur visuotactile open source pour l'estimation du torseur de contact à 6 axes

Léo, une araignée-robot en tenségrité (structures de barres rigides tenues par des câbles élastiques) vient de recevoir une peau tactile open source capable de mesurer six axes de force et de couple à chaque point de contact. Décrit dans un article publié le 18 juillet sur arXiv, le capteur "endcap" combine une coque élastomère, une interface imprimée en 3D en polyuréthane thermoplastique (TPU) et une base rigide logeant une caméra miniature et un anneau de LED. La liaison entre l'élastomère et le TPU repose sur une nouvelle technique d'infill gyroïde qui évite tout adhésif, rendant l'ensemble léger et modulaire pour équiper de grandes structures de tenségrité. Un réseau de neurones convertit les champs vectoriels de cisaillement observés par la caméra en mesures de force et de couple sur six dimensions. Les tests affichent une erreur quadratique moyenne de 0,1531 en validation statique, avec une bonne généralisation hors domaine en mouvement dynamique, et l'intégration complète sur un robot de tenségrité de 12 kg confirme sa capacité à détecter fiablement les contacts au sol. Le code et les fichiers de fabrication sont publiés sur GitHub (Jonathan-Twz/tensegrity-gelfoot). L'intérêt dépasse le simple exercice académique: les robots en tenségrité, souples et résilients aux chocs, peinent depuis des années à obtenir une perception fiable de leur propre état, faute de capteurs adaptés à leur géométrie compliante et distribuée. Un capteur tactile bon marché, reproductible et physiquement interprétable ouvre la voie à une proprioception réellement embarquée, condition nécessaire pour que ces structures sortent du laboratoire vers des usages concrets comme l'exploration en terrain accidenté ou la manipulation douce. Les robots en tenségrité, popularisés notamment par les travaux de la NASA (le rover SUPERball) pour l'exploration planétaire à faible risque de casse, restent handicapés par l'absence de retour tactile natif comparé aux capteurs de type GelSight ou DIGIT conçus pour des mains robotiques classiques. Cette publication, en rendant le design entièrement open source, vise justement à combler ce manque et à standardiser l'instrumentation de ces plateformes encore largement expérimentales.

RecherchePaper

1 source

3arXiv cs.RO

Modèles du monde visuotactiles compacts pour la préhension : prédiction, alignement de récompense et contraintes de force

Une étude publiée sur arXiv le 10 septembre 2026 (référence 2609.09597) présente un modèle du monde visuotactile compact testé sur la tâche "Lift" du simulateur physique MuJoCo, sur 160 épisodes. Couplé à une calibration d'incertitude au niveau de la trajectoire et à un apprentissage acteur-critique par imagination, l'ajout d'un retour tactile fait chuter l'erreur de prédiction de force au point final de 1,058 à 0,228 newton, et l'erreur de pic sur intervalle de 2,724 à 0,523 N, moyennes sur trois graines d'entraînement; une variante à persistance tactile descend encore à 0,095 et 0,498 N. Sur 680 exécutions de contrôle réparties sur 40 conditions de test indépendantes, une révision de la fonction de récompense porte le taux de réussite du soulèvement à 10 cm de 20,0% à 93,3%, mais seulement 33,3% des essais respectent un budget de sécurité de 8 N par doigt sans retour de force, contre 70,0% avec retour de force actif. Sur des enregistrements publics de capteurs GelSight, un régresseur de force atteint 0,04234 N d'erreur, avec une couverture de calibration de 87,36% au niveau trajectoire contre seulement 15,80% image par image, pour une cible nominale de 90%. L'intérêt de l'étude tient à sa distinction rigoureuse entre trois progrès que les communiqués industriels ont tendance à confondre: mieux percevoir le contact, mieux réussir la tâche grâce à la récompense, et rester dans une contrainte de force sans risque pour l'objet manipulé. Le résultat central, un taux de succès qui grimpe de 20% à plus de 93% par simple ajustement de récompense mais qui retombe fortement sous contrainte de sécurité, rappelle aux intégrateurs et décideurs évaluant des politiques de préhension que des métriques de réussite affichées ne garantissent ni la sécurité de l'exécution ni un transfert vers un usage réel. C'est un signal utile à l'heure où les architectures vision-langage-action pour la manipulation fine suscitent un fort engouement commercial. Le travail prolonge la lignée des modèles du monde de type Dreamer, appliqués ici au toucher plutôt qu'à la seule vision, dans un secteur où des approches comme Pi-0 ou GR00T N2 misent surtout sur l'apprentissage par démonstrations à grande échelle plutôt que sur l'imagination interne. Il s'appuie sur des capteurs GelSight, déjà largement répandus dans les mains robotiques tactiles commerciales. Les auteurs reconnaissent eux-mêmes une limite centrale: aucun transfert n'a été démontré entre les enregistrements réels et l'exécution en simulateur, ce qui situe cette contribution du côté de la recherche amont plutôt que d'une brique prête à industrialiser, sans calendrier annoncé de validation sur robot physique.

RecherchePaper

1 source

4arXiv cs.RO

VBT-MPC : commande prédictive tactile à base de vision pour le suivi de contour

Des chercheurs ont publié sur arXiv (2605.20392) un framework de contrôle prédictif baptisé VBT-MPC (Vision-Based Tactile Model Predictive Control), conçu pour le suivi de contours en manipulation robotique. Le système repose sur un capteur tactile à vision embarquée (VBTS, Vision-Based Tactile Sensor) monté en configuration eye-in-hand, c'est-à-dire fixé au poignet du robot de façon à co-localiser la perception et l'action. La contribution centrale est que le contrôleur MPC opère directement dans l'espace des descripteurs de contour extraits du capteur, sans passer par un module intermédiaire d'estimation de pose ni par une architecture de contrôle en effort dédiée. Les expériences couvrent des objets aux géométries et matériaux variés, évalués à la fois en simulation et en conditions réelles, avec comparaison systématique contre des stratégies de visual servoing adaptées aux features tactiles. Ce travail s'attaque à un verrou concret du suivi de surface industriel : maintenir un contact calibré tout en longeant un contour exige traditionnellement soit un estimateur de pose précis (coûteux en calcul et sensible aux erreurs de modèle), soit un contrôleur en force complexe. En faisant du MPC un contrôleur natif dans l'espace tactile, les auteurs réduisent la chaîne de traitement et potentiellement la latence de réaction. Pour un intégrateur ou un COO industriel, cela pointe vers des applications d'inspection de surface, de meulage ou d'assemblage de précision où la robustesse au glissement et aux irrégularités géométriques est critique. La comparaison avec le visual servoing tactile permet de quantifier le gain du MPC sur l'horizon de prédiction face à une loi de commande réactive pure, ce qui est une donnée utile pour le choix d'architecture. Les capteurs tactiles à vision (GelSight du MIT, DIGIT de Meta/CMU, Allsight, Soft-bubble) ont connu une forte montée en maturité depuis 2019, permettant d'extraire des champs de déformation et des features géométriques à haute résolution sans marqueurs. L'intégration du MPC à ce type de sensing prolonge des travaux antérieurs sur le contrôle en force/contact, mais substitue la mesure de force par une information visuelle riche et moins coûteuse en capteurs. Côté concurrence académique, des équipes comme CMU Robotics, Berkeley AUTOLAB et ETH Zurich RSL explorent des approches comparables (apprentissage par imitation tactile, diffusion policies avec retour haptique). La prochaine étape naturelle pour ce type de framework serait l'intégration dans des pipelines de manipulation généralistes ou des bancs d'inspection automatisée, potentiellement combinée avec des VLA (Vision-Language-Action models) pour la planification de haut niveau.

RecherchePaper

1 source