RecherchearXiv cs.RO 19 mai 2026

TacSE3 : estimation SE(3) équivariante sur images visuotactiles à faible texture pour suivi et compensation en préhension

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (identifiant 2605.17929) TacSE3, un pipeline d'estimation de mouvement tactile conçu pour le suivi d'objets en prise de robot. Le système prend en entrée des images visuotactiles à faible texture, les convertit en un champ de force tridimensionnel découplé, puis estime le mouvement rigide incrémental dans SE(3), c'est-à-dire le groupe euclidien spécial à six degrés de liberté combinant trois axes de translation et trois axes de rotation. L'architecture dérive la translation planaire depuis le déplacement du centroïde de contact, et estime la rotation principalement à partir des réponses tactiles de cisaillement (shear). Les expériences s'appuient sur une paire de capteurs visuotactiles DM-Tac montés en configuration bidigitale, sans autre précision sur le matériel robotique hôte ni sur les benchmarks comparatifs utilisés.

L'intérêt industriel réside dans deux propriétés rarement combinées : l'interprétabilité physique du signal et l'absence de ré-entraînement de la politique de base. En manipulation in-hand, l'occlusion visuelle fréquente prive les approches classiques de correspondances stables entre images, qu'il s'agisse de matching géométrique ou de flux optique. TacSE3 contourne ce problème en exploitant uniquement le retour tactile, lequel reste disponible même lorsque la caméra extéroceptive est aveugle. La configuration à deux capteurs réduit l'ambiguïté translation-rotation inhérente à un capteur unique et permet le suivi en rotation sur plusieurs axes et géométries d'objets. Le signal de compensation reste léger et s'intègre en surcouche d'une politique existante, ce qui simplifie l'industrialisation : pas besoin de reprendre l'apprentissage pour améliorer la tolérance aux perturbations.

La manipulation tactile en prise est un axe de recherche actif, porté notamment par les travaux autour des capteurs GelSight (MIT) et des approches vision-language-action (VLA) qui peinent encore sur la finesse des contacts. TacSE3 s'inscrit dans la tendance à enrichir ces pipelines avec un retour proprioceptif interprétable plutôt que de tout déléguer au visuel. Côté concurrence, des équipes comme celles derrière Digit (Meta/GelSight Technologies) ou Soft Robotics travaillent sur des capteurs tactiles embarqués, mais peu proposent une estimation SE(3) sans texture. La preprint ne mentionne pas de partenaire industriel ni de calendrier de déploiement ; les résultats restent à confirmer hors laboratoire, en conditions d'encombrement et de bruit réels.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Robot tenségrité : capteur visuotactile open source pour l'estimation du torseur de contact à 6 axes

Léo, une araignée-robot en tenségrité (structures de barres rigides tenues par des câbles élastiques) vient de recevoir une peau tactile open source capable de mesurer six axes de force et de couple à chaque point de contact. Décrit dans un article publié le 18 juillet sur arXiv, le capteur "endcap" combine une coque élastomère, une interface imprimée en 3D en polyuréthane thermoplastique (TPU) et une base rigide logeant une caméra miniature et un anneau de LED. La liaison entre l'élastomère et le TPU repose sur une nouvelle technique d'infill gyroïde qui évite tout adhésif, rendant l'ensemble léger et modulaire pour équiper de grandes structures de tenségrité. Un réseau de neurones convertit les champs vectoriels de cisaillement observés par la caméra en mesures de force et de couple sur six dimensions. Les tests affichent une erreur quadratique moyenne de 0,1531 en validation statique, avec une bonne généralisation hors domaine en mouvement dynamique, et l'intégration complète sur un robot de tenségrité de 12 kg confirme sa capacité à détecter fiablement les contacts au sol. Le code et les fichiers de fabrication sont publiés sur GitHub (Jonathan-Twz/tensegrity-gelfoot). L'intérêt dépasse le simple exercice académique: les robots en tenségrité, souples et résilients aux chocs, peinent depuis des années à obtenir une perception fiable de leur propre état, faute de capteurs adaptés à leur géométrie compliante et distribuée. Un capteur tactile bon marché, reproductible et physiquement interprétable ouvre la voie à une proprioception réellement embarquée, condition nécessaire pour que ces structures sortent du laboratoire vers des usages concrets comme l'exploration en terrain accidenté ou la manipulation douce. Les robots en tenségrité, popularisés notamment par les travaux de la NASA (le rover SUPERball) pour l'exploration planétaire à faible risque de casse, restent handicapés par l'absence de retour tactile natif comparé aux capteurs de type GelSight ou DIGIT conçus pour des mains robotiques classiques. Cette publication, en rendant le design entièrement open source, vise justement à combler ce manque et à standardiser l'instrumentation de ces plateformes encore largement expérimentales.

RecherchePaper

1 source

2arXiv cs.RO

VBT-MPC : commande prédictive tactile à base de vision pour le suivi de contour

Des chercheurs ont publié sur arXiv (2605.20392) un framework de contrôle prédictif baptisé VBT-MPC (Vision-Based Tactile Model Predictive Control), conçu pour le suivi de contours en manipulation robotique. Le système repose sur un capteur tactile à vision embarquée (VBTS, Vision-Based Tactile Sensor) monté en configuration eye-in-hand, c'est-à-dire fixé au poignet du robot de façon à co-localiser la perception et l'action. La contribution centrale est que le contrôleur MPC opère directement dans l'espace des descripteurs de contour extraits du capteur, sans passer par un module intermédiaire d'estimation de pose ni par une architecture de contrôle en effort dédiée. Les expériences couvrent des objets aux géométries et matériaux variés, évalués à la fois en simulation et en conditions réelles, avec comparaison systématique contre des stratégies de visual servoing adaptées aux features tactiles. Ce travail s'attaque à un verrou concret du suivi de surface industriel : maintenir un contact calibré tout en longeant un contour exige traditionnellement soit un estimateur de pose précis (coûteux en calcul et sensible aux erreurs de modèle), soit un contrôleur en force complexe. En faisant du MPC un contrôleur natif dans l'espace tactile, les auteurs réduisent la chaîne de traitement et potentiellement la latence de réaction. Pour un intégrateur ou un COO industriel, cela pointe vers des applications d'inspection de surface, de meulage ou d'assemblage de précision où la robustesse au glissement et aux irrégularités géométriques est critique. La comparaison avec le visual servoing tactile permet de quantifier le gain du MPC sur l'horizon de prédiction face à une loi de commande réactive pure, ce qui est une donnée utile pour le choix d'architecture. Les capteurs tactiles à vision (GelSight du MIT, DIGIT de Meta/CMU, Allsight, Soft-bubble) ont connu une forte montée en maturité depuis 2019, permettant d'extraire des champs de déformation et des features géométriques à haute résolution sans marqueurs. L'intégration du MPC à ce type de sensing prolonge des travaux antérieurs sur le contrôle en force/contact, mais substitue la mesure de force par une information visuelle riche et moins coûteuse en capteurs. Côté concurrence académique, des équipes comme CMU Robotics, Berkeley AUTOLAB et ETH Zurich RSL explorent des approches comparables (apprentissage par imitation tactile, diffusion policies avec retour haptique). La prochaine étape naturelle pour ce type de framework serait l'intégration dans des pipelines de manipulation généralistes ou des bancs d'inspection automatisée, potentiellement combinée avec des VLA (Vision-Language-Action models) pour la planification de haut niveau.

RecherchePaper

1 source

3arXiv cs.RO

UniTac : modèle multimodal unifié pour la compréhension et la génération tactiles multi-capteurs

Une équipe de recherche présente UniTac, décrit comme le premier modèle multimodal unifié (UMM) conçu spécifiquement pour la compréhension et la génération de données tactiles, dans un article publié sur arXiv (2606.31451v1). Le système modélise le processus tactile comme une transition entre l'absence de contact et le contact, via une représentation à deux niveaux qui encode à la fois les attributs du capteur utilisé et ceux de l'objet touché. Pour la compréhension, UniTac introduit deux tâches inédites : la description des propriétés physiques d'un objet et l'identification du capteur à l'origine du signal. Pour la génération, les auteurs proposent un entraînement en deux étapes, reconstruction puis alignement, complété par une stratégie d'échantillonnage basée sur les caractéristiques propres à chaque capteur afin de simuler des contacts réalistes. Entraîné sur des jeux de données tactiles multi-capteurs à grande échelle, le modèle revendique des performances état de l'art en compréhension tactile et une capacité à générer des signaux tactiles crédibles quel que soit le capteur d'origine. L'enjeu principal touche à la fragmentation du capteur tactile en robotique : les technologies existantes (capteurs optiques type GelSight ou DIGIT, capteurs magnétiques comme ReSkin, etc.) produisent des signaux de formats incompatibles, ce qui oblige généralement à ré-entraîner un modèle par type de capteur. Un modèle unifié capable à la fois d'interpréter et de générer du signal tactile à travers différents capteurs ouvrirait la voie à un transfert d'apprentissage sans recollecte massive de données, et à une augmentation synthétique des jeux de données tactiles pour l'entraînement de politiques de manipulation. C'est un pas potentiel vers l'intégration du toucher dans les modèles vision-langage-action (VLA) qui structurent aujourd'hui la robotique humanoïde, où la perception reste très majoritairement centrée sur la vision. Ce travail s'inscrit dans la continuité des modèles multimodaux unifiés développés pour l'image et le texte, ici transposés au domaine tactile encore largement sous-exploré selon les auteurs. Il ne s'agit à ce stade que d'une publication de recherche, sans capteur commercial ni intégration robotique annoncée : l'article ne précise ni partenariat industriel, ni calendrier de déploiement, ce qui en fait une contribution méthodologique plutôt qu'un produit prêt à l'emploi.

RecherchePaper

1 source

4arXiv cs.RO

BayesContact : estimation incertaine de la pose via propositions visuo-tactiles et inférence basée sur la simulation

Des chercheurs présentent BayesContact, un système d'estimation de pose par inférence basée sur la simulation pour la manipulation robotique en contact, appliqué en priorité aux tâches d'insertion de type peg-in-hole (goujon dans trou). Le système maintient une croyance probabiliste sous forme d'un nuage de particules sur la pose de l'objet manipulé, et fusionne deux sources de données : les observations de profondeur issues du capteur visuel et les indices de contact dérivés des mesures de force/couple. Pour chaque hypothèse de pose testée, un moteur de rendu simule les mesures de profondeur attendues, tandis qu'un simulateur physique prédit les résultats de contact obtenus lors de mouvements de sondage prudents (guarded probing) ; les deux prédictions sont comparées aux observations réelles du robot pour affiner la croyance sur la pose. Cette croyance multimodale permet en outre de choisir activement, par gain d'information, la prochaine action de sondage la plus utile pour lever l'ambiguïté sur la pose estimée. Les auteurs ont testé BayesContact à la fois sur des géométries simulées et sur un robot réel, et rapportent une amélioration de 30% de l'observabilité de la pose et du taux de succès d'insertion par rapport à une inférence basée uniquement sur la vision. Pour l'assemblage industriel et les tâches d'insertion de précision, en particulier pour les intégrateurs robotiques travaillant sur des lignes d'assemblage automatisées, l'estimation de pose reste un goulot d'étranglement quand la seule profondeur ne suffit pas à distinguer des géométries proches ou partiellement occluses. Les approches existantes combinant vision et contact reposent généralement sur un entraînement hors ligne coûteux, qu'il faut recommencer à chaque nouvel environnement ou nouvelle géométrie de pièce, ce qui limite leur déploiement sur des lignes de production changeantes. En s'appuyant sur des modèles génératifs de simulation plutôt que sur un apprentissage supervisé figé, BayesContact promet une adaptation plus rapide à de nouvelles pièces sans réentraînement complet, un argument qui, s'il se confirme à plus grande échelle, intéresserait directement les fabricants de bras robotiques et les intégrateurs cherchant à réduire le temps de reconfiguration des cellules d'assemblage. Ce travail s'inscrit dans le champ de la manipulation robotique riche en contact, où la fusion vision-tactile est étudiée depuis plusieurs années comme alternative à la vision seule pour des tâches fines comme l'insertion de connecteurs ou l'assemblage de petites pièces. Contrairement aux méthodes d'apprentissage par renforcement ou aux réseaux entraînés hors ligne sur de larges jeux de données, l'inférence bayésienne basée sur la simulation cherche à s'affranchir du coût de réentraînement en s'appuyant directement sur des modèles physiques et de rendu, calibrés en ligne face aux observations réelles. Publié sur arXiv (2607.16123), ce travail reste à ce stade une contribution de recherche académique, validée sur un nombre limité de géométries et un seul robot réel ; les auteurs ne mentionnent ni partenariat industriel ni calendrier de transfert vers un produit commercial, et la généralisation à des tâches d'assemblage plus complexes que le peg-in-hole reste à démontrer.

RecherchePaper

1 source