RecherchearXiv cs.RO 9 juin 2026

LightTact : un capteur tactile-visuel de bout de doigt pour la détection de contact sans déformation

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

LightTact est un capteur tactile-visuel de bout de doigt conçu pour détecter les contacts sans déformation mécanique de surface. Là où les capteurs conventionnels (GelSight du MIT, DIGIT de Meta, Tactip) s'appuient sur la déformation d'un élastomère pour inférer un contact, LightTact exploite une configuration optique à blocage de lumière ambiante: seule la lumière diffusée aux points de véritables contacts traverse le système, laissant les pixels non-contactés à une valeur de gris moyenne inférieure à 3 sur 255. Les images brutes produites sont à fort contraste, chaque zone de contact préservant l'apparence naturelle de la surface touchée. La robustesse annoncée couvre les variations de propriétés matérielles, de force de contact, d'apparence de surface et d'éclairage ambiant, sans calibration spécifique au matériau.

Ce verrou adresse un angle mort structurant de la manipulation robotique fine: les contacts dits "légers" avec des liquides, semi-liquides ou matériaux ultra-mous ne génèrent pas de déformation macroscopique et restent donc invisibles pour la plupart des capteurs actuels. LightTact démontre des comportements jusque-là difficiles à automatiser: étalement d'eau sur une surface, prélèvement de crème cosmétique, interaction avec des films minces souples. Pour les intégrateurs ciblant la cosmétique, l'agroalimentaire ou la manutention de produits fragiles, c'est un point de blocage technique levé. Fait significatif: les images visuelles et tactiles, spatialement alignées, sont directement interprétables par des vision-language models (VLMs), ce qui abaisse la barrière d'intégration avec les pipelines d'IA multimodaux sans couche de traitement intermédiaire dédiée.

Le travail est publié en préprint sur arXiv (référence 2512.20591, troisième version), ce qui le situe au stade de la recherche académique: aucun produit commercial ni déploiement industriel n'est annoncé. Dans le panorama des capteurs tactiles visuels, LightTact occupe une niche distincte de celle de GelSight et ses dérivés, ou des solutions capacitives comme Xela Robotics, qui ciblent des régimes de contact avec déformation mesurable. Du côté européen, Pollen Robotics ou Wandercraft ne proposent pas de capteur tactile propre à ce niveau de spécificité. Les prochaines étapes logiques incluent une validation en boucle fermée sur plateforme robotique réelle et un test de durabilité de la surface optique face à des matériaux agressifs en usage répété.

Impact France/UE

Aucun impact direct documenté à ce stade de préprint, mais les acteurs FR/EU ciblant la manipulation fine (Pollen Robotics, intégrateurs agroalimentaire/cosmétique) pourraient bénéficier de cette approche pour des contacts légers avec matériaux mous ou liquides.

Dans nos dossiers

Wandercraft Pollen Robotics — Reachy Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

TacPrint : un capteur tactile portable au bout du doigt pour reproduire le contact humain-robot

TacPrint, un capteur tactile portable développe pour équiper le bout des doigts humains, associe une peau en silicone truffée de reliefs a une grille de 24 taxels capacitifs alignes un a un avec ces protrusions. Cette architecture permet de capter des interactions de contact fines lors de manipulations naturelles, sans gène pour l'opérateur. Un pipeline réel-vers-simulation-vers-réel reconstruit a partir des 24 canaux capacitifs une carte de profondeur de contact de 35 par 26 points. Face aux étiquettes générées en simulation, le modèle atteint une RMSE de région de contact de 0,223 mm (plus ou moins 0,161 mm), une erreur de centroide pondéré de 1,213 pixels et un IoU de 0,829. Sur données capacitives réelles, l'erreur de profondeur au centre de contact calibre tombe a 0,085 mm en moyenne sur 40 essais contrôles, et l'erreur de position de contact atteint 0,250 mm sur 37 essais valides. En rejouant des démonstrations humaines sur un bras robotique, la compensation guidée par le tactile fait grimper les taux de réussite de préhension et d'essuyage de 0% a respectivement 91,67% et 90%. En boucle fermée, le retour de profondeur dense obtient 87,5% de réussite globale et 85% en conditions de contact en bord, contre seulement 67,5% et 45% pour un retour brut base sur les taxels. Ces résultats ciblent un goulot d'étranglement précis de l'apprentissage par démonstration humaine: la différence entre observer un geste et transférer la sensation de contact qui le rend fiable. Sans capteur tactile fin et peu intrusif, les pipelines de collecte de données humaines pour la robotique manipulent surtout des trajectoires visuelles, en perdant l'information de force et de déformation locale essentielle aux taches de contact riche comme la préhension d'objets fragiles ou l'essuyage de surfaces. Le saut de 0% a plus de 90% de réussite en rejouant les démonstrations avec compensation tactile suggère que cette lacune, plutôt que la seule politique de contrôle, explique une partie du fosse entre démonstration et exécution robotique fiable. TacPrint s'inscrit dans une lignée de capteurs tactiles bio-inspires pour la robotique, aux cotes d'approches comme GelSight ou les gants instrumentes utilises en téléopération, mais avec une couche capacitive plus légère et un pipeline de reconstruction explicitement pense pour le transfert humain-vers-robot. Les auteurs, rattaches a des laboratoires de recherche universitaires selon la publication arXiv, positionnent ce travail comme une brique pour améliorer la collecte de données de manipulation a grande échelle, avec une validation encore limitée a des essais contrôles en laboratoire plutôt qu'un déploiement industriel.

RecherchePaper

1 source

2arXiv cs.RO

MagCilia : un capteur tactile magnétociliaire compact à détection de force 3D pour la perception du contact et le retour de préhension

Des chercheurs ont présenté sur arXiv MagCilia, un capteur tactile magnétociliaire compact qui associe une structure flexible de cils magnétiques à un capteur à effet Hall pour mesurer les forces en trois dimensions (normale et tangentielles). Le dispositif a été analysé par éléments finis quasi statiques, afin de comprendre la déformation de la structure et la réponse magnétique sous charges multidirectionnelles. Comme les canaux magnétiques sont couplés, l'équipe propose une méthode de reconstruction appelée CHFR (causal history fusion regression), qui combine la mesure instantanée du champ magnétique et ses variations récentes. En validation croisée à cinq plis, groupée par enregistrement de calibration, l'erreur quadratique moyenne atteint 0,40 N sur Fx, 0,57 N sur Fy et 0,69 N sur Fz, pour des coefficients de détermination de 0,93, 0,90 et 0,92. Les tests robotiques montrent un ajustement de la pince guidé par la force tangentielle et un suivi de charge multiaxe sous perturbations extérieures. Les caractéristiques fréquentielles des forces reconstruites permettent de distinguer six catégories de surfaces avec 99,39 % de précision en validation croisée à trois plis, groupée par session d'acquisition. Une démonstration robotique en ligne a identifié les six surfaces testées. L'intérêt tient à la combinaison de trois fonctions dans une seule unité compacte : mesure de force 3D, retour de préhension et reconnaissance de texture. Pour un intégrateur, la capacité à détecter un glissement naissant via la force tangentielle, sans caméra, est utile dès que l'occlusion visuelle ou les reflets gênent la préhension. Le principe magnétique, avec un seul capteur Hall, laisse aussi espérer une électronique simple et un encombrement réduit par rapport aux capteurs optiques de type GelSight. Les chiffres demandent toutefois de la prudence. Une erreur de 0,4 à 0,7 N est correcte pour de la manipulation générale, mais elle reste élevée pour des objets fragiles ou des assemblages fins. Les 99,39 % portent sur seulement six surfaces, validées par sessions mais en conditions de laboratoire. Rien n'indique non plus la dérive dans le temps, l'hystérésis ni la durabilité des cils après de nombreux cycles de contact. Ce travail s'inscrit dans la course au toucher des mains robotiques, où le manque de perception tactile fiable freine encore le passage des démonstrations de VLA et de manipulation dextre à un déploiement réel. Les capteurs magnétiques (de type uSkin) et optiques (GelSight, DIGIT) occupent déjà ce terrain. MagCilia propose une alternative inspirée des cils biologiques. Il s'agit d'une prépublication v1, sans financement, partenaire industriel, prix ni calendrier de commercialisation annoncé, donc d'un résultat de recherche et non d'un produit. Les prochaines étapes à surveiller sont l'intégration sur des mains multidoigts, des essais sur des objets variés et déformables, la robustesse en cycles longs et une évaluation par des pairs.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Manipulation Tactile et Visuelle Centrée sur le Contact pour la Manipulation du Bras Complet

Des chercheurs du laboratoire EMPRISE de l'université Cornell présentent TACTIC (Tactile and Vision Conditioned Contact-Centric Control), un contrôleur pour la manipulation "bras entier", où le robot touche l'environnement avec plusieurs segments de son bras et non plus seulement sa pince. Décrit dans un preprint arXiv (2607.09218), le système combine images RGB-D, capteurs tactiles distribués et une carte de proximité 2D compacte pour prédire comment les contacts se forment, glissent ou se rompent au fil du mouvement. Un modèle de dynamique appris est couplé aux jacobiennes de contact pour simuler à l'avance forces d'interaction et configurations futures, et alimente un planificateur prédictif (MPC) à échantillonnage dont les trajectoires candidates sont orientées vers des directions qui modulent les forces plutôt que de les subir. En simulation, TACTIC dépasse les méthodes de référence à base de modèle et les approches purement apprises. Sur un bras réel équipé de peau tactile, l'équipe démontre trois tâches multi-contacts : retourner et repositionner un mannequin, et atteindre un objectif dans un labyrinthe 3D dynamique. La manipulation bras entier est un angle mort des pipelines d'apprentissage actuels, taillés pour un contact unique au niveau de la pince. Dès que plusieurs segments touchent l'environnement simultanément, mouvement et forces de contact deviennent étroitement couplés, l'état de contact reste partiellement caché sous occlusion, et les politiques purement apprises se désynchronisent physiquement hors distribution, faute de données sur les configurations multi-contacts. En hybridant apprentissage et modèle physique explicite, TACTIC illustre une tendance de fond en robotique de manipulation : combiner du model-based pour la garantie physique et de l'apprenant pour la perception, plutôt que tout confier à un modèle de bout en bout type VLA. Pour les intégrateurs visant des bras opérant en espace encombré (tri, logistique, désassemblage), c'est un manque réel comblé, la plupart des démonstrateurs actuels évitant soigneusement tout contact hors pince. Le travail émane du laboratoire EMPRISE de Cornell, spécialisé en manipulation riche en contact et perception tactile, et s'inscrit dans une littérature plus large sur le contrôle prédictif informé par le contact, aux côtés de recherches comparables au MIT ou à CMU. Contrairement aux annonces commerciales de robots humanoïdes comme Figure, Optimus ou les modèles VLA de Physical Intelligence et NVIDIA, il s'agit ici d'un résultat académique validé en simulation puis sur un unique bras de laboratoire, pas d'un produit commercialisé. Aucun acteur français ou européen n'est associé à cette publication. Les auteurs mettent en ligne une page projet (emprise.cs.cornell.edu/tactic) sans calendrier annoncé de transfert vers des plateformes commerciales.

RecherchePaper

1 source

4arXiv cs.RO

VTAP : combiner détection au bout des doigts et paume active visuo-tactile pour la manipulation dextérique en main

Une équipe de recherche présente le VTAP, un gripper robotique à trois doigts doté d'une paume visuo-tactile active combinée à des doigts compliants et reconfigurables équipés de capteurs tactiles matriciels. La paume actionnée associe localisation visuelle longue portée et retour tactile riche en contacts, ce qui étend nettement les capacités de manipulation par rapport aux pinces classiques. Pour piloter cette structure à trois doigts, différente de la main humaine, les chercheurs proposent un cadre de retargeting téléopérationnel par étapes, conditionné par gestes, traduisant les mouvements de la main d'un opérateur vers le gripper. Les expériences couvrent plusieurs tâches exigeantes : saisie réactive d'objets du jeu YCB et d'objets fragiles, réorientation en main d'une seringue avec actionnement du piston, séparation d'objets agglomérés jusqu'à 3 mm de diamètre, et insertion de type peg-in-hole guidée par vision et tact. Le papier est publié sur arXiv (2607.15448) avec une page projet dédiée. Cette démonstration intéresse directement les équipes de R&D en manipulation dextre, car elle contredit l'hypothèse selon laquelle une manipulation fine exige des mains anthropomorphiques à haut nombre de degrés de liberté. En combinant seulement trois doigts compliants et une paume active multimodale, l'équipe montre qu'une synergie structurée doigts-paume peut suffire pour des tâches de précision comme la manipulation d'objets millimétriques ou l'insertion guidée. Pour les industriels, l'architecture proposée sert surtout de référence pratique pour la conception de grippers et la collecte de données riches en contacts, un enjeu central pour entraîner des politiques de manipulation par apprentissage, qui manquent aujourd'hui de jeux de données tactiles à grande échelle. Ce travail s'inscrit dans la continuité des recherches sur les capteurs tactiles matriciels et la fusion vision-tact, un axe exploré par des laboratoires travaillant sur des mains tactiles ainsi que par des fabricants de mains anthropomorphiques à haut DOF comme Shadow Robot ou les mains humanoïdes de Tesla et Figure. Contrairement à ces approches privilégiant le nombre d'articulations, le VTAP mise sur la coordination doigts-paume et la perception multimodale plutôt que sur la complexité mécanique. Le projet ne mentionne pour l'instant aucun partenariat industriel ni calendrier de transfert commercial : il s'agit d'une preuve de concept en laboratoire destinée à informer la conception future de préhenseurs dextres et la collecte de données pour l'apprentissage robotique.

RecherchePaper

1 source