Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
GIFT : un gant instrumenté transfère la force et les compétences humaines à une main robotique sans capteurs tactiles
RecherchearXiv cs.RO 

GIFT : un gant instrumenté transfère la force et les compétences humaines à une main robotique sans capteurs tactiles

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un preprint publié sur arXiv en septembre 2026 (arXiv:2609.14173) présente GIFT (Glove-Inferred Force Transfer), qui transfère une préhension sensible à la force de la main humaine vers une main robotique sans capteur tactile partagé entre les deux. Un gant portable mesure côté humain la flexion des doigts, la force des doigts en newtons et l'orientation du poignet, filmée par une caméra de tête sans robot présent; côté robot, la force est estimée après coup à partir des résidus de courant moteur par rapport à une ligne de base en espace libre, compatible avec toute main à commande de position rapportant son courant. Sur une tâche de saisie et maintien d'une tasse, testée sur 50 lancers au protocole fixé à l'avance, deux politiques entraînées sur les mêmes démonstrations, avec ou sans entrées de force, ont réussi chacune 25 saisies sur 25, mais la force médiane de préhension en phase de maintien était inférieure de 53% avec les entrées de force, soit 1,20 N contre 2,55 N (p<0,0001). Une ablation séparée a montré qu'une politique vision seule échouait sur 15 saisies tentées, contre un succès systématique avec l'état de la main.

Le résultat central est que ce canal de force, mesuré uniquement côté humain, se transfère à une main robotique sans aucun capteur tactile, via une carte de retargeting entre cinq canaux du gant et sept actionneurs du robot. Cela lève une contrainte qui limitait le transfert force-aware au même gant tactile porté par l'humain puis embarqué sur le robot, ou à un alignement appris entre deux capteurs tactiles distincts, deux solutions coûteuses à répliquer sur une nouvelle plateforme. L'échec de la politique vision seule dans l'ablation rappelle qu'une politique purement visuelle reste insuffisante pour une saisie fiable, une nuance utile face aux modèles vision-langage-action entraînés sur la seule image.

GIFT prolonge des travaux antérieurs où humain et robot partageaient le même gant tactile ou nécessitaient un alignement appris entre deux capteurs différents; l'étude reste un preprint limité à une seule tâche de préhension, sans robot ni partenaire nommés et sans calendrier de déploiement. Les auteurs appellent à étendre la méthode à d'autres tâches et à d'autres mains robotiques disposant d'un retour de courant moteur, pour vérifier que le gain observé se généralise au-delà d'une tasse.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

ForceTwin : jumeaux numériques physiques pour la manipulation robotique à partir d'interactions humaines instrumentées
1arXiv cs.RO 

ForceTwin : jumeaux numériques physiques pour la manipulation robotique à partir d'interactions humaines instrumentées

Des chercheurs ont publié le 21 septembre 2026 sur arXiv (référence 2609.21751) un système baptisé ForceTwin, conçu pour créer des jumeaux numériques d'objets articulés, portes, tiroirs, mécanismes à ressort, intégrant leurs propriétés physiques réelles plutôt que de simples données visuelles. La méthode repose sur une pince instrumentée à capteur de force, manipulée par un humain, qui enregistre simultanément positions et forces d'interaction. Ces données permettent d'estimer l'articulation de l'objet et ses paramètres dynamiques : inertie, friction de Coulomb, amortissement visqueux, plus un résidu neuronal structuré capturant les forces de mécanisme dépendantes de l'état, comme un ressort ou un ferme-porte. ForceTwin réduit de près de moitié l'erreur d'estimation des paramètres inertiels par rapport à une méthode s'appuyant sur un modèle vision-langage (VLM) comme a priori. Intégré comme modèle dynamique feedforward dans un contrôle en impédance, le système a été testé sur un robot quadrupède Spot (Boston Dynamics) et un bras Franka FR3 (Franka Robotics, Allemagne), atteignant 87% de réussite sur neuf paires objet-robot, contre 60% pour l'approche VLM et 57% pour un jumeau purement cinématique. Les jumeaux identifiés ont ensuite servi à entraîner des politiques de franchissement de porte en corps entier, déployées en conditions réelles. Cette approche cible un angle mort des pipelines actuels de jumeaux numériques, qui se contentent souvent d'inférer la géométrie et d'assigner des paramètres physiques statiques à partir d'a priori visuels ou textuels, une méthode pouvant produire des estimations physiquement incohérentes : deux portes visuellement identiques peuvent demander un effort de manipulation très différent, une nuance invisible pour un modèle vision-langage mais critique pour un robot devant réellement pousser, tirer ou tourner un mécanisme. Pour les intégrateurs et les équipes R&D en manipulation robotique, l'écart de performance observé, particulièrement marqué sur les objets à mécanisme fort où les deux méthodes de référence calent, indique que la modélisation physique fine reste un verrou plus contraignant que la perception ou la planification pour la manipulation d'objets articulés en environnement réel. Cela nuance l'idée selon laquelle les modèles vision-langage-action suffiraient à généraliser la manipulation sans modèle physique explicite du mécanisme manipulé. ForceTwin s'inscrit dans la lignée des travaux sur les jumeaux numériques articulés en robotique, où la difficulté centrale est de capturer la dynamique sans instrumenter lourdement chaque objet du monde réel. Le système se positionne explicitement contre deux références répandues dans la littérature et les pipelines industriels de simulation : l'estimation par a priori vision-langage et les jumeaux purement cinématiques. La validation a été menée sur du matériel commercial existant, Spot et Franka FR3, plutôt que sur des plateformes propriétaires fermées, ce qui facilite une reproductibilité potentielle par d'autres laboratoires. La suite annoncée porte sur le déploiement de politiques de franchissement de porte en corps entier, une tâche souvent citée comme test de référence pour la mobilité et la manipulation combinées chez les robots humanoïdes et quadrupèdes équipés de bras.

UELe bras robotique Franka FR3 utilisé pour valider le système est produit par l'entreprise allemande Franka Robotics, seul lien concret de cette recherche avec l'écosystème européen.

RecherchePaper
1 source
Capteur robotique à champ électrique : les machines « ressentent » et identifient les objets sans contact
2Interesting Engineering 

Capteur robotique à champ électrique : les machines « ressentent » et identifient les objets sans contact

Des chercheurs de l'université Xidian, en Chine, ont mis au point un capteur robotique capable de détecter des objets sans contact physique, en s'inspirant du mode de chasse des anguilles électriques. Le dispositif, présenté par le professeur Zhang Weiqiang, utilise une surface en fluoropolymère chargée électrostatiquement, qui agit comme une pile statique miniature conservant sa charge sur de longues périodes. Cette charge génère autour du capteur un champ électrique faible dont la forme, stable au repos, se déforme dès qu'un objet s'approche, exactement comme le champ qu'une anguille électrique projette dans l'eau pour repérer proies et obstacles. En mesurant ces distorsions, le système infère la conductivité électrique, les propriétés diélectriques et la géométrie de l'objet approchant, ainsi qu'une estimation de sa distance. Un métal, très conducteur, perturbe fortement le champ, tandis que le plastique, le verre ou le bois, moins conducteurs mais polarisables, produisent des signatures différentes. La forme de la perturbation varie aussi selon que l'objet est plat et large ou petit et sphérique, permettant une identification partielle avant tout contact. Pour l'industrie robotique, cette approche répond à un angle mort classique des systèmes de vision : les objets transparents ou réfléchissants, comme le verre, restent difficiles à détecter par caméra mais modifient bien un champ électrique. Le capteur pourrait ainsi compléter, voire remplacer localement, les capteurs optiques dans des environnements où la vision échoue, obscurité, fumée, poussière, ou scènes visuellement confuses en usine. Les applications visées incluent la manipulation délicate en préhension robotique, les prothèses capables de "sentir" un contact imminent, et les robots industriels amenés à identifier un matériau avant de le saisir. Il s'agit toutefois d'un résultat de recherche académique, pas d'un produit commercialisé ni déployé en usine : l'article ne précise ni la portée maximale du capteur, ni sa précision réelle, ni sa robustesse face à l'humidité ou à la température, autant de zones d'ombre qui conditionnent une éventuelle industrialisation. Le projet s'inscrit dans un courant de recherche en bio-inspiration qui cherche à transposer des mécanismes de perception animale, ici l'électrolocation propre aux poissons électriques comme l'anguille, vers la robotique de proximité et le toucher artificiel. Contrairement aux capteurs tactiles capacitifs classiques, qui nécessitent un contact ou une proximité extrême, ce système viserait une détection à distance plus significative combinée à un début de reconnaissance de matériau. Aucun acteur industriel ni concurrent direct n'est cité dans les travaux publiés, et aucune feuille de route de transfert vers un produit, un pilote industriel ou un partenariat n'est annoncée à ce stade. La suite logique pour l'équipe de Xidian University consistera à quantifier la portée, la résolution et la stabilité du capteur dans des conditions environnementales variables avant d'envisager une intégration sur des bras robotiques ou des mains préhensiles réels.

RecherchePaper
1 source
Pourquoi concevoir une main robotique semblable à la main humaine est incroyablement difficile
3Interesting Engineering 

Pourquoi concevoir une main robotique semblable à la main humaine est incroyablement difficile

Une étude publiée en 2026 dans Science Robotics par des chercheurs de l'université du Zhejiang illustre l'ampleur du défi que pose la manipulation dextre pour les humanoïdes : combinant perception visuelle, retour tactile, apprentissage par renforcement et imitation en ligne, leur système atteint 85% de réussite sur cinq tâches complexes impliquant 25 objets. Des chercheurs de l'Ohio State University identifient par ailleurs la manipulation d'objets souples, fragiles ou irréguliers comme l'un des problèmes fondamentaux non résolus de la robotique domestique, aux côtés de la coordination bimanuelle, de la navigation stable et de la portée des bras. Sur le plan commercial, Unitree s'est fait remarquer avec le saut arrière de son H1 et les mouvements athlétiques de son G1, tandis que Reuters rapportait que plusieurs entreprises chinoises, dont X Square Robot, testent désormais leurs humanoïdes sur des tâches ménagères comme plier du linge. Ce contraste entre prouesses de locomotion et difficulté à plier une chemise ou saisir une éponge humide révèle un écart sous-estimé par la communication du secteur : un salto arrière est une séquence de mouvements prédéfinis et répétables en environnement contrôlé, alors que la préhension d'un objet déformable exige une adaptation continue de la force et de la prise. Cette information, la seule vision ne peut la fournir : une caméra détecte qu'un robot tient un œuf, pas à quel point il est près de le briser. Pour les intégrateurs et décideurs industriels, les démonstrations d'agilité physique ne présagent en rien de la capacité d'un humanoïde à opérer en environnement non structuré, domicile ou entrepôt encombré. La main reste le goulot d'étranglement, et son évaluation doit reposer sur des métriques de préhension fine et de robustesse au glissement plutôt que sur des vidéos de démonstration. Ce constat tempère l'idée que le passage de la simulation au réel et les modèles vision-langage-action génériques seraient déjà résolus à l'échelle pour les tâches de manipulation fine. Cette bascule vers les tâches ménagères s'inscrit dans une course où les fabricants chinois, après avoir misé sur la locomotion et l'acrobatie, cherchent à prouver une utilité domestique concrète face à des concurrents tournés vers des usages industriels ou logistiques. Le recours croissant au tactile combiné à l'apprentissage par renforcement, comme dans les travaux de l'université du Zhejiang, traduit une réorientation : la dextérité viendra moins de l'ajout de moteurs et de degrés de liberté que de capteurs de force et de glissement pilotés par des politiques apprises. Aucun calendrier de déploiement commercial n'accompagne ces résultats de laboratoire, et les taux de réussite annoncés, mesurés sur un nombre restreint d'objets et de tâches, restent à confirmer face à la variabilité d'un foyer réel. Cela invite à distinguer clairement ces avancées de recherche d'un produit effectivement déployé chez des utilisateurs.

RecherchePaper
1 source
VisTacAlign : co-entraînement de politiques dextériques sur des démonstrations tactiles humaines et robotiques
4arXiv cs.RO 

VisTacAlign : co-entraînement de politiques dextériques sur des démonstrations tactiles humaines et robotiques

Un preprint arXiv (2609.30959v1), publié fin septembre 2026 avec une page projet à vis-tac-align.github.io, présente VisTacAlign, un framework de co-entraînement de politiques de manipulation dextre combinant vision 3D et tactile. Des démonstrations humaines captées par un gant tracké sont retargetées vers une main robotique tactile à 17 degrés de liberté, avec une correction ponctuelle des doigts. La main humaine est effacée des vues stéréo et remplacée par un maillage de main robot texturé à partir d'images robot réelles, puis un modèle de fondation stéréo est réappliqué sur l'image composite pour homogénéiser les erreurs de perception entre les deux sources. Un gant tactile capacitif est calibré sur les capteurs de bout de doigt du robot, et un transformeur à diffusion ingère nuage de points, proprioception et tactile par doigt. Trois tâches réelles servent de test : assemblage de Lego, cueillette de fraises de tailles variables, activation et levage d'une perceuse. Résultat clé : combiner ces démonstrations humaines alignées avec des données robot existantes améliore les politiques par rapport à un entraînement robot seul, et les ablations montrent que tactile et alignement visuel sont chacun nécessaires. Pour les équipes de manipulation dextre, l'enjeu est économique : la téléopération robot reste lente et coûteuse à collecter, alors que les démonstrations humaines filmées à la main sont abondantes. Le verrou n'était pas le volume de données humaines mais l'écart d'incarnation entre main humaine et main robot. Ces travaux appuient l'idée que des politiques génériques de type VLA peuvent apprendre à grande échelle à partir de vidéos humaines, une direction que suivent aussi des modèles comme Pi-0 ou GR00T N2. VisTacAlign reste un travail de recherche en preprint, sans produit ni déploiement industriel annoncé : la validation se limite à trois tâches en laboratoire. Il s'inscrit dans une vague de recherches cherchant à réduire la dépendance à la téléopération coûteuse via des démonstrations humaines, aux côtés d'approches comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure. Sa spécificité tient à la modalité tactile, moins explorée que le transfert purement visuel humain-robot. Le preprint n'annonce ni partenariat industriel ni calendrier de suite ; les prochaines étapes se limitent aux vidéos et documents disponibles sur la page du projet.

RecherchePaper
1 source