RecherchearXiv cs.RO 18 août 2026

ViHaTeleop : un système de téléopération visuo-haptique léger et à faible coût pour l'apprentissage de la manipulation dextérique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent ViHaTeleop, un système de téléopération visuo-haptique pour l'apprentissage par démonstration en manipulation dexterous. Leger (0,7 kg) et peu couteux (550 dollars), il combine suivi du poignet par SLAM, suivi de la main par camera, et retour vibrotactile par doigt via des actionneurs a résonance linéaire, avec éclairage LED intègre, camera fisheye dédiée et contraintes de retargeting sensibles au contact. Deploye sur un bras Franka équipe d'une main LEAP et d'un capteur tactile 9DTact, en réel comme en simulation, il a été teste auprès de neuf participants sur six taches a fort contact, avec et sans retour haptique. Resultat: le taux de réussite progresse de 2,2 a 15,6 points de pourcentage dans toutes les taches, l'effet sur le temps d'exécution variant selon la tache, et les utilisateurs rapportent une clarté de contact et une confiance de préhension significativement meilleures (test de Wilcoxon, p<0,05). Un proxy tactile base sur camera de profondeur, intègre dans Isaac Sim, permet aussi d'entrainer des politiques visuo-tactiles a partir des démonstrations collectées, avec un gain de 17 points sur une tache d'insertion de cheville (peg-in-hole) par rapport a une politique uniquement visuelle.

Ce travail cible un goulot d'étranglement connu de l'apprentissage par démonstration: le matériel de téléopération bon marche capture mal les interactions de contact fin, ce qui dégradé la qualité des données servant a entrainer des politiques de manipulation, y compris les modèles vision-langage-action déployés a plus grande échelle. En montrant qu'un retour haptique a faible cout améliore a la fois la téléopération humaine et la politique entraînée en aval, l'étude plaide pour intégrer systématiquement le tactile dans les pipelines de collecte de données plutôt que de reposer sur la seule vision. A 550 dollars, bien en dessous des systèmes haptiques industriels, l'approche pourrait devenir accessible a un plus grand nombre de laboratoires et d'intégrateurs travaillant sur la manipulation fine, la ou l'écart entre démonstrations en laboratoire et robustesse en conditions réelles demeure large.

ViHaTeleop s'inscrit dans les travaux récents sur la téléopération a bas cout pour l'apprentissage par imitation, motives par la difficulté de collecter des démonstrations de qualité pour des taches fines sans matériel haptique onéreux. Publie en preprint sur arXiv (2608.16572v1), le système reste un prototype de recherche valide en laboratoire sur des taches contrôlées, et non un produit commercialise ou déployé en production. Aucun acteur français ou européen n'apparait dans l'étude, dont les auteurs ne précisent ni calendrier de diffusion open-source du matériel et du code, ni suite annoncee au-delà de cette validation préliminaire.

Dans nos dossiers

IA physique & VLA NVIDIA Isaac & Cosmos arXiv cs.RO

À lire aussi

1arXiv cs.RO

ReForce : apprentissage du retargeting sensible à la force pour la manipulation dextérique

Une équipe de recherche a publié le 18 août 2026 sur arXiv (référence 2608.15560v1) une méthode baptisée ReForce, conçue pour la manipulation dextre par robot à partir de démonstrations humaines. Le problème visé est le suivant: les pipelines de retargeting (transfert des mouvements humains vers un bras ou une main robotique) restent aujourd'hui essentiellement cinématiques, c'est-à-dire qu'ils copient les trajectoires et postures sans tenir compte des forces de contact, alors que ce sont ces forces qui déterminent la réussite ou l'échec d'une prise en main. ReForce ajoute un résidu de force au-dessus du mouvement retargeté classiquement, calculé par un "force tracker" générique entraîné sur un grand volume d'interactions simulées. La méthode fonctionne en deux modes: téléopération en ligne avec retour de force, et traduction hors ligne de jeux de données de démonstration déjà enregistrés. Les tests, menés à la fois en simulation et sur du matériel réel, portent sur des tâches réputées difficiles car riches en contacts fins: la saisie d'un gobelet en papier et la manipulation de pinces (tongs). Les auteurs rapportent une erreur de suivi de force réduite et un engagement multi-doigts plus stable que les approches purement cinématiques. Pour l'industrie robotique, l'enjeu dépasse le simple gain de précision: la collecte de démonstrations humaines à grande échelle est devenue le principal levier pour entraîner des politiques de manipulation dextre, y compris pour les modèles vision-langage-action. Si le retargeting cinématique ignore la force, les données transmises aux modèles encodent des gestes visuellement corrects mais mécaniquement approximatifs, ce qui explique en partie pourquoi certaines démonstrations impressionnantes en vidéo échouent lors d'un déploiement réel sur objets fragiles, déformables ou glissants. En introduisant un modèle de force générique et transférable, ReForce propose une brique technique susceptible d'améliorer la qualité des jeux de données de téléopération en amont, plutôt que de complexifier uniquement le modèle final. Il s'agit d'une contribution académique en preprint, sans entreprise ni produit commercial associé, à distinguer des annonces de Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix), qui portent sur des modèles de bout en bout déployés ou pilotés en conditions réelles. ReForce se positionne en amont de ces systèmes, sur la brique de collecte et de conversion de données de démonstration. L'abstract ne mentionne ni publication de code, ni jeu de données ouvert, ni calendrier de déploiement industriel: les deux tâches testées, prise de gobelet et manipulation de pinces, servent de preuve de concept plutôt que de benchmark étendu, la validation à plus grande échelle restant à faire.

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage de la manipulation robotique à force régulée avec une pince tactile à contrôle de force à faible coût

Des chercheurs présentent TF-Gripper, une pince parallèle à force contrôlée dont le coût avoisine 150 dollars. Elle intègre un retour tactile et couvre une plage de force effective de 0,45 à 45 N. Elle se monte sur différents bras robotiques. Les auteurs l'associent à un dispositif de téléopération qui enregistre les forces de préhension appliquées par un opérateur humain. Ils proposent aussi RETAF (REactive Tactile Adaptation of Force), un cadre logiciel qui sépare le contrôle de la force de serrage de la prédiction de pose de l'effecteur. RETAF régule la force à haute fréquence à partir d'images de poignet et du retour tactile. Une politique de base prédit, elle, la pose de l'effecteur et l'ordre d'ouverture ou de fermeture. Les expériences portent sur six tâches réelles. Le contrôle direct de la force y améliore la stabilité de la prise et la performance globale par rapport au contrôle en position. Selon les auteurs, RETAF surpasse systématiquement les références testées et s'intègre à plusieurs politiques de base. Le travail est publié sur arXiv (version 2), avec une page de projet associée. Il s'agit d'un résultat de laboratoire, sans déploiement industriel ni produit commercialisé. L'enjeu tient à un angle mort de l'apprentissage par imitation et des modèles vision-langage-action (VLA). La plupart des pinces du marché sont soit chères, soit limitées par une force minimale trop élevée. Elles sont donc inadaptées aux objets fragiles du quotidien, comme les chips, qui se brisent si la force n'est pas modulée. Une pince à 150 dollars capable de descendre sous 0,5 N abaisse nettement le coût d'entrée pour les laboratoires qui étudient la manipulation sensible à la force. Pour les intégrateurs, le résultat suggère que le contrôle en force doit tourner sur une boucle rapide et dédiée. Les politiques génériques à basse fréquence peuvent être entraînées sur des données de force, mais les auteurs reconnaissent que leur fiabilité reste difficile à obtenir, car la tâche est réactive et dépend du contact. Il faut toutefois rester prudent. Six tâches en laboratoire ne disent rien de la durabilité de la pince, de la dérive des capteurs tactiles ni de la répétabilité en cadence industrielle. Le résumé ne donne pas non plus les taux de réussite chiffrés. Ce travail s'inscrit dans le déplacement de la recherche en manipulation, de la seule géométrie vers le contact. Les pinces tactiles et les mains dextres sont aujourd'hui souvent coûteuses ou propriétaires. Les politiques de type Pi-0 ou les VLA actuels se concentrent surtout sur la pose de l'effecteur et sur un état binaire de la pince. La séparation entre politique de base et régulation de force de RETAF est modulaire, ce qui la rend compatible avec ces architectures. Les auteurs affichent l'ambition de faire passer à l'échelle l'apprentissage de politiques à force contrôlée. Pour cela, il faudrait des jeux de données de force plus larges, collectés avec leur dispositif de téléopération, et des validations sur des objets plus variés. Aucun calendrier de commercialisation n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

DexTacWAM : un modèle visuo-tactile du monde et de l'action pour la manipulation dextérique

Un article déposé sur arXiv en septembre 2026 (arXiv:2609.24976v1) présente DexTacWAM, un World-Action Model (WAM) visuo-tactile pour la manipulation dextre, qui encode indépendamment chaque bout de doigt et injecte l'information tactile, via un compresseur sensible au doigt et à sa pose, dans un modèle du monde fondé sur la diffusion vidéo. Testé sur six tâches de manipulation à fort contact sur une plateforme bimanuelle à 22 degrés de liberté, DexTacWAM obtient le meilleur score sur toutes, avec une moyenne de 70,6 points contre 38,0 pour le meilleur système de référence, sur une échelle non précisée par les auteurs. Une étude d'ablation montre que retirer la modélisation tactile du monde, tout en gardant les mêmes caractéristiques tactiles et le même module d'action, fait chuter la moyenne sur quatre tâches de 74,7 à 26,6 points. Avec un encodeur vidéo pré-entraîné gelé, quatre heures d'adaptation de l'encodeur tactile et une centaine de démonstrations par tâche suffisent pour une qualité de prédiction visuelle à moins de 0,5 dB du niveau purement visuel, un rappel de contact conservé à 89,4% après compression, un entraînement 2,26 fois plus rapide et une inférence 1,29 fois plus rapide. Ce résultat cible une limite connue des WAM actuels, généralement centrés sur la vision et donc incapables de modéliser directement la dynamique de contact, pourtant déterminante en manipulation fine. L'étude montre que le gain provient surtout du fait de traiter l'évolution du contact comme une composante de l'état du monde prédit, plutôt que d'un simple conditionnement des actions sur des données tactiles. Pour les intégrateurs et les équipes de recherche en robotique dextre, l'intérêt pratique tient à l'efficacité: étendre un grand modèle vidéo déjà entraîné au sens du toucher avec un budget de données et de calcul réduit, sans tout ré-entraîner. Le travail s'inscrit dans la lignée des World-Action Models, qui couplent modélisation vidéo prédictive et génération d'action pour anticiper les effets des mouvements d'un robot, jusqu'ici presque exclusivement visuels. Il s'agit à ce stade d'un article de recherche, sans identification des auteurs ni annonce de partenariat industriel, de plateforme commerciale ou de calendrier de déploiement. La suite logique, non détaillée dans l'article, consisterait à valider l'approche sur davantage de tâches et de plateformes, voire sur des mains dextres commerciales, avant toute intégration dans des systèmes de manipulation opérationnels.

RechercheActu

1 source

4arXiv cs.RO

Un cadre de téléopération bilatérale pour la manipulation dextérique

Une équipe de chercheurs publie, dans un preprint arXiv déposé en juin 2026 (arXiv:2606.15434), un système modulaire de téleopération bilatérale conçu pour la manipulation dextre en environnements réels à fort contact. L'architecture proposée couple une interface côté opérateur à un bras robotique compliant et à une main mécanique dextre côté robot, dans une boucle de contrôle unifiée. Quatre fonctionnalités centrales sont documentées : le retargeting de posture de main par positions (adaptation des commandes d'une main humaine vers une main robotique de morphologie différente), la commande différentielle du bras, le retour haptique multi-échelle, et un mécanisme de contrôle partagé pour stabiliser les phases de manipulation en contact. Le framework est validé sur une tâche réelle de manipulation dextre, sans que les métriques de performance - latence, temps de cycle, taux de succès - ne soient communiquées dans le résumé public disponible. L'intérêt principal de ce travail pour les équipes de recherche et les intégrateurs ne réside pas dans les performances brutes du système de téleopération lui-même, mais dans sa vocation déclarée de plateforme de collecte de démonstrations haute qualité pour l'apprentissage par imitation (learning from demonstration). À l'heure où les architectures VLA (Vision-Language-Action) - comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA - exigent des datasets massifs de trajectoires expertes en manipulation fine, la qualité du pipeline de collecte devient un goulot d'étranglement critique. Les auteurs identifient aussi trois problèmes de conception restant ouverts : le mismatch cross-embodiment (écart morphologique entre la main de l'opérateur et celle du robot), la granularité du retour haptique, et le dosage optimal du contrôle partagé. Ce framework s'inscrit dans une tendance de fond visant à standardiser l'infrastructure de collecte de données téléopérées, dans la lignée du système ALOHA de Stanford ou de la plateforme UMI. Les acteurs européens comme Enchanted Tools (France) ou les équipes robotique de l'INRIA travaillent sur des problématiques similaires de couplage haptique et de retargeting pour la manipulation fine. Ce preprint ne présente pas de chiffres de déploiement ni de partenariats industriels annoncés : il s'agit d'une contribution académique amont, dont la suite logique serait la publication d'un dataset de démonstrations et de benchmarks comparatifs sur des tâches de manipulation standardisées.

UELes équipes françaises (Enchanted Tools, INRIA) travaillent sur des problématiques similaires de couplage haptique et de retargeting, ce framework pourrait alimenter leurs pipelines de collecte de démonstrations pour entraîner des modèles VLA.

RecherchePaper

1 source