Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Vers une téléopération dextre au niveau humain
RecherchearXiv cs.RO 

Vers une téléopération dextre au niveau humain

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente TeleDexter, un système de téléopération pour mains robotiques dextres capable de reproduire la dextérité humaine en manipulation intra-main. Le contrôleur repose sur un mécanisme de co-suivi main-objet qui traduit l'intention de l'opérateur en exécution de contact de bas niveau, apprise par renforcement. L'entraînement s'appuie sur des sous-objectifs de co-suivi consécutifs dérivés de mouvements de référence humains, combinés à une récompense hybride mêlant objectifs épars et suivi dense, plutôt qu'une simple imitation image par image des trajectoires. Le pipeline complet ne nécessite qu'une seule étape de RL et, grâce au masquage aléatoire d'actions et à la randomisation de domaine, transfère en zero-shot sur robot réel sans réentraînement spécifique. Les chercheurs ont testé TeleDexter sur sept tâches de téléopération dextre complexes, couvrant la réorientation d'objets et l'usage d'outils sur des horizons longs, avec deux mains robotiques différentes. Résultat: un taux de réussite moyen de 75%, là où toutes les méthodes de référence échouent systématiquement.

Ce résultat marque une avancée notable pour un problème resté largement irrésolu: la capacité à changer de prise, réorienter un objet dans la main ou faire du "finger gaiting" (repositionnement des doigts pendant la manipulation) via téléopération, sans perdre le contact ni la précision. Pour les équipes de robotique manipulant des mains multi-doigts, cela ouvre une voie vers une téléopération réellement exploitable pour la collecte de données d'entraînement, plutôt que des démonstrations limitées à des gestes grossiers. Les auteurs montrent aussi que les démonstrations collectées via TeleDexter permettent d'entraîner des politiques autonomes par clonage comportemental, ce qui en fait un outil potentiel pour accélérer l'apprentissage de politiques VLA appliquées à la manipulation fine.

Ce travail s'inscrit dans une lignée de recherches sur la téléopération de mains dextres, un domaine où les systèmes existants peinent à capturer les transitions de contact dynamiques (translation, réorientation, changement de prise) que les humains effectuent naturellement. Il ne s'agit pour l'instant que d'un résultat de recherche publié sur arXiv, sans déploiement industriel annoncé ni partenaire commercial identifié, mais la méthode pourrait intéresser les laboratoires travaillant sur des mains robotiques haut de gamme et la collecte de données pour l'apprentissage de politiques autonomes en manipulation.

Dans nos dossiers

arXiv cs.RO

À lire aussi

AHEAD : téléopération prédictive de la main par anticipation de l'intention humaine
1arXiv cs.RO 

AHEAD : téléopération prédictive de la main par anticipation de l'intention humaine

Cette semaine, un article publié sur arXiv (2607.15172v1) présente AHEAD, un système de téléopération en réalité virtuelle capable d'anticiper les intentions de l'opérateur pour accélérer le contrôle d'un robot manipulateur. Dans la téléopération directe classique, chaque mouvement de la main est retranscrit image par image sur l'effecteur du robot, ce qui offre une précision fine mais impose une surveillance constante et fatigante lors de l'approche, de la saisie et du dépôt d'objets. La téléopération supervisée par objectifs, où l'opérateur fixe des points de passage que le robot atteint via un planificateur, réduit la charge cognitive mais introduit une latence d'attente entre chaque commande. AHEAD combine les deux approches dans un jumeau numérique: l'opérateur effectue des gestes naturels de préhension et de placement, et un classifieur basé sur l'attention analyse une courte fenêtre de signaux 3D de la main et de la tête, associée au contexte de la scène, pour prédire l'objet visé et l'emplacement de dépôt. Une machine à états transforme ensuite ces prédictions en objectifs stables pour le robot, permettant un déclenchement anticipé du mouvement tout en restant robuste face aux prédictions bruitées ou aux corrections gestuelles. Le module de prédiction atteint une précision Top-1 de 76% pour l'identification de l'objet à saisir et 76% pour le créneau de placement cible. Cette approche s'attaque directement à un compromis structurel de la téléopération industrielle: la précision du contrôle direct contre la fluidité du contrôle par objectifs. Pour les intégrateurs travaillant sur des tâches répétitives de pick-and-place télé-opérées, en logistique ou en assemblage, une réduction mesurable de la latence de réaction combinée à une charge opérateur allégée pourrait justifier l'adoption de systèmes hybrides plutôt que le choix binaire actuel entre contrôle manuel intensif et planification automatisée plus lente. L'étude utilisateur associée montre des gains concrets: la latence de réaction du robot diminue de 0,6 seconde pour la reconnaissance d'objet et de 1,4 seconde pour le créneau de placement par rapport aux méthodes de référence, avec une charge de travail perçue par les participants en baisse. Ces résultats s'inscrivent dans un courant de recherche plus large sur la prédiction d'intention humaine en téléopération VR, où l'enjeu est de rapprocher la réactivité de systèmes semi-autonomes de celle du contrôle manuel direct, sans reproduire sa charge cognitive. Le papier ne précise pas de plateforme robotique commerciale ni de partenaire industriel; il s'agit à ce stade d'une contribution méthodologique évaluée en environnement contrôlé, dont la transposition à des cas d'usage industriels réels reste à démontrer.

RecherchePaper
1 source
Teleopit : un système de téléopération humanoïde à corps entier
2arXiv cs.RO 

Teleopit : un système de téléopération humanoïde à corps entier

Une équipe de recherche présente Teleopit, un système de téléopération complète pour robots humanoïdes, détaillé dans un article déposé sur arXiv (référence 2608.01834v1). Le système capture les signaux corporels, les mouvements des mains et les données de tête depuis un casque VR, puis les retranscrit simultanément sur le corps d'un humanoïde, sur des mains dextres configurables et sur un module de vision active à 2 degrés de liberté. Un encodeur d'historique combiné à un échantillonnage de rattrapage sensible aux échecs améliore le suivi des mouvements, à la fois sur des données de capture de mouvement et en VR en direct. Un module de retargeting des mains, basé sur l'optimisation, combine directions normalisées des doigts, fermeture du bout des doigts et alignement du cadre du pouce, ce qui permet de transposer les gestes humains vers différents types de mains robotiques sans réglage manuel des hyperparamètres. À partir de 96 démonstrations réussies collectées avec Teleopit, des politiques ACT et GR00T N1.7 ont atteint respectivement 90,0% et 95,0% de taux de réussite lors de déploiements réels sur l'humanoïde. Cette approche s'attaque à un goulot d'étranglement bien identifié du secteur robotique: la collecte de démonstrations de haute qualité pour entraîner des politiques de type VLA (vision-language-action). Les systèmes existants simplifient souvent les commandes des mains ou nécessitent des capteurs portables dédiés pour capter la motricité fine, ce qui limite le volume et la richesse des données exploitables. En proposant un pipeline unifié couvrant locomotion, manipulation et contrôle du point de vue, Teleopit vise à réduire le coût et la complexité de la génération de données d'entraînement, un enjeu central pour les laboratoires qui cherchent à faire passer leurs politiques d'apprentissage du stade démonstratif au déploiement réel. Le projet s'inscrit dans la vague de systèmes de téléopération VR pour humanoïdes qui s'est multipliée ces derniers mois, aux côtés d'initiatives comme Helix de Figure ou GR00T N2 de Nvidia, ce dernier étant d'ailleurs directement utilisé comme politique testée dans l'étude. Les auteurs, publiant sous un profil GitHub (botrunner64), mettent à disposition une page projet dédiée mais ne précisent pas de partenariat industriel ni de calendrier de commercialisation, ce qui situe pour l'instant Teleopit au stade de la recherche académique plutôt que du produit prêt à déployer.

RecherchePaper
1 source
Téléopération en temps réel d'un robot humanoïde par capture de mouvement IMU avec validation sim-vers-réel
3arXiv cs.RO 

Téléopération en temps réel d'un robot humanoïde par capture de mouvement IMU avec validation sim-vers-réel

Une équipe de recherche a publié en mai 2026 un système complet de téléopération whole-body en temps réel pour robot humanoïde, décrit dans un préprint arXiv (2605.12347). Le système capture les mouvements d'un opérateur via une combinaison Virdyn à centrales inertielles (IMU full-body), puis les retransmet en continu sur un robot Unitree G1. Le pipeline de retargeting cinématique et de contrôle fonctionne sans tampon offline ni composant d'apprentissage automatique. La validation s'est déroulée en deux étapes : d'abord en simulation via le modèle MuJoCo du G1 (sim2sim), puis déployé sans aucune modification sur le robot physique (sim2real). Le répertoire de mouvements reproduits couvre la marche, la station debout, la position assise, les rotations, les courbettes et des gestes expressifs coordonnés de tout le corps. Le résultat le plus significatif est le transfert sim-to-real sans recalibration, un point d'échec classique où les paramètres calibrés en simulation s'effondrent face aux frictions réelles, aux latences de communication et aux erreurs de modèle. L'absence de composant d'apprentissage automatique rend le système déterministe et auditable, un argument concret pour les intégrateurs industriels ou les labos qui constituents des datasets de téléopération pour l'imitation learning. L'utilisation de matériel grand public (la combinaison Virdyn est commercialement disponible) plutôt qu'un système de mocap optique type Vicon abaisse significativement le ticket d'entrée pour construire des pipelines de collecte de démonstrations. La limitation est symétrique : sans apprentissage, l'adaptabilité à des morphologies très différentes reste contrainte par le retargeting cinématique. Le Unitree G1 est un humanoïde d'entrée de gamme commercialisé depuis 2024 autour de 16 000 dollars, ciblant explicitement la recherche et les démos industrielles. La téléopération whole-body est devenue un axe central de la course aux données pour les systèmes humanoïdes : Physical Intelligence (Pi-0), Figure et 1X s'appuient tous sur des démonstrations téléopérées pour entraîner leurs politiques. Sur l'approche IMU appliquée aux humanoïdes, des travaux similaires ont été publiés par des équipes chinoises sur le Booster T1 et l'Unitree H1. Ce préprint ne mentionne aucun déploiement industriel ni partenariat commercial, c'est une contribution académique de validation de concept, pas un produit expédié.

UELes laboratoires européens constituant des jeux de données de téléopération pour l'apprentissage par imitation (INRIA, CEA-List, LAAS-CNRS) peuvent adopter cette approche IMU sur matériel grand public pour abaisser significativement leur coût d'entrée.

RecherchePaper
1 source
HATS : système de téléopération humain-agent pour la collecte de données multi-bras
4arXiv cs.RO 

HATS : système de téléopération humain-agent pour la collecte de données multi-bras

Des chercheurs ont publié sur arXiv (référence 2606.16491) un système de télé-opération baptisé HATS (Human-Agent Teleoperation System), conçu pour collecter des données d'entraînement dans des configurations à quatre bras robotiques. Le principe repose sur un découplage du contrôle : un seul opérateur humain télé-opère deux bras principaux directement, tandis qu'un agent basé sur un MLLM (modèle de langage multimodal à grande échelle, non spécifié dans le papier) gère deux bras assistants de façon autonome, sans phase d'entraînement préalable. L'opérateur peut en temps réel corriger le comportement des bras assistants et prévenir des collisions via commandes vocales. Selon les auteurs, l'efficacité de collecte et les taux de réussite obtenus avec HATS sont comparables à ceux d'équipes de deux opérateurs experts humains. Le problème que HATS tente de résoudre est structurant pour le secteur : les scénarios de manipulation industrielle complexes nécessitent souvent plus de deux bras, mais les systèmes de télé-opération existants imposent un arbitrage difficile entre charge cognitive (un seul opérateur gérant tout) et coût de coordination (plusieurs opérateurs synchronisés). En déléguant les sous-tâches à un agent MLLM, HATS réduit la charge sur l'humain sans multiplier les intervenants. Les évaluations en aval (downstream policy evaluations) suggèrent que les données collectées produisent des politiques de manipulation efficaces, mais ces résultats restent auto-rapportés et n'ont pas encore été validés de façon indépendante. La robustesse sur des tâches longues ou à haute précision, là où des corrections vocales pourraient s'avérer insuffisantes, n'est pas encore documentée. La collecte de démonstrations téléopérées est aujourd'hui le principal goulot d'étranglement pour entraîner des politiques de manipulation polyvalentes, notamment dans les approches VLA (Vision-Language-Action, architectures combinant perception visuelle, compréhension du langage et génération d'actions). Des systèmes comme ALOHA de Stanford ou les configurations bimanuelless d'Agility Robotics reposent sur des datasets construits par télé-opération humaine à deux bras. HATS étend cette approche à quatre bras en s'appuyant sur les capacités de raisonnement spatial des MLLM récents pour automatiser les bras secondaires. Cette direction est à suivre de près : si elle se généralisait, elle réduirait significativement le coût humain de construction des datasets d'imitation, un verrou majeur pour le passage à l'échelle des robots manipulateurs.

RecherchePaper
1 source