RecherchearXiv cs.RO 3 août 2026

Traduction événementielle de la téléopération haut du corps d'un humanoïde en conditions d'éclairage difficiles

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent un système de téléopération temps réel du haut du corps d'un robot humanoïde, piloté par une caméra événementielle neuromorphique plutôt qu'une caméra RGB classique. Le dispositif repose sur la Prophesee EVK4, qui fonctionne de façon asynchrone avec une résolution temporelle élevée et une plage dynamique supérieure à 120 dB, permettant un suivi stable en contre-jour sévère ou dans des environnements descendant sous 5 lux. L'architecture combine un module de perception à faible latence, utilisant une accumulation d'événements optimisée et une fusion inertielle alignée sur la gravité, avec un module de mouvement causal baptisé TWIST, chargé du retargeting cinématique en ligne. Le système a été validé sur une plateforme embarquée NVIDIA Booster T1 couplée à un buste humanoïde à 18 degrés de liberté, avec une latence photon-action de bout en bout mesurée entre 23 et 34 millisecondes, meilleure que les pipelines RGB classiques testés dans les mêmes conditions.

L'intérêt pratique dépasse la simple prouesse technique. La téléopération humanoïde bute aujourd'hui sur un problème concret d'imitation de mouvement en environnement industriel réel: éclairage variable, contre-jour dans les entrepôts, ateliers mal éclairés, mouvements rapides des opérateurs. Les caméras RGB classiques, à temps d'intégration fixe, décrochent précisément dans ces conditions, ce qui limite le déploiement de la téléopération hors laboratoire contrôlé. En montrant qu'une caméra événementielle conserve une latence de suivi de l'ordre de la trentaine de millisecondes là où le RGB se dégrade, l'étude apporte un argument concret en faveur des capteurs neuromorphiques pour les cas d'usage exigeants en dynamique ou en éclairage difficile, un segment jusqu'ici resté marginal face à la domination du RGB et du LiDAR dans les stacks de perception robotique. Les auteurs restent toutefois mesurés: en scène statique et bien éclairée, le RGB ou une approche hybride RGB-événements reste préférable, ce qui positionne la vision événementielle comme un complément ciblé plutôt qu'un remplacement généralisé.

Ce travail s'inscrit dans la course actuelle à l'amélioration des interfaces de téléopération humanoïde, un maillon clé pour la collecte de données d'apprentissage par imitation utilisées par des architectures VLA comme TWIST elle-même, Pi-0 ou GR00T N2. Il ne s'agit pas d'un produit commercial mais d'une publication de recherche (arXiv, juillet 2026), sans annonce de partenariat industriel ni de calendrier de déploiement. La piste ouverte, hybrider capteurs événementiels et RGB selon les conditions de luminosité, dessine une prochaine étape logique pour fiabiliser la téléopération humanoïde hors des conditions de laboratoire.

Impact France/UE

Le capteur événementiel utilisé, le Prophesee EVK4, est développé par une entreprise française, illustrant le rôle de l'écosystème européen de la vision neuromorphique dans la recherche en téléopération humanoïde.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Teleopit : un système de téléopération humanoïde à corps entier

Une équipe de recherche présente Teleopit, un système de téléopération complète pour robots humanoïdes, détaillé dans un article déposé sur arXiv (référence 2608.01834v1). Le système capture les signaux corporels, les mouvements des mains et les données de tête depuis un casque VR, puis les retranscrit simultanément sur le corps d'un humanoïde, sur des mains dextres configurables et sur un module de vision active à 2 degrés de liberté. Un encodeur d'historique combiné à un échantillonnage de rattrapage sensible aux échecs améliore le suivi des mouvements, à la fois sur des données de capture de mouvement et en VR en direct. Un module de retargeting des mains, basé sur l'optimisation, combine directions normalisées des doigts, fermeture du bout des doigts et alignement du cadre du pouce, ce qui permet de transposer les gestes humains vers différents types de mains robotiques sans réglage manuel des hyperparamètres. À partir de 96 démonstrations réussies collectées avec Teleopit, des politiques ACT et GR00T N1.7 ont atteint respectivement 90,0% et 95,0% de taux de réussite lors de déploiements réels sur l'humanoïde. Cette approche s'attaque à un goulot d'étranglement bien identifié du secteur robotique: la collecte de démonstrations de haute qualité pour entraîner des politiques de type VLA (vision-language-action). Les systèmes existants simplifient souvent les commandes des mains ou nécessitent des capteurs portables dédiés pour capter la motricité fine, ce qui limite le volume et la richesse des données exploitables. En proposant un pipeline unifié couvrant locomotion, manipulation et contrôle du point de vue, Teleopit vise à réduire le coût et la complexité de la génération de données d'entraînement, un enjeu central pour les laboratoires qui cherchent à faire passer leurs politiques d'apprentissage du stade démonstratif au déploiement réel. Le projet s'inscrit dans la vague de systèmes de téléopération VR pour humanoïdes qui s'est multipliée ces derniers mois, aux côtés d'initiatives comme Helix de Figure ou GR00T N2 de Nvidia, ce dernier étant d'ailleurs directement utilisé comme politique testée dans l'étude. Les auteurs, publiant sous un profil GitHub (botrunner64), mettent à disposition une page projet dédiée mais ne précisent pas de partenariat industriel ni de calendrier de commercialisation, ce qui situe pour l'instant Teleopit au stade de la recherche académique plutôt que du produit prêt à déployer.

RecherchePaper

1 source

2arXiv cs.RO

Coordination corps-main à résidu contrôlé pour la téléopération humanoïde du corps entier

Un article publié sur arXiv (2609.18763v1) décrit une méthode pour corriger un défaut connu des systèmes de téléopération de robots humanoïdes à corps entier : la désynchronisation entre le suivi de mouvement du corps et le repositionnement des mains, deux modules aujourd'hui indépendants qui ne préservent pas la géométrie corps-mains, d'où des décalages de pose au poignet et aux doigts lors d'interactions bimanuelles. La méthode, baptisée "gated residual coordination", laisse ces deux modules gelés et leur ajoute des corrections bornées via une porte d'action conditionnée au mouvement, qui répartit l'autorité de correction entre groupes d'articulations, et des portes de récompense liées à la géométrie de référence pendant l'entraînement. Le contrôleur corporel de référence est calibré sur la plateforme humanoïde Agile One par une calibration morphologique multi-pose, puis entraîné avec un tracker basé sur SONIC et un jeu de données de mouvement construit par étapes. En simulation, les erreurs de géométrie poignet-doigts baissent de 39,2 à 56,3% sur des mouvements bimanuels issus du jeu GRAB, tandis que le taux de succès du suivi corporel global sur AMASS passe de 89,03% à 89,29%. Le problème visé est concret pour les intégrateurs de téléopération humanoïde : la cohérence corps-mains conditionne la fiabilité des tâches bimanuelles comme la saisie ou le transfert d'objet entre les mains, un enjeu direct pour la collecte de démonstrations servant à entraîner des modèles vision-language-action et pour le contrôle téléopéré en environnement industriel. L'atout de la méthode tient à sa modularité : elle évite de réentraîner les politiques de suivi corporel ou de retargeting déjà déployées, ce qui limite le coût d'intégration pour des équipes disposant d'une pile de téléopération existante. Le gain de 39 à 56% sur la précision géométrique est net, mais l'amélioration du taux de succès global du suivi corporel reste marginale, et les résultats ne sont pour l'instant validés qu'en simulation, sans démonstration publiée sur robot physique. Ce travail s'inscrit dans la lignée des pipelines de téléopération combinant un tracker de mouvement corporel et un module de retargeting dextre séparé, architecture répandue dans le secteur mais dépourvue jusqu'ici de coordination explicite entre les deux flux de commandes. Les auteurs s'appuient sur les jeux de capture de mouvement AMASS et GRAB, références classiques pour évaluer respectivement le suivi corporel global et l'interaction main-objet. À la différence d'une approche end-to-end entraînée depuis zéro, cette méthode résiduelle vise la compatibilité avec des modules déjà en production, ce qui pourrait faciliter son adoption par des équipes ayant déjà investi dans une pile de téléopération. Les prochaines étapes attendues sont une validation sur robot réel et une extension à des tâches de manipulation plus variées que celles couvertes par GRAB et AMASS.

RecherchePaper

1 source

3arXiv cs.RO

Vers des robots humanoïdes dans la construction : étude de faisabilité de la téléopération

Une équipe de chercheurs présente sur arXiv un système de téléopération permettant à un seul opérateur d'exécuter des tâches de chantier avec un Unitree G1, humanoïde d'entrée de gamme très répandu dans les laboratoires. L'architecture sépare le haut et le bas du corps. Le haut du corps (bras et mains) est piloté par un dispositif de réalité étendue (XR) qui reproduit les mouvements de l'opérateur. La locomotion est commandée au pédalier, ce qui libère les mains et permet de manipuler et de marcher en même temps. Deux tâches tirées de la base de données professionnelle O*NET ont servi de test : le transport d'outils et la peinture de surface. Le système a atteint 100 % de réussite sur le transport d'outils et 80 % sur la peinture. Les auteurs ne précisent pas dans le résumé le nombre d'essais, mais ces taux, établis sur un échantillon visiblement restreint, relèvent de l'étude de faisabilité et non de la validation statistique. Surtout, la téléopération demande nettement plus de temps que l'exécution manuelle par un humain, sans que le résumé chiffre l'écart. L'intérêt tient moins aux performances brutes qu'à la posture adoptée. Plutôt que d'attendre une autonomie complète, que les modèles vision-langage-action (VLA) n'ont pas encore démontrée sur des environnements de chantier non structurés, les auteurs défendent la téléopération comme solution à court terme. Elle répond à la pénurie de main-d'œuvre et aux conditions dangereuses, en éloignant l'ouvrier des tâches les plus pénibles. Elle produit aussi des démonstrations de qualité pour entraîner les futures politiques d'apprentissage. Le résultat nuance le discours de certains acteurs du secteur : un humanoïde commandé à distance reste plus lent qu'un travailleur, ce qui pèse sur la rentabilité immédiate. Pour un intégrateur ou un décideur du BTP, la valeur à court terme se situe donc dans la sécurité et la collecte de données, pas dans la productivité. Ce travail s'inscrit dans une dynamique où la téléopération sert de passerelle vers l'autonomie. Le recueil de démonstrations par casque XR est devenu courant pour alimenter des modèles comme Pi-0 ou GR00T, et le G1, vendu à un prix bien inférieur à celui des humanoïdes industriels, s'impose comme plateforme de recherche. Face à lui, Figure, Tesla avec Optimus ou Agility visent d'abord la logistique et l'usine, plus structurées que le chantier. Le BTP reste un terrain peu exploré pour les humanoïdes, et aucun pilote ni calendrier de déploiement n'est annoncé ici. Il s'agit d'une publication préliminaire (v1), sans produit ni client, dont la suite logique serait des essais plus nombreux, des tâches plus variées et une comparaison chiffrée des temps d'exécution.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Téléopération bilatérale du corps entier avec estimation multi-étapes des paramètres d'objets pour la locomanipulation humanoïde à roues

Un article mis à jour sur arXiv (référence 2508.09846, version 2) décrit un système de téléopération bilatérale corps entier pour un robot humanoïde à roues effectuant des tâches de manipulation en mouvement. L'apport technique central est un module d'estimation en ligne, en plusieurs étapes, des paramètres inertiels de l'objet saisi (masse, centre de masse, inertie). Le pipeline enchaîne un estimateur de taille par vision, une estimation initiale générée par un grand modèle vision-langage (VLM), puis un raffinement par échantillonnage hiérarchique découplé en plusieurs hypothèses, conçu pour limiter l'impact d'une erreur du VLM. Ce module tourne en parallèle d'une simulation haute-fidélité et du matériel réel, avec mise à jour en temps réel du point d'équilibre du robot. Les auteurs valident l'approche sur un prototype maison équipé d'une pince robotique et d'une interface homme-machine, démontrant en temps réel des tâches de levage, transport et dépose d'une charge représentant environ un tiers du poids corporel du robot. Pour l'industrie robotique, ce travail cible un verrou concret de la téléopération à retour haptique : sans connaissance des propriétés physiques de l'objet manipulé, le retour de force transmis à l'opérateur reste imprécis, ce qui brise la dynamique du contrôle corps entier. Combiner vision et VLM pour réduire l'espace de recherche avant d'affiner par échantillonnage accélérerait, selon les auteurs, l'estimation par rapport à des méthodes purement stochastiques ; l'abstract ne fournit toutefois aucun temps de cycle chiffré ni comparaison directe, ce qui invite à la prudence sur l'ampleur réelle du gain. L'intérêt pour les intégrateurs est de voir les VLM utilisés non pas pour générer des politiques d'action autonomes à la manière des approches VLA, mais comme prior physique exploitable en téléopération, une piste intermédiaire entre autonomie complète et contrôle humain pur. Cette publication s'inscrit dans la recherche sur la téléopération bilatérale de robots humanoïdes, où l'estimation dynamique des objets manipulés reste un problème ouvert. Elle se distingue des approches commerciales dominantes de robots humanoïdes bipèdes visant l'autonomie complète via des modèles VLA génératifs, en misant plutôt sur une plateforme à roues pilotée par un opérateur humain en boucle, un choix qui privilégie stabilité et charge utile relative. L'article ne précise ni institution porteuse ni calendrier de commercialisation : il s'agit d'une démonstration de faisabilité en laboratoire, sans pilote industriel ni partenaire annoncé à ce stade.

RecherchePaper

1 source