Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
HALOMI : apprentissage de la loco-manipulation humanoïde avec perception active à partir de démonstrations humaines
RecherchearXiv cs.RO 

HALOMI : apprentissage de la loco-manipulation humanoïde avec perception active à partir de démonstrations humaines

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs vient de publier sur arXiv (réf. 2606.18772) HALOMI, un framework permettant à un humanoïde d'apprendre la "loco-manipulation" -- navigation et manipulation d'objets combinées -- à partir de démonstrations humaines captées en conditions réelles. Le système étend l'Universal Manipulation Interface (UMI) avec une perception égocentrique double : caméras en vue subjective (ego-view) et au niveau du poignet (wrist-view), enregistrant simultanément les trajectoires tête-mains de l'opérateur. La validation s'effectue sur le Unitree G1, humanoïde équipé d'un cou motorisé, sur cinq catégories de tâches réelles : navigation, préhension, manipulation bimane, coordination corps entier, et comportements dynamiques incluant lancer d'objets et accroupissement profond. HALOMI atteint un taux de réussite moyen de 85 % sur les trois tâches évaluées quantitativement.

Ce résultat cible l'un des obstacles fondamentaux du retargeting humain-humanoïde : au-delà du sim-to-real gap, il existe un "human-to-humanoid gap" dans la perception égocentrique et l'exécution motrice. HALOMI l'attaque sur deux fronts : un alignement de la vue subjective, et une adaptation de trajectoire dite "controller-aware" qui intègre les contraintes dynamiques propres au robot. Le contrôleur de suivi tête-main opère dans un espace latent appris (manifold contraint), ce qui le rend plus robuste face aux cibles hors distribution -- écueil classique du retargeting direct. Le 85 % est à nuancer : les tâches qualitatives comme le lancer dynamique n'ont pas de métriques publiées, et les conditions expérimentales exactes (nombre d'essais, variabilité de scène) restent non précisées dans le papier.

HALOMI s'inscrit dans la tendance qui exploite les démonstrations humaines pour réduire le coût de collecte de données sur robot, dans la lignée directe d'UMI (Stanford, 2023), et en parallèle des approches Vision-Language-Action comme Pi-Zero (Physical Intelligence) ou GR00T N2 (NVIDIA). La particularité ici est l'accent mis sur la perception active : le cou motorisé du G1 est un élément fonctionnel du pipeline, pas un détail cosmétique. Le Unitree G1, commercialisé autour de 16 000 dollars, s'est imposé comme banc de test académique commun depuis 2024. Aucun partenaire industriel ni calendrier de déploiement n'est mentionné dans le papier : HALOMI reste pour l'heure une contribution de recherche, sans annonce de commercialisation.

Dans nos dossiers

UnitreeNVIDIA GR00TPhysical Intelligence — π0arXiv cs.RO

À lire aussi

HoMMI : apprentissage de la manipulation mobile corps entier à partir de démonstrations humaines
1arXiv cs.RO 

HoMMI : apprentissage de la manipulation mobile corps entier à partir de démonstrations humaines

Une équipe de chercheurs a publié sur arXiv (arXiv:2603.03243v2) HoMMI, pour Whole-Body Mobile Manipulation Interface, un framework d'apprentissage par imitation permettant à un robot mobile de maîtriser la manipulation bimanuelle et la navigation à partir de démonstrations humaines réalisées sans robot. Le principe : un opérateur humain porte une interface portative héritée du projet UMI (Universal Manipulation Interface), enrichie d'une caméra égocentrique capturant le contexte global de la scène (position dans l'espace, état de l'environnement). Ces données brutes alimentent une politique apprise, transférée ensuite sur un robot à corps entier (bras, torse, base mobile) sans que celui-ci n'ait été présent lors de la collecte. La difficulté centrale que HoMMI cherche à résoudre est l'"embodiment gap" : la différence morphologique et sensorielle entre humain et robot rend le transfert de politique difficile, particulièrement en perception égocentrique où les champs de vue et hauteurs d'oeil divergent fortement. Les auteurs proposent trois briques techniques pour combler cet écart : une représentation visuelle agnostique à l'embodiment, une représentation d'action "head relaxed" qui neutralise les variations de mouvement de tête, et un contrôleur corps entier réalisant les trajectoires main-oeil sous contraintes physiques du robot. Ces choix permettent des tâches longue-séquence mobilisant navigation, perception active et coordination bimanuelle, le type de scénario que les architectures Vision-Language-Action (VLA) comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA visent également à résoudre. Les résultats, présentés sous forme de vidéos sur hommi-robot.github.io, restent à valider en conditions non contrôlées et sur des benchmarks standardisés. HoMMI s'inscrit dans la continuité directe du projet UMI (Columbia/Stanford, 2024), qui avait popularisé la collecte portable de démonstrations pour la manipulation fixe sur table. L'extension au robot mobile ajoute la dimension navigation, saut de complexité majeur pour le sim-to-real et la généralisation hors laboratoire. Les approches concurrentes incluent Mobile ALOHA (Stanford), les pipelines de distillation de données de Physical Intelligence, et les travaux de manipulation bimanuelle ALOHA/ACT de Berkeley. HoMMI reste à ce stade un preprint arXiv sans déploiement industriel annoncé ni métriques de taux de succès publiées, une limite habituelle des publications en robotique d'apprentissage avant revue par les pairs.

RecherchePaper
1 source
AdvDex : apprentissage de la manipulation dextérique à partir de démonstrations humaines par actions alignées sur les articulations et apprentissage adversarial
2arXiv cs.RO 

AdvDex : apprentissage de la manipulation dextérique à partir de démonstrations humaines par actions alignées sur les articulations et apprentissage adversarial

Une équipe de recherche présente AdvDex, un framework Vision-Language-Action (VLA) pour la manipulation dextre, dans un article publie sur arXiv (2608.14028v1). Le système combine trois éléments : OmniShare, un jeu de données multimodal de démonstrations de manipulation humaine offrant une supervision cinématique fine et des mesures tactiles sans recourir a une téléopération robotique couteuse ; le Joint-Aligned Action Space (JAAS), une représentation canonique de l'action associant une pose de poignet en SE(3) et 15 articulations des doigts, qui aligne fonctionnellement mains humaines, mains robotiques dextres et pinces parallèles ; et un apprentissage adversarial de domaine qui retire des représentations visuelles les indices spécifiques a chaque morphologie robotique. Les tests, portant sur la prédiction d'actions manuelles et sur des taches réelles de manipulation dextre, montrent des gains constants face aux méthodes de référence. Ce résultat répond a deux obstacles concrets du secteur : le cout de collecte des démonstrations robotiques et la faible portabilité d'une politique entre embodiments différents. AdvDex démontre un transfert zero-shot de l'humain vers le robot, une généralisation a des objets et environnements inédits, ainsi qu'une adaptation few-shot économe en données. Ce résultat appuie empiriquement une hypothèse centrale pour les modèles VLA comme Pi-0, GR00T N2 ou Helix : qu'une action canonique partagée peut réduire la dépendance a des flottes de téléopération dédiées par plateforme, un enjeu direct pour la vitesse de commercialisation des mains robotiques dextres. Le papier s'inscrit dans un courant de recherche visant a unifier les espaces d'action entre humains et robots pour exploiter les volumes de vidéo de manipulation humaine déjà disponibles, une direction également suivie par les équipes derrière Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI). Classe comme nouvelle publication sur arXiv, AdvDex reste a ce stade une contribution académique évaluée sur des bancs d'essai internes, sans date de commercialisation, partenaire industriel ni déploiement annonce. La taille exacte du jeu OmniShare et les conditions précises des tests de généralisation ne sont pas détaillées, ce qui limite l'évaluation de la portée réelle de ces résultats hors du cadre expérimental du papier.

RechercheActu
1 source
Apprentissage de la manipulation dextérique à partir de vidéos monoculaires de mains humaines
3arXiv cs.RO 

Apprentissage de la manipulation dextérique à partir de vidéos monoculaires de mains humaines

Une équipe de chercheurs a publié sur arXiv (identifiant arXiv:2606.16436v1) un framework baptisé V2P-Manip, conçu pour extraire des politiques de manipulation dextre directement à partir de vidéos monoculaires de démonstrations humaines. L'architecture propose un pipeline intégré en trois étapes : acquisition d'assets 3D, estimation de trajectoires, puis apprentissage de politique de manipulation. Pour réconcilier perception visuelle et contraintes physiques, les auteurs introduisent un processus de raffinement en deux étapes imposant à la fois un alignement spatial et une cohérence physique. Le système a été évalué sur les benchmarks TACO et OakInk, deux jeux de données de référence en manipulation dextre, et affiche un taux de réussite moyen supérieur à 75 % sur des tâches de manipulation synthétiques, avec une généralisation démontrée sur plusieurs morphologies de mains robotiques différentes. L'enjeu central que V2P-Manip cherche à résoudre est celui du coût de collecte des données d'entraînement : la télé-opération reste lente, coûteuse et difficile à standardiser à grande échelle. Utiliser des vidéos monoculaires standard, sans capteurs de profondeur ni mocap, représente un levier de scalabilité potentiellement majeur pour les fabricants d'effecteurs dextres et les laboratoires à budget limité. Le pipeline démontre aussi une transférabilité des "manipulation priors" entre embodiments différents, ce qui est un résultat non trivial. Il faut néanmoins noter que le taux de 75 % est mesuré sur des tâches synthétiques et que les vidéos utilisées en entrée sont des démonstrations humaines sélectionnées -- le real-world gap reste à quantifier sur du matériel réel déployé en conditions industrielles non contrôlées. La manipulation dextre constitue l'une des frontières les plus dures de la robotique, un domaine où des acteurs comme Dexterous Robotics, Shadow Robot (UK) ou Psyonic tentent d'atteindre la maturité produit. Côté recherche, les approches concurrentes s'appuient généralement sur la télé-opération (Pi-0 de Physical Intelligence, ACT, DROID dataset) ou sur des capteurs de profondeur calibrés. L'originalité de V2P-Manip est de contourner ces contraintes matérielles en exploitant uniquement la vision monoculaire. La validation reste pour l'instant confinée à des benchmarks académiques, et aucun déploiement ou partenariat industriel n'est annoncé dans cette version préliminaire.

RecherchePaper
1 source
Apprentissage de la locomotion humanoïde adaptée à la scène en environnement 3D encombré à partir de démonstrations humaines immersives
4arXiv cs.RO 

Apprentissage de la locomotion humanoïde adaptée à la scène en environnement 3D encombré à partir de démonstrations humaines immersives

Des chercheurs présentent Moving Through Clutter (MTC), un système d'apprentissage par démonstration pour la locomotion humanoïde en environnement encombré, décrit dans un article publié sur arXiv (2609.21107) fin septembre 2026. Alors que les travaux précédents sur l'imitation de mouvements humains ont surtout produit des prouesses dynamiques en espace dégagé, comme la danse ou les arts martiaux, MTC s'attaque à la traversée d'espaces tridimensionnels contraints par des obstacles. Le pipeline collecte des démonstrations humaines dans des environnements de réalité virtuelle générés de façon procédurale, ce qui évite de construire physiquement des décors d'obstacles coûteux. Un algorithme de retargeting tenant compte de la scène convertit ensuite ces mouvements humains en trajectoires exploitables par le robot, en imposant une marge de sécurité stricte entre le corps du robot et la géométrie environnante pour garantir une traversée sans collision. La politique de locomotion ainsi entraînée est déployée sur un humanoïde Unitree G1. Sur le benchmark interne MTC-Challenge, conçu pour la traversée multi-obstacles, le robot atteint un taux de réussite sans collision de 70,2% sur des scénarios variés, incluant la reptation dans des passages à faible hauteur et le passage par des interstices étroits. Ce travail cible un angle mort de la robotique humanoïde actuelle: la plupart des démonstrations publiques (marche, danse, sauts) se déroulent en terrain dégagé, alors que les usages industriels visés, entrepôts, usines, chantiers, exigent une navigation fine autour d'obstacles tridimensionnels denses comme des étagères basses, tuyauteries ou racks. Pour les intégrateurs et décideurs qui évaluent le déploiement d'humanoïdes en environnement logistique, un taux de 70,2% de traversées réussies signale que le problème est loin d'être résolu au niveau de fiabilité attendu en production, même si la méthode montre que l'apprentissage par démonstration immersive en VR peut générer des comportements corporels complexes sans motion capture sur décor physique coûteux. Cela confirme aussi que la génération procédurale de données synthétiques reste un levier clé pour faire monter en échelle l'apprentissage de compétences humanoïdes avancées. Le champ de la locomotion humanoïde par imitation a produit ces deux dernières années des démonstrations spectaculaires sur des plateformes comme Unitree G1, Figure ou Optimus, mais la traversée d'environnements encombrés restait peu explorée. MTC s'inscrit dans cette lignée en élargissant le périmètre à des scènes tridimensionnelles complexes plutôt qu'à du terrain plat. Le choix du G1 d'Unitree, plateforme abordable largement utilisée en recherche académique, confirme son rôle de banc d'essai de référence face à des plateformes plus onéreuses comme Figure 03. L'article ne mentionne ni partenaire industriel ni calendrier de déploiement pilote: il s'agit à ce stade d'un travail de recherche évalué sur un benchmark maison, sans validation en environnement réel de production.

RecherchePaper
1 source