RecherchearXiv cs.RO 30 septembre 2026

EquivDP3 : un encodeur de nuages de points invariant SIM(3) pour la loco-manipulation humanoïde à faible besoin de données

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent EquivDP3, une politique visuomotrice hiérarchique pour la loco-manipulation du humanoïde Unitree G1 (43 articulations), décrite dans un preprint arXiv (2609.36575v1). Le système est en deux étages. Un planificateur de haut niveau, basé sur une diffusion, utilise un encodeur de nuages de points équivariant SIM(3) de type Vector Neuron Network (VNN). Il émet des blocs de commandes corps entier à 6 Hz. Ces commandes sont exécutées à 50 Hz par une politique de locomotion pré-entraînée par apprentissage par renforcement, gelée, et par un module de cinématique inverse différentielle pour les bras. L'ensemble est entraîné de bout en bout par clonage comportemental. SIM(3) désigne le groupe des rotations, translations et changements d'échelle. Les tests couvrent deux benchmarks simulés sous IsaacLab et quatre références non équivariantes, avec 5 à 100 démonstrations, en distribution et hors distribution. Avec 5 à 10 démonstrations, EquivDP3 atteint 67,1 % de succès, contre 38,2 à 52,4 % pour les références. À 50-100 démonstrations, tous les encodeurs convergent (74,3 à 85,2 %). Le surcoût est de 0,8 ms par bloc d'actions par rapport à l'encodeur PointNet remplacé.

L'intérêt tient à la rareté des données. Collecter des démonstrations de loco-manipulation humanoïde par téléopération coûte cher, et un gain de robustesse avec 5 à 10 exemples est un levier concret pour les équipes qui déploient des humanoïdes sur des tâches variables. Les auteurs ajoutent un contrôle utile : en retirant le nuage de points, le succès tombe à 31 % contre 60 % pour EquivDP3 avec 5 démonstrations, et à 78 % contre 99 % avec 10. L'écart est donc bien d'origine perceptive et ne vient pas de la seule proprioception. Le plateau à forte quantité de données traduit selon eux un plafond du benchmark, pas cinq encodeurs qui apprendraient la même invariance. Il faut donc relativiser : les résultats sont uniquement simulés, aucun test sur robot réel n'est rapporté, et l'ordre des méthodes n'a plus de sens au-delà de 50 démonstrations. Le résultat suggère toutefois que injecter la symétrie géométrique dans le backbone de perception est presque gratuit en calcul.

Ce travail prolonge deux lignes existantes. 3D Diffusion Policy (DP3) conditionne un générateur d'actions par diffusion sur des caractéristiques de nuages de points, mais son encodeur de type PointNet n'a pas d'équivariance intégrée aux transformations SIM(3). EquiBot avait comblé cette lacune avec un encodeur VNN équivariant, mais seulement pour des manipulateurs mobiles à roues. EquivDP3 transpose l'approche à un humanoïde bien plus complexe, en s'appuyant sur une architecture hiérarchique qui sépare planification lente et contrôle rapide. Les prochaines étapes évidentes sont le transfert sim-to-real sur un G1 physique, des benchmarks moins saturés et une comparaison avec les politiques VLA généralistes, qui misent sur l'échelle des données plutôt que sur les priors géométriques.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

Fermeture de la boucle en VLA humanoïde : jetons d'objets 3D persistants pour une loco-manipulation vérifiable

Des chercheurs viennent de publier sur arXiv (2607.18016v1) une nouvelle méthode baptisée Persistent Object Tokenization (POT), testée sur un robot humanoïde Unitree G1 dans le cadre d'un système appelé POT-VLA. Le problème ciblé est ce que les auteurs nomment la "divergence d'état objet" : dans les politiques vision-langage-action (VLA) actuelles, l'état de l'objet utilisé pour décider d'un mouvement du corps entier peut différer de celui utilisé ensuite pour vérifier si l'action a bien produit la relation physique voulue, un décalage qui devient critique lors de déplacements, contacts, occlusions ou phases de récupération. POT maintient des enregistrements 3D d'objets indexés par rôle, construits à partir d'observations RGB-D, et les convertit en tokens exploitables par un module d'action corps entier. Sur huit familles de tâches réelles, POT-VLA fait passer le taux de réussite de 39 sur 80 à 71 sur 80 par rapport à une base directe GR00T-N1.7 comparable. Sur un protocole externe aligné sur le benchmark Being-0, le système obtient 44 succès sur 50 tâches de service, contre 37 sur 50 rapportés dans l'article Being-0 original. Pour l'industrie de la robotique humanoïde, ce travail s'attaque à un angle mort souvent glissé sous le tapis dans les démonstrations impressionnantes : la capacité réelle à maintenir une relation géométrique correcte entre un bras et un objet pendant une tâche longue, plutôt que la seule génération d'une trajectoire plausible. En rendant l'état objet à la fois exploitable et vérifiable via des contrôles de prédicats géométriques, le système ferme la boucle entre perception et exécution, un point sensible pour les intégrateurs qui cherchent des garanties de fiabilité au-delà des vidéos de démonstration soigneusement sélectionnées. Les gains les plus marqués concernent justement les tâches nécessitant le maintien prolongé d'une relation 3D, ce qui suggère que l'abstraction d'objet persistant comble une limite structurelle des architectures VLA actuelles plutôt qu'un simple réglage fin. Ce papier s'inscrit dans la course actuelle autour des politiques VLA pour humanoïdes, dominée par des architectures comme GR00T (NVIDIA), utilisée ici comme base de comparaison directe, et des benchmarks de référence comme Being-0 pour les tâches de service. L'usage d'un Unitree G1, plateforme largement adoptée dans la recherche académique en loco-manipulation, ancre les résultats dans un cadre reproductible plutôt que propriétaire. Les auteurs ne mentionnent pour l'instant ni déploiement pilote ni calendrier de commercialisation : il s'agit d'une contribution de recherche, destinée à être étendue à davantage de familles de tâches et potentiellement intégrée à d'autres piles VLA que GR00T.

RecherchePaper

1 source

2arXiv cs.RO

OASIS : de la collecte de données en simulation à la loco-manipulation humanoïde en conditions réelles

Une équipe de chercheurs publie sur arXiv (juin 2026) le framework OASIS, une approche pour entraîner des robots humanoïdes à des tâches de loco-manipulation, combinaison de locomotion et de manipulation d'objets, en s'appuyant exclusivement sur des données de simulation. Le système reconstruit automatiquement des assets 3D réalistes à partir d'images du monde réel via un modèle génératif, puis collecte des trajectoires par télé-opération dans ce simulateur. Ces trajectoires sont ensuite augmentées par randomisation de domaine : variations d'éclairage, de textures et de configuration environnementale. Une politique visuomotrice hiérarchique, entraînée sur ces données simulées, est déployée en zero-shot sur un robot humanoïde physique, sans fine-tuning sur données réelles. Les résultats publiés indiquent que cette politique dépasse, sur la majorité des tâches testées, les performances d'une politique entraînée sur des données de télé-opération réelle. Ce résultat, à prendre avec prudence, le preprint n'étant pas encore soumis à peer review, va à contre-courant d'une hypothèse largement répandue : que la qualité des données terrain serait irremplaçable pour la manipulation fine. Le principal facteur explicatif avancé par les auteurs est la couverture plus large des variations d'éclairage et d'environnement dans le rendu simulé, que la collecte physique peine à égaler à grande échelle. Si le résultat se confirme, il soulage considérablement le goulot d'étranglement de la collecte terrain, qui implique aujourd'hui des resets manuels coûteux et une infrastructure dédiée par tâche. La loco-manipulation reste l'un des défis les plus complexes en robotique humanoïde, car elle exige une coordination simultanée du contrôle de marche et de la manipulation d'objets. Des plateformes comme Figure 03, l'Optimus Gen 3 de Tesla ou l'Atlas de Boston Dynamics cherchent des solutions via des approches diverses : imitation learning sur données réelles (pi-0 de Physical Intelligence), politiques VLA (GR00T N2 de Nvidia) ou RL massivement simulé (Unitree). OASIS positionne la simulation augmentée comme alternative crédible à la télé-opération physique, ce qui pourrait accélérer le bootstrapping de nouvelles tâches sans mobiliser de cellules robotiques dédiées. Les prochaines étapes attendues sont une évaluation sur un spectre plus large de tâches industrielles et une soumission à une conférence avec évaluation par les pairs.

RechercheOpinion

1 source

3arXiv cs.RO

OmniRetarget : génération de données préservant les interactions pour la loco-manipulation corps entier des humanoïdes

OmniRetarget est un pipeline de génération de données pour l'apprentissage par renforcement (RL) sur robots humanoïdes, présenté dans un préprint arXiv (2509.26633, v3). Face au problème du retargeting, qui consiste à convertir des captures de mouvement humain en références cinématiques exploitables par un robot, les méthodes existantes produisent des artefacts physiquement incohérents comme le glissement des pieds (foot-skating) ou la pénétration de surfaces, et ignorent les interactions humain-objet et humain-environnement. OmniRetarget introduit un "interaction mesh", un maillage intermédiaire qui modélise et préserve explicitement les relations spatiales et de contact entre l'agent, le terrain et les objets manipulés, via une minimisation par déformation laplacienne sous contraintes cinématiques. Évalué sur les datasets OMOMO, LAFAN1 et des données MoCap propriétaires, il génère plus de 8 heures de trajectoires de meilleure qualité que les baselines de référence. Appliqué au robot humanoïde Unitree G1, il permet d'exécuter des tâches de parkour et de loco-manipulation sur des horizons allant jusqu'à 30 secondes, entraîné avec seulement 5 termes de récompense et sans curriculum d'apprentissage. L'intérêt pour les chercheurs et intégrateurs réside dans deux apports combinés : la qualité cinématique améliorée réduit le sim-to-real gap, tandis que la préservation des interactions permet d'augmenter une démonstration unique vers différentes morphologies de robots, terrains et configurations d'objets, multipliant l'efficacité de la donnée. Plus significatif encore, l'obtention de comportements de loco-manipulation longs et complexes avec seulement 5 termes de récompense partagés entre toutes les tâches contredit l'hypothèse sectorielle selon laquelle ce type de compétences exige un reward engineering élaboré ou un curriculum progressif. Le paradigme dominant pour l'apprentissage humanoïde repose sur le retargeting MoCap vers des références RL, aux côtés de la télé-opération et de l'imitation directe. Le Unitree G1, produit par le fabricant chinois Unitree Robotics, s'est imposé comme plateforme académique de facto dans ce domaine, face à l'Atlas de Boston Dynamics, aux humanoïdes de Figure AI et d'Agility Robotics. OmniRetarget reste à ce stade une contribution de recherche sans annonce de déploiement industriel ; sa robustesse dans des environnements non structurés, où la géométrie de contact est imprévisible, reste à démontrer hors laboratoire.

RecherchePaper

1 source

4arXiv cs.RO

λ₀ : passage à l'échelle des données égocentriques humaines en milieu ouvert pour la loco-manipulation des robots humanoïdes

Une équipe de chercheurs publie λ0 (lambda-zéro), un modèle fondation pour la loco-manipulation de robots humanoïdes (manipulation combinée à la locomotion, corps entier), accompagné de HumanVerse, un jeu de données de 500 heures de vidéo égocentrique. Ces vidéos, tournées en environnements ouverts, sont synchronisées avec les mouvements du corps et des mains. Le pipeline aligne les points de vue de caméra et l'apparence des bras humains sur ceux du robot. Il affine ensuite hors ligne les références de mouvement et les entrées du contrôleur, afin de réduire les erreurs de l'effecteur terminal tout en préservant la coordination du corps entier. Les auteurs l'ont validé par un transfert zero-shot sur un Unitree G1, sur des tâches de manipulation corps entier et de loco-manipulation longue portée, sans aucune démonstration robot sur la tâche cible. Pour λ0, ces données humaines alignées servent de supervision en mi-entraînement. Le modèle atteint 90,0 % de réussite sur le benchmark SIMPLE et 62,5 % sur l'ensemble des tâches réelles de loco-manipulation. Les auteurs précisent que plus on ajoute de données humaines corps entier, plus la progression sur les tâches aval s'améliore. L'intérêt tient au coût de la donnée. Les démonstrations robot par téléopération restent chères et lentes à collecter, et ce goulot limite les modèles vision-langage-action (VLA) actuels. Les corpus humains égocentriques existants omettent souvent la locomotion et la posture, donc l'essentiel de ce qui distingue un humanoïde d'un bras monté sur une base fixe. Montrer qu'une supervision humaine corps entier se transfère, et que la performance croît avec le volume, plaide pour un régime de passage à l'échelle comparable à celui du texte et de l'image. Il faut toutefois lire les chiffres avec prudence. Un taux de 62,5 % en conditions réelles reste loin d'un seuil de déploiement industriel. Le détail des tâches, le nombre d'essais et la comparaison avec des modèles de référence ne figurent pas dans le résumé. Enfin, toutes les validations semblent reposer sur un seul robot, le G1, plateforme de recherche bon marché. Ce travail s'inscrit dans une tendance déjà visible chez les grands acteurs. Les modèles comme Pi-0 de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure misent sur des mélanges de données robot, de simulation et de vidéo humaine, et Tesla vise lui aussi l'apprentissage à partir de vidéos pour Optimus. La spécificité de λ0 est de coupler explicitement perception égocentrique, posture et locomotion, puis de corriger les écarts de morphologie par un traitement hors ligne. Il s'agit ici d'une publication de recherche (arXiv), sans produit ni déploiement commercial annoncé. Les prochaines étapes à surveiller sont la publication éventuelle des données et du code, la reproduction sur d'autres morphologies que le G1, et la confrontation à des tâches industrielles longues.

RecherchePaper

1 source