RecherchearXiv cs.RO 23 septembre 2026

Échantillonner, simuler, sélectionner : le pilotage par la physique pour le texte-vers-mouvement des humanoïdes sans entraînement

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente S³ (Sample-Simulate-Select), une méthode permettant à un humanoïde d'exécuter des commandes textuelles sans aucun entraînement supplémentaire, en plaçant directement le contrôleur de déploiement dans la boucle de génération. Pour chaque instruction, S³ tire N mouvements candidats d'un modèle text-to-motion figé, les retargete vers un robot Unitree G1 par cinématique inverse à correspondance de direction, les simule sous dynamique rigide complète avec la politique de suivi préentraînée SONIC, puis conserve le candidat le mieux exécuté. Sur 200 prompts stratifiés issus de HumanML3D, avec huit candidats par instruction, le taux d'exécution en position debout passe de 83,5% à 89,5%, et les passages du filtre matériel bondissent de 33 à 85 sur 200 ; sur l'intégralité du split de test (4184 prompts), le taux grimpe de 80,5% à 89,5%. Un vérificateur cinématique, prédisant les chutes avec une AUROC de 0,90, ne récupère qu'un quart de ce gain. Une comparaison avec un second retargeteur, GMR, révèle des échecs complémentaires qui portent le plafond combiné à 95%, et les 177 clips sélectionnés puis exécutés sur un G1 réel se terminent tous debout, avec une erreur de suivi proche de la simulation (r=0,94).

L'intérêt tient à ce que ces gains s'obtiennent sans réentraîner ni le générateur ni le contrôleur, alors que les systèmes récents reliant langage et humanoïdes comblent généralement cet écart par un entraînement dédié. Pour les équipes de recherche appliquée et les intégrateurs, cela suggère qu'un simple filtrage physique par simulation, réutilisant des briques déjà déployées, peut constituer une étape low-cost avant d'investir dans du réentraînement. Le travail tempère toutefois l'enthousiasme : le taux de passage du filtre matériel plafonne à 42,5%, et une classe entière de mouvements, ceux qui abaissent le bassin, échappe totalement à la sélection car aucun candidat généré ne l'exécute correctement.

La méthode s'appuie sur des générateurs text-to-motion entraînés sur HumanML3D et sur la politique de suivi corps-entier SONIC, ici testée sur un Unitree G1, et se positionne explicitement contre l'approche dominante d'un entraînement de bout en bout langage-vers-humanoïde. Il s'agit d'une contribution de recherche, validée à grande échelle en simulation mais sur un nombre restreint de séquences réelles et un seul robot, sans annonce de déploiement commercial ; les auteurs pointent eux-mêmes la limite à lever, les mouvements abaissant le centre de masse, qui exigeront probablement un générateur réentraîné sur des trajectoires robot plutôt qu'une sélection parmi des candidats humains retargetés.

Dans nos dossiers

Unitree

À lire aussi

1arXiv cs.RO

GenTrack : alignement physique pour la génération de mouvement natif au robot et le suivi humanoïde en zéro-shot

Des chercheurs présentent GenTrack, un nouveau framework d'apprentissage conjoint pour générer et suivre des mouvements sur robots humanoïdes, détaillé dans un article publié le 1er août 2026 sur arXiv (2608.01410v1). Le système a été testé sur le robot Unitree G1, avec deux architectures de suivi de mouvement, ProtoMotions et SONIC. L'évaluation couvre trois jeux de données en zero-shot : les benchmarks publics AMASS et LAFAN, ainsi qu'un ensemble privé de 1 024 paires prompt-mouvement collectées hors distribution, censé refléter des conditions réelles variées. Le principe central de GenTrack consiste à faire alterner deux étapes en ligne : un alignement du générateur de mouvements ancré dans l'exécution réelle et calculé de façon relative par groupe, puis un entraînement du tracker sur les nouvelles références ainsi produites, le tout stabilisé par des mécanismes d'ancrage et de rejeu pour limiter la dérive du modèle. L'enjeu technique visé est connu des équipes qui travaillent sur le contrôle des humanoïdes : les générateurs de mouvement texte-vers-mouvement, entraînés sur des données de capture humaine ou retargetées, produisent des trajectoires plausibles cinématiquement mais souvent inexécutables physiquement par un robot réel. Les approches existantes traitent ce problème dans un seul sens, en figeant soit le corpus généré, soit le tracker récompensé. GenTrack propose une boucle fermée entre les deux composants. Selon les auteurs, cette co-évolution en ligne améliore à la fois l'exécutabilité robotique des mouvements générés et la couverture zero-shot du tracker, avec un gain particulièrement marqué sur les références hors distribution, c'est-à-dire les cas les plus proches d'un usage industriel réel plutôt que d'un benchmark contrôlé. Le travail s'inscrit dans la lignée des recherches sur les modèles de suivi de mouvement génériques pour humanoïdes, où l'extension de la couverture zero-shot dépendait jusqu'ici de corpus embarqués coûteux à agrandir. GenTrack propose une alternative sans collecte de données supplémentaire, en exploitant plutôt un post-entraînement conjoint génération-suivi. L'article ne mentionne pas de déploiement industriel ni de partenaire matériel au-delà du G1 de Unitree utilisé comme plateforme d'évaluation ; il s'agit à ce stade d'une contribution méthodologique plutôt que d'un produit commercialisé.

RecherchePaper

1 source

2arXiv cs.RO

PartiGen : des représentations par parties pour générer des mouvements d'humanoïde à partir de texte

PartiGen, un cadre de génération de mouvement humanoïde conditionné par le langage, a été présenté sur arXiv (2610.13373) par une équipe de recherche qui s'attaque à trois difficultés à la fois : coordonner les parties du corps, déterminer la durée d'un mouvement et produire des références exploitables par un robot. Le modèle est une diffusion latente « part-aware » : des couches d'attention propres à chaque segment anatomique traitent des caractéristiques de trames masquées anatomiquement, puis leurs sorties sont fusionnées avec le contexte du corps entier. Conditionné par un texte et l'historique du mouvement, il génère des primitives de mouvement de façon autorégressive, avec une supervision par cinématique directe pour la cohérence des poses et un prédicteur de fin de séquence appris. Sur HumanML3D retargeté vers le Unitree G1, il atteint un FID par segment de 3,165, soit 16,8 % de moins que TextOp, et gagne 1,4 point de R@1. Avec des primitives de 16 trames, la prédiction de fin ramène l'erreur absolue moyenne de durée de 12,471 à 3,080 trames par rapport à une coupe à longueur fixe. Le volet le plus parlant pour les intégrateurs est l'exécution. Les références générées sont suivies par un contrôleur GRIT préentraîné et gelé : 409 des 500 mouvements (81,8 %) passent le filtre de stabilité posturale sous MuJoCo, puis 26 des 27 mouvements tentés sont jugés réussis sur un vrai G1. Ces chiffres demandent de la prudence : le filtre de stabilité repose sur la posture, non sur une tâche accomplie, et les 27 essais réels viennent d'une sélection manuelle après tri en simulation, pas d'un échantillon aléatoire. Le taux de 96 % décrit donc surtout la qualité des mouvements retenus, pas la fiabilité d'un pipeline texte vers robot en usage libre. Il reste que près de 18 % des sorties échouent déjà au crible simulé, ce qui rappelle que l'écart entre un mouvement plausible visuellement et un mouvement physiquement exécutable n'est pas résolu. Le travail s'inscrit dans la lignée des modèles texte vers mouvement entraînés sur des données humaines (HumanML3D) puis retargetés, dont TextOp est ici la référence directe. Sa contribution est structurelle, avec la décomposition par membres et surtout la gestion de la durée, souvent négligée quand les longueurs sont fixées à l'avance. Le choix de s'appuyer sur un tracker gelé plutôt que de réentraîner la politique de bas niveau est pertinent : il isole la qualité de la génération et rend la méthode compatible avec des contrôleurs existants. Les limites sont connues : une seule plateforme (G1), pas de manipulation ni d'interaction avec l'environnement, et des évaluations en simulation et sur peu d'essais réels. Les prochaines étapes naturelles seraient un test sur d'autres morphologies humanoïdes, une évaluation sans sélection manuelle et l'intégration avec des modèles vision-langage-action pour passer du mouvement expressif à la tâche utile.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

PEARS : adaptation efficace guidée par des connaissances physiques via raisonnement sur les échecs et pilotage de diffusion pour la manipulation tactile

Des chercheurs ont publié sur arXiv (v1, octobre 2026) PEARS, un cadre d'apprentissage par renforcement hybride qui adapte en ligne une politique robotique préentraînée grâce au retour tactile. Il combine deux mécanismes. Après chaque épisode, un module de raisonnement sur les forces (PFR) interroge un modèle vision-langage (VLM) et exploite les connaissances physiques qu'il encode. Le VLM analyse le résultat visuel et l'historique des interactions tactiles pour diagnostiquer l'échec, puis ajuste les bornes de force de contact adaptées à la tâche. Un contrôleur hybride force-position haute fréquence applique ces bornes pendant le contact. En parallèle, une méthode de « diffusion steering » conditionnée par le tactile modifie le bruit latent d'une politique flow-matching gelée. Elle corrige les erreurs de mouvement en espace libre et de timing du contact sans toucher aux poids du modèle de base. En simulation, PEARS gagne 12,4 à 37,4 points de taux de succès face au meilleur baseline de chaque tâche. Il réduit aussi jusqu'à 53,2 % le nombre d'épisodes nécessaires pour atteindre un seuil de succès donné, par rapport au baseline le plus rapide. Sur robot réel, il atteint 95 % de succès pour l'effacement de tableau blanc et 90 % pour l'aspiration de liquide à la pipette. L'enjeu est le coût de l'adaptation en conditions réelles. Une politique préentraînée se dégrade sensiblement hors distribution, et le post-entraînement par RL classique exige beaucoup d'interactions. En manipulation, chaque essai est lent, coûteux, voire destructeur. Séparer le réglage des contraintes physiques (forces, confié à un VLM) de la correction de trajectoire (bruit latent, confié au RL) indique une voie pour déployer des politiques de type VLA ou flow-matching sans les réentraîner. Le gel du modèle de base limite aussi le risque d'oubli et le coût de calcul. Pour un intégrateur, la perspective est une mise en service plus rapide sur des tâches riches en contact, comme le nettoyage ou la manipulation en laboratoire. Des réserves s'imposent toutefois. Il s'agit d'un préprint non évalué par les pairs. Le texte ne précise ni les baselines, ni le nombre d'essais réels, ni le robot utilisé. Les deux tâches réelles restent étroites et les résultats chiffrés viennent des auteurs eux-mêmes. PEARS s'inscrit dans deux tendances. La première est le post-entraînement efficace des politiques génératives préentraînées, par exemple du type Pi-0, notamment par le pilotage du bruit d'une politique de diffusion ou de flow-matching. La seconde est l'intégration du toucher, longtemps absent des grands modèles de manipulation centrés sur la vision. Le projet dispose d'un site dédié (song-kun.github.io/pears). Les prochaines étapes à surveiller sont le code, la validation sur d'autres plateformes et des tâches plus variées, et la mesure du coût et de la latence des appels au VLM, qui reste le point faible d'une boucle à haute fréquence.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage par renforcement résiduel guidé par la physique pour la traversée de chemins étroits par humanoïdes

Une équipe de recherche a publié une nouvelle version (v5) d'un article arXiv (2508.20661) décrivant une méthode d'apprentissage par renforcement en deux étapes pour la traversée de chemins étroits par des robots humanoïdes, terrain où les approches purement basées sur des templates physiques ou purement par renforcement échouent généralement. La première étape combine un planificateur d'appuis au sol issu d'un template physique avec un contrôleur bas niveau de suivi de trajectoire ; la seconde ajoute un module léger de correction des appuis assisté par perception, entraîné selon un curriculum progressif allant du sol plat aux chemins étroits. Testée sur un robot humanoïde Unitree G1, la méthode a permis de franchir sans échec, à 20 reprises consécutives, une poutre de 0,2 mètre de large et 3 mètres de long. Le résultat s'attaque à un problème concret pour l'industrie robotique : le placement précis des pieds sur des appuis rares et critiques pour la sécurité, comme des passerelles ou poutrelles de chantier, reste un point faible connu des humanoïdes malgré des démonstrations vidéo souvent flatteuses. En associant l'interprétabilité d'un planificateur physique classique à la capacité de généralisation du renforcement, les auteurs revendiquent un meilleur taux de réussite, une meilleure adhérence à la trajectoire centrale et de meilleures marges de sécurité que les approches purement template ou purement RL, avec un transfert simulateur-vers-réel facilité, obstacle récurrent pour le secteur. Pour les intégrateurs évaluant des humanoïdes sur chantiers ou sites industriels contraints, ces résultats restent une preuve de concept en laboratoire, limitée à une seule configuration de poutre testée 20 fois, loin d'une validation en déploiement réel. Ces travaux s'inscrivent dans un effort de recherche plus large visant à réduire l'écart entre les démonstrations soignées de locomotion humanoïde, qu'il s'agisse de Figure 03, d'Optimus chez Tesla ou des modèles Unitree, et une robustesse réellement transférable sur terrain contraint. Le choix du G1 d'Unitree, humanoïde compact et abordable très utilisé par les laboratoires académiques, confirme son rôle de plateforme de référence pour la recherche sur la locomotion, face à des systèmes plus coûteux comme l'Atlas de Boston Dynamics. Aucun acteur français ou européen n'intervient dans cette publication, qui reste à ce stade une contribution académique en preprint sur arXiv, sans calendrier de transfert industriel ni partenariat commercial annoncé.

RecherchePaper

1 source