Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
BeyondRetarget : apprendre des mouvements humanoïdes exécutables directement à partir d'une vidéo monoculaire
RecherchearXiv cs.RO 

BeyondRetarget : apprendre des mouvements humanoïdes exécutables directement à partir d'une vidéo monoculaire

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche propose BeyondRetarget, un framework qui apprend des mouvements exécutables pour robots humanoïdes directement à partir de vidéos RGB monoculaires, sans passer par l'étape classique de reconstruction explicite du mouvement humain puis de retargeting vers le squelette du robot. Décrit dans un preprint arXiv publié fin septembre 2026, le système apprend une représentation implicite orientée robot directement depuis les images, complétée par un mécanisme d'optimisation de mouvement dit "contact-aware" censé améliorer la cohérence temporelle et la plausibilité physique des trajectoires générées. Les auteurs rapportent des gains en précision, en robustesse et en taux de réussite d'exécution, ainsi qu'une latence réduite, à la fois en simulation et sur des robots humanoïdes réels. L'abstract ne fournit toutefois aucun chiffre précis (pas de taux de succès, de latence en millisecondes, ni de payload ou DOF du robot testé), ce qui limite pour l'instant l'évaluation indépendante de l'ampleur réelle des gains annoncés.

L'enjeu dépasse le simple gain de performance technique. Les pipelines actuels d'apprentissage par démonstration à partir de vidéos humaines butent sur un problème structurel: les différences de morphologie et de degrés de liberté entre humain et robot rendent les mouvements retargetés difficiles à exécuter, et les erreurs d'estimation de pose humaine se propagent sans pouvoir être corrigées a posteriori par optimisation conjointe. En supprimant cette étape intermédiaire, BeyondRetarget s'attaque directement à un goulot d'étranglement identifié par une large partie du secteur: la capacité à exploiter le volume massif de vidéos humaines disponibles (tutoriels, contenus web) pour entraîner des humanoïdes sans dépendre uniquement de téléopération coûteuse ou de données de mouvement capturées en laboratoire. Si les résultats se confirment à plus grande échelle, cela renforcerait la piste "apprentissage par imitation vidéo" comme alternative ou complément aux approches VLA entraînées sur données robot réelles.

Le travail se positionne dans la lignée des méthodes de retargeting de mouvement humain vers robot, dominantes dans la littérature récente sur l'apprentissage de démonstrations pour humanoïdes, mais s'en distingue en éliminant la représentation humaine intermédiaire. Il s'agit d'un résultat de recherche publié en preprint, non encore validé par relecture par les pairs ni associé à un déploiement industriel ou à un partenaire robotique identifié dans l'abstract, ce qui en fait pour l'instant une contribution méthodologique à suivre plutôt qu'une solution prête à l'emploi.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Retargeting de mouvement du haut du corps, de l'humain au robot, préservant la géométrie à partir d'une vidéo monoculaire
1arXiv cs.RO 

Retargeting de mouvement du haut du corps, de l'humain au robot, préservant la géométrie à partir d'une vidéo monoculaire

Des chercheurs proposent un cadre de retargeting de mouvement qui convertit une simple vidéo RVB monoculaire en mouvements coordonnés du haut du corps pour un robot dual-bras à main dextre. Le système repose sur une reconstruction unifiée corps-mains : les estimations image par image du corps, les observations à l'échelle de la vidéo et les détails des mains contraignent ensemble un unique état du Momentum Human Rig (MHR), un modèle corporel différentiable. Les artefacts transitoires sur les mains sont corrigés directement dans l'espace des paramètres. Le mouvement est ensuite décrit par des grandeurs géométriques (directions des segments du bras, configuration du coude, orientation relative des paumes, relations bilatérales des poignets), puis exécuté par une cinématique inverse en plusieurs étapes et une adaptation propre à la main du robot. Au sein d'un système plus large, Across-VAM gère la génération vidéo et Across-WAM la mise en correspondance humain-robot. L'évaluation porte sur 16 vidéos (1 769 images source), dont 10 séquences de langue des signes et 6 de saisie. L'erreur moyenne de reprojection des mains passe de 22,36 à 7,21 pixels par rapport à SAM 3D Body. Les 16 trajectoires ont été rejouées en simulation cinématique, et deux mouvements représentatifs (signes, saisie) ont été démontrés sur un robot réel. Pour l'industrie, l'intérêt tient à la source de données. La vidéo monoculaire est la matière première la moins chère pour l'apprentissage par démonstration, bien moins coûteuse que la téléopération ou les gants de capture. Mais le transfert vers un robot bute sur un problème concret : corps et mains sont reconstruits à des échelles différentes, les cinématiques divergent et les mouvements distaux fins se perdent. Une réduction de l'erreur de reprojection de plus des deux tiers sur les mains est significative pour la dextérité, là où les pipelines existants dégradent le plus. Des réserves s'imposent toutefois. L'échantillon est très réduit (16 vidéos), le succès en simulation ne mesure que la faisabilité cinématique, sans dynamique ni contact, et la validation physique se limite à deux démonstrations qualitatives, sans taux de réussite chiffré. Le gain est mesuré contre un seul point de comparaison, et le cas de la langue des signes, bien que parlant, reste éloigné de la manipulation industrielle. Ce travail s'inscrit dans la course à la donnée pour les modèles de politique robotique. Les acteurs comme Figure, Tesla (Optimus) ou Physical Intelligence cherchent à exploiter des vidéos humaines à grande échelle pour nourrir leurs VLA, et la qualité du retargeting devient un goulot d'étranglement. La séparation entre génération vidéo (Across-VAM) et mapping humain-robot (Across-WAM) suggère une architecture modulaire pensée pour relier des modèles génératifs à l'exécution. Les prochaines étapes à surveiller sont une évaluation sur davantage de séquences, des taux de succès en manipulation réelle avec contacts, et une intégration avec des politiques apprises. Le papier est un preprint sur arXiv, non évalué par les pairs, et aucun calendrier de déploiement n'est annoncé.

RecherchePaper
1 source
Apprentissage d'une démarche humanoïde expressive à partir de vidéos monoculaires de podium pour les défilés de mode robotiques
2arXiv cs.RO 

Apprentissage d'une démarche humanoïde expressive à partir de vidéos monoculaires de podium pour les défilés de mode robotiques

Un article de recherche publié sur arXiv fin septembre 2026 décrit un système permettant à des robots humanoïdes d'imiter la démarche de mannequins sur un podium de mode. L'équipe a conçu un pipeline complet transformant une simple vidéo monoculaire de défilé en une politique de locomotion déployable : récupération du mouvement à partir de la vidéo, retargeting vers la morphologie du robot, correction du mouvement, entraînement de la politique, évaluation en simulation, puis déploiement physique. Le framework a été testé sur le robot humanoïde Booster K1, conçu par la société chinoise Booster Robotics. Lors des essais physiques réels, le robot a exécuté l'intégralité des passages sans chuter, en reproduisant les traits caractéristiques du catwalk : pose des pieds resserrée et coordination fine entre jambes, torse et bras. Le papier ne précise ni le nombre exact d'essais ni de temps de cycle chiffré, ce qui limite l'évaluation quantitative de la robustesse annoncée. Ce travail illustre un déplacement d'objectif dans la locomotion humanoïde : la plupart des politiques de marche actuelles sont optimisées pour la stabilité et la vitesse, pas pour l'expressivité gestuelle. Or les défilés de mode sont devenus un terrain de démonstration prisé par les fabricants de robots humanoïdes pour prouver leur dextérité au grand public. En montrant qu'une vidéo 2D ordinaire, sans capture de mouvement dédiée, suffit à transférer un style de démarche stylisé vers un robot réel, l'étude appuie l'idée que l'apprentissage par imitation à partir de vidéos grand public peut réduire le coût d'acquisition de comportements expressifs, un enjeu direct pour les intégrateurs qui cherchent à diversifier les usages des humanoïdes au-delà de la logistique et de l'industrie, vers le divertissement et la communication de marque. Cette recherche s'inscrit dans la multiplication des vitrines chorégraphiques de robots humanoïdes, un registre où Unitree, Figure, Tesla avec Optimus ou Boston Dynamics ont déjà mis en scène danse, boxe ou marche stylisée pour illustrer leurs progrès en contrôle moteur. Booster Robotics, éditeur du K1 utilisé ici, est surtout connu pour la compétition de football robotique RoboCup et propose une plateforme humanoïde de taille moyenne relativement accessible à la recherche académique. Le travail présenté reste un prototype de laboratoire, évalué sur un nombre limité d'essais physiques, sans annonce de déploiement commercial ni de calendrier de pilotes ; les auteurs évoquent seulement une extension possible à d'autres scénarios de performance robotique.

UEImpact indirect seulement: la méthode d'imitation vidéo pourrait intéresser des intégrateurs européens cherchant a diversifier les usages des humanoïdes, mais aucun acteur ni déploiement européen n'est implique dans ces travaux.

RecherchePaper
1 source
Retargeting dynamique direct pour l'apprentissage par imitation des humanoïdes à partir de vidéos
3arXiv cs.RO 

Retargeting dynamique direct pour l'apprentissage par imitation des humanoïdes à partir de vidéos

Une nouvelle méthode d'apprentissage par imitation pour robots humanoïdes vient d'être publiée sur arXiv (2605.23762, mai 2026), proposant un cadre à étape unique baptisé Direct Dynamic Retargeting (DDR). L'objectif est d'apprendre des comportements moteurs complexes à partir de simples vidéos monoculaires de démonstration humaine, sans capteurs de mouvement ni combinaisons de capture. Le défi central est morphologique : un humain et un robot humanoïde ne partagent ni les mêmes proportions, ni les mêmes centres de masse, ni les mêmes contraintes articulaires, ce qui rend la transposition directe des trajectoires impossible. Les approches standards, dites Geometric Retargeting ou Indirect Dynamic Retargeting, projettent d'abord le mouvement humain dans un espace cinématique intermédiaire avant de générer les commandes robot, introduisant ce que les auteurs appellent un biais géométrique qui restreint l'espace de solutions et produit des comportements sous-optimaux. DDR supprime cette étape intermédiaire en formulant le problème directement dans l'espace des tâches (task space), couplé à un solveur de contrôle prédictif par modèle (Model Predictive Control, MPC) à base d'échantillonnage, exécuté au sein d'un simulateur physique. Ce couplage permet au système d'optimiser nativement les séquences de contact sol-pied tout en limitant la dérive des entrées, garantissant la faisabilité dynamique des trajectoires générées. Les expériences montrent que DDR surpasse les méthodes de référence en précision de suivi des démonstrations. Plus significatif pour les praticiens : fournir ces références physiquement viables à un agent d'apprentissage par renforcement accélère la convergence de l'entraînement et améliore l'exécution finale de comportements agiles et d'équilibrage dynamique. L'apprentissage par imitation à partir de vidéo est devenu un axe majeur de la robotique humanoïde, porté par des travaux comme Pi-0 de Physical Intelligence ou les pipelines de données de téléopération développés chez Figure AI et Agility Robotics. Ces approches cherchent à exploiter l'immense corpus de vidéos de mouvements humains disponibles en ligne pour réduire le coût prohibitif de la collecte de données sur robot. DDR s'inscrit dans cette tendance mais attaque le problème par la dynamique plutôt que par la géométrie, un pari prometteur qui reste à valider en conditions réelles : aucun résultat physique sur robot n'est présenté dans cet article, uniquement des évaluations en simulation. Le code source sera rendu public, ce qui permettra à la communauté de reproduire et d'étendre ces résultats.

RecherchePaper
1 source
Track-and-Complete : apprendre des compétences humanoïdes à partir d'une seule vidéo humaine ratée
4arXiv cs.RO 

Track-and-Complete : apprendre des compétences humanoïdes à partir d'une seule vidéo humaine ratée

Des chercheurs proposent TRACC (Track-and-Complete), un pipeline qui permet à un humanoïde d'apprendre une compétence à partir d'une seule vidéo d'humain en situation d'échec, sans aucune démonstration réussie. La méthode se déroule en deux temps. Elle imite d'abord la partie exploitable de la trajectoire, c'est-à-dire le préfixe de mouvement observé avant que la tentative ne tourne mal. Elle infère ensuite le résultat visé par la tâche, puis utilise une récompense d'accomplissement pour que la politique apprenne à finir le travail après le point de rupture. Le préfixe sert d'a priori jusqu'à l'échec, la récompense prend le relais ensuite. L'évaluation porte sur six tâches humaines « in the wild » en échec, tirées du jeu de données Oops!, une collection de vidéos amateurs de ratés. L'étude est publiée sur arXiv (2609.36924v1) et présente des résultats jugés positifs par les auteurs. Le résumé ne donne ni taux de réussite, ni comparaison chiffrée, ni précision sur le robot utilisé ou sur un éventuel transfert vers du matériel réel. L'intérêt tient au coût de la donnée. L'apprentissage de compétences humanoïdes par imitation vidéo suppose en général une démonstration réussie, souvent collectée sur mesure : téléopération, capture de mouvement ou scènes scriptées. Or le web regorge de tentatives ratées, que la robotique traite d'ordinaire comme de simples exemples négatifs. Si l'approche tient à plus grande échelle, un corpus jusque-là écarté devient une source de supervision, ce qui réduit le goulot d'étranglement des données que rencontrent les acteurs des politiques généralistes de type VLA. Une réserve s'impose toutefois. Six tâches sont un échantillon très mince, et la robustesse de l'inférence du but à partir d'une vidéo ambiguë reste à démontrer. Le résumé ne dit pas non plus si l'apprentissage se fait uniquement en simulation. La question du passage au réel, le fameux sim-to-real, n'est pas tranchée par ce texte. Ce travail s'inscrit dans un mouvement plus large de retargeting de mouvements humains vers des humanoïdes et d'apprentissage par renforcement guidé par vidéo, où la plupart des méthodes supposent des démonstrations propres. Les grands acteurs de la course humanoïde, de Figure à Tesla avec Optimus, en passant par les modèles fondation comme Pi-0 ou GR00T, misent surtout sur la téléopération et la simulation à grande échelle pour alimenter leurs politiques. TRACC propose une voie complémentaire, moins coûteuse en collecte, qui reste académique et sans produit ni déploiement annoncé. Les prochaines étapes à surveiller sont l'extension à davantage de tâches et de morphologies, la validation sur robot physique et la confrontation avec des méthodes exploitant des démonstrations réussies.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source