RecherchearXiv cs.RO 21 juillet 2026

Vision-Langage vers Exécution Humanoïde : Retargeting Guidé pour l'Éxécution de la Langue des Signes avec Atténuation des Collisions

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Le laboratoire de robotique a publié le 24 juillet 2026 sur arXiv (2607.17769v1) un système reliant la génération de langue des signes (SLG, sign language generation) à l'exécution sur robot humanoïde. Les modèles SLG récents produisent des représentations corporelles 3D denses au format SMPL-X, jugées plus fidèles pour préserver la cinématique et la géométrie du corps entier en vue d'un transfert vers un robot. Le problème identifié : ces mouvements générés présentent fréquemment des auto-intersections, notamment des pénétrations main-main et main-torse. Tolérables en rendu vidéo offline, ces artefacts deviennent bloquants à l'exécution réelle, car ils produisent des solutions de cinématique inverse (IK) infaisables, des collisions et des trajectoires retargetées instables. Les auteurs proposent deux briques : un module volumétrique de mitigation des collisions sur SMPL-X qui reprojette les postures générées vers des configurations physiquement plausibles en s'écartant le moins possible de la trajectoire d'origine, et un algorithme de retargeting guidé par un modèle vision-langage (VLM), construit sur un socle IK, où le VLM agit comme critique visuel sur le mouvement humanoïde rendu, détecte les modes d'échec propres à l'embodiment, et déclenche des corrections ciblées dans l'espace des tâches.

Cette contribution s'attaque à un angle mort concret de la course aux humanoïdes polyvalents : la plupart des démonstrations de génération de mouvement (langue des signes comprise) restent évaluées en rendu visuel, sans jamais passer le test du transfert vers un corps robotique réel avec ses contraintes articulaires et ses risques de collision physique. En pointant explicitement le fossé entre motion generation qui a l'air correcte à l'écran et motion generation exécutable sans collision sur un robot, les auteurs infirment implicitement l'hypothèse selon laquelle un bon modèle génératif SMPL-X suffit à garantir un retargeting robuste. Pour les intégrateurs travaillant sur l'accessibilité ou l'interaction homme-robot (interprétation automatisée en langue des signes par humanoïde), c'est un rappel que la chaîne complète, génération plus collision-checking plus correction perceptuelle en boucle, reste nécessaire avant tout déploiement, et que le retargeting IK seul ne suffit pas à garantir la sécurité et la stabilité des trajectoires.

Le travail s'inscrit dans la lignée des systèmes de génération de langue des signes qui ont basculé ces dernières années vers des sorties 3D corps entier plutôt que des séquences 2D ou des squelettes simplifiés, afin de mieux capturer les nuances gestuelles nécessaires à une communication fidèle. Il rejoint aussi une tendance plus large de la robotique humanoïde consistant à utiliser des modèles vision-langage non pas comme générateurs de commandes bas niveau, mais comme superviseurs ou critiques de mouvements déjà produits, une approche qui recoupe les architectures VLA (vision-language-action) évoquées dans des systèmes comme Helix ou GR00T N2, sans toutefois se positionner comme un concurrent direct de ces plateformes de bout en bout. Le papier reste à ce stade une contribution de recherche publiée en preprint, sans mention de partenaire industriel, de plateforme humanoïde spécifique ni de calendrier de déploiement pilote, ce qui en fait une brique méthodologique plutôt qu'une annonce produit.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

EmoPose : génération de gestes sensibles aux émotions guidée par un modèle vision-langage pour robots humanoïdes

Un article publié sur arXiv (2609.23414v1) présente EmoPose, un système associant un modèle vision-langage (VLM) et un contrôleur robotique déterministe pour générer des gestes porteurs d'émotion chez les robots humanoïdes : à partir d'un texte, d'un historique de dialogue et d'un contexte visuel optionnel, le VLM choisit un plan de gestes ordonné (classe communicative, variante, intensité, point d'ancrage vocal), puisé dans une bibliothèque de mouvements propre au robot qui fournit des cibles articulaires à 14 degrés de liberté (DoF). L'outil Pose Studio génère automatiquement les trajectoires, les prévisualise sous le simulateur MuJoCo et synchronise les nouvelles entrées avec le guide du VLM, tandis que des modules déterministes côté robot valident les plans, construisent les trajectoires et gèrent l'ordonnancement, la mise en file et l'interruption des gestes. Sur le banc d'essai EmoPose-Bench, une planification structurée avec GPT-5.5 atteint 98,25 % (± 0,52) sur le niveau facile et 76,50 % (± 0,54) au global, un score supérieur à un prompting à étiquette directe avec le même modèle. Le système exécute la suite nominale sous MuJoCo et reproduit les 29 variantes de la bibliothèque sur un robot Unitree G1 physique, démontré lors d'une visite de laboratoire en quatre étapes mêlant narration expressive avec interruption, dialogue ancré sur la caméra et navigation. Cette architecture répond à un problème concret pour les intégrateurs : confier le contrôle articulaire brut à un modèle de fondation reste imprévisible, tandis qu'un robot purement scripté manque de flexibilité sociale. En cantonnant le VLM à un rôle de sélection sémantique dans une bibliothèque de mouvements pré-validée et en laissant le contrôle bas niveau à des modules déterministes, EmoPose permet d'étendre le répertoire expressif à de nouveaux contextes sociaux sans modifier l'interface de contrôle ni recertifier la sécurité du mouvement. C'est un argument dans le débat sur le passage à l'échelle des modèles vision-langage-action (VLA) : plutôt que de démontrer qu'un VLA génère directement des trajectoires fiables de bout en bout, les auteurs montrent qu'un VLM peut piloter une bibliothèque de gestes pré-validés, approche plus proche de ce qu'un intégrateur industriel peut auditer et déployer en sécurité. Les chiffres de précision restent néanmoins issus d'un benchmark maison et d'une démonstration en laboratoire contrôlé, pas d'un déploiement en conditions réelles à grande échelle. EmoPose s'inscrit dans la vague de travaux cherchant à combler l'écart entre les modèles vision-langage-action généralistes, tels Pi-0 ou GR00T N2, et le besoin d'un contrôle fiable et spécifique à chaque corps physique ; contrairement à ces approches de génération de mouvement de bout en bout, EmoPose sépare explicitement raisonnement social et exécution motrice. Le choix du Unitree G1, plateforme humanoïde largement utilisée par les laboratoires de recherche pour son coût accessible, souligne la nature académique de la démonstration plutôt qu'un déploiement commercial. Les auteurs ne mentionnent ni partenaire industriel ni calendrier de commercialisation : à ce stade, la publication reste une validation de méthode sur banc d'essai et lors d'une visite de laboratoire, sans pilote client ni déploiement annoncé en environnement réel.

RecherchePaper

1 source

2arXiv cs.RO

Retargeting dynamique direct pour l'apprentissage par imitation des humanoïdes à partir de vidéos

Une nouvelle méthode d'apprentissage par imitation pour robots humanoïdes vient d'être publiée sur arXiv (2605.23762, mai 2026), proposant un cadre à étape unique baptisé Direct Dynamic Retargeting (DDR). L'objectif est d'apprendre des comportements moteurs complexes à partir de simples vidéos monoculaires de démonstration humaine, sans capteurs de mouvement ni combinaisons de capture. Le défi central est morphologique : un humain et un robot humanoïde ne partagent ni les mêmes proportions, ni les mêmes centres de masse, ni les mêmes contraintes articulaires, ce qui rend la transposition directe des trajectoires impossible. Les approches standards, dites Geometric Retargeting ou Indirect Dynamic Retargeting, projettent d'abord le mouvement humain dans un espace cinématique intermédiaire avant de générer les commandes robot, introduisant ce que les auteurs appellent un biais géométrique qui restreint l'espace de solutions et produit des comportements sous-optimaux. DDR supprime cette étape intermédiaire en formulant le problème directement dans l'espace des tâches (task space), couplé à un solveur de contrôle prédictif par modèle (Model Predictive Control, MPC) à base d'échantillonnage, exécuté au sein d'un simulateur physique. Ce couplage permet au système d'optimiser nativement les séquences de contact sol-pied tout en limitant la dérive des entrées, garantissant la faisabilité dynamique des trajectoires générées. Les expériences montrent que DDR surpasse les méthodes de référence en précision de suivi des démonstrations. Plus significatif pour les praticiens : fournir ces références physiquement viables à un agent d'apprentissage par renforcement accélère la convergence de l'entraînement et améliore l'exécution finale de comportements agiles et d'équilibrage dynamique. L'apprentissage par imitation à partir de vidéo est devenu un axe majeur de la robotique humanoïde, porté par des travaux comme Pi-0 de Physical Intelligence ou les pipelines de données de téléopération développés chez Figure AI et Agility Robotics. Ces approches cherchent à exploiter l'immense corpus de vidéos de mouvements humains disponibles en ligne pour réduire le coût prohibitif de la collecte de données sur robot. DDR s'inscrit dans cette tendance mais attaque le problème par la dynamique plutôt que par la géométrie, un pari prometteur qui reste à valider en conditions réelles : aucun résultat physique sur robot n'est présenté dans cet article, uniquement des évaluations en simulation. Le code source sera rendu public, ce qui permettra à la communauté de reproduire et d'étendre ces résultats.

RecherchePaper

1 source

3arXiv cs.RO

VICAR : imitation vidéo avec retargeting sensible aux contacts pour les compétences interactives des humanoïdes

VICAR, présenté sur arXiv (2610.13079), est un pipeline qui apprend des compétences interactives à un humanoïde à partir de simples vidéos d'humains filmés à la troisième personne, sans ingénierie de récompense propre à chaque tâche, sans téléopération ni démonstrations scriptées à la main. Le système reconstruit d'abord le mouvement humain et les obstacles pertinents de la scène à partir d'une vidéo monoculaire, puis retargete ce mouvement vers le robot en préservant les poses de contact dans le repère monde, la vitesse du geste et les marges de collision. Les mouvements obtenus entraînent un générateur de mouvement conditionné par les contacts, dont les entrées incluent des points de contact mobiles. Les auteurs l'ont testé sur dix compétences : six services de tennis de table, trois tâches de ramassage d'objets et une montée d'échelle, avec un déploiement sur matériel réel. Le résumé ne donne ni plateforme humanoïde, ni taux de réussite, ni temps de cycle, et ce sont des points à vérifier dans l'article complet. L'intérêt tient à un verrou précis de l'imitation depuis la vidéo. Les systèmes récents savent déjà extraire des mouvements, des trajectoires d'objets et des contacts bruités de vidéos non structurées, mais la tâche y est souvent définie par des contacts ancrés dans le monde (la main sur un barreau, la raquette sur la balle) dont la position, le timing et la vitesse doivent survivre à la différence de morphologie entre humain et robot. Les méthodes classiques de retargeting se contentent de supprimer les pénétrations ou de conserver la géométrie locale d'interaction. VICAR traite les contacts et le dégagement de collision comme des termes de pénalité lagrangiens prioritaires, tout en gardant la trajectoire globale fluide. Si les résultats tiennent, cela réduit le coût de collecte de données pour des tâches de loco-manipulation, face à la téléopération, qui reste le goulot d'étranglement des acteurs industriels. Il faut cependant rester prudent : dix compétences, dont six sont des variantes d'une même tâche, constituent un échantillon étroit, et une preuve de concept académique ne dit rien de la robustesse en production. Ce travail s'inscrit dans la vague de recherche qui cherche à transformer la vidéo humaine, abondante et peu chère, en compétences humanoïdes déployables, en alternative aux pipelines de suivi de mouvement par apprentissage par renforcement en simulation et à la téléopération massive pratiquée par les acteurs commerciaux de l'humanoïde. Le point nouveau revendiqué est l'adaptation à l'exécution: le générateur accepte de nouvelles positions de contact, ce qui évite de réentraîner à chaque déplacement d'objet. Il s'agit d'une publication de recherche (v1, non évaluée par les pairs), sans produit ni pilote industriel annoncé. La suite logique serait une validation sur davantage de tâches et de morphologies, avec des mesures de fiabilité publiées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

WOLF-VLA : framework de locomotion optimale corps entier pour humanoïdes avec apprentissage vision-langage-action

Des chercheurs ont publié le 25 juin 2026 sur arXiv (arXiv:2606.25591) WOLF-VLA, un cadre unifié qui combine la synthèse de trajectoires par contrôle optimal (OC) en corps entier avec un dataset multimodal à grande échelle, dans le but d'entraîner des modèles VLA (Vision-Language-Action) capables de piloter la locomotion d'humanoïdes directement depuis des instructions en langage naturel. Le dataset couvre six familles de tâches de locomotion, paramétrées par des variations d'environnement, de couleurs d'objets, de placements et de distracteurs visuels. L'entrainement utilise des trajectoires articulaires dynamiquement cohérentes, des observations visuelles ego-centriques et des instructions textuelles. Les résultats annoncés font état d'une robustesse notable aux variations de conditions initiales et de performances compétitives sur plusieurs tâches et configurations d'environnement. Le dataset complet, les checkpoints de modèle et la suite de benchmarks en simulation seront publiés en open source. Ce travail comble un angle mort important : si les VLA ont prouvé leur efficacité en manipulation (voir Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA), leur extension à la locomotion en corps entier, contact-riche et dynamiquement contrainte, restait quasi inexploitée. Les trois verrous identifiés par les auteurs sont précis -- pénurie de données, absence de démonstrations dynamiquement consistantes, et difficulté à encoder optimalité et sécurité dans un pipeline d'apprentissage -- ce sont exactement les obstacles qui ont maintenu la locomotion hors du champ VLA. La génération de trajectoires via contrôle optimal comme source de données supervisées est une approche méthodologiquement solide pour contourner la dépendance aux démonstrations humaines ou téléopérées. Ce papier s'inscrit dans un mouvement plus large vers des politiques de locomotion instruction-guidées, concurrent de travaux comme ANYmal (ETH Zurich / ANYbotics), Digit (Agility Robotics) ou les approches reinforcement learning de Boston Dynamics. La release open source du benchmark constitue la contribution potentiellement la plus durable : établir un référentiel reproductible pour la locomotion humanoïde VLA permettrait de structurer les comparaisons dans un domaine où les métriques sont encore disparates. Aucun déploiement physique n'est mentionné dans cet article, qui reste une contribution de recherche en simulation -- le transfert sim-to-real sur des plateformes comme Unitree H1 ou Figure 03 constitue la prochaine étape non résolue.

UELe benchmark open source pourrait servir de référence aux laboratoires européens travaillant sur la locomotion humanoïde (ETH Zurich/ANYbotics notamment), mais aucun acteur français ni institution de l'UE n'est directement impliqué dans cette publication.

RechercheOpinion

1 source