WaveSync : optimisation par front d'onde…

1arXiv cs.RO

RoboGesture : génération en temps réel de gestes de parole synchronisés sémantiquement pour l'interaction humanoïde

RoboGesture, un framework de recherche destiné à permettre aux robots humanoïdes de générer des gestes synchronisés et sémantiquement cohérents en réponse à la parole humaine, a été décrit dans un article publié sur arXiv fin août 2026 (arXiv:2608.28693). Le système s'appuie sur un jeu de données dédié couvrant plus de 300 catégories de gestes, construit via un pipeline automatisé produisant des paires audio-mouvement spécifiques au robot et garanties sans collision. L'architecture combine un "Hierarchical Semantic-Acoustic Aligner", qui extrait des indices prosodiques et sémantiques à plusieurs échelles directement depuis les tokens audio bruts, et un générateur de mouvement en continu basé sur un transformer de diffusion avec conditional flow matching. Une technique nommée "Anti-Inertia CFG Masking" empêche le modèle de retomber dans des schémas de mouvement répétitifs en le forçant à puiser activement dans le signal audio, tandis qu'un filtre de sécurité basé sur du contrôle prédictif (MPC) assure une exécution en temps réel sans collision sur le matériel physique. Les expériences ont été menées sur un humanoïde Unitree G1, avec des résultats présentés comme plus sûrs, plus rythmiquement cohérents et plus pertinents sémantiquement que les méthodes de référence existantes. Ce travail cible un angle mort du secteur humanoïde, focalisé jusqu'ici surtout sur la locomotion et la manipulation d'objets : la gestuelle expressive et conversationnelle, pourtant déterminante pour l'acceptabilité d'un robot en interaction sociale (accueil, guidage, service client). Les auteurs pointent un problème technique précis, "l'éclipse modale", où les modèles génératifs ignorent le signal audio et se contentent de prolonger l'inertie cinématique du mouvement précédent, produisant des gestes désynchronisés de la parole. Le filtre MPC vise à combler l'écart classique entre simulation et réel sur un point sensible : un humanoïde qui gesticule près d'un humain sans garantie anticollision est difficilement déployable. Ces résultats restent néanmoins issus d'un cadre évalué sur une seule plateforme, sans déploiement commercial annoncé : une preuve de concept méthodologique, pas un produit prêt à l'emploi. RoboGesture s'inscrit dans la vague plus large des modèles vision-langage-action qui cherchent à doter les humanoïdes d'un comportement naturel, aux côtés d'initiatives comme GR00T N2 de Nvidia, Helix de Figure AI ou Pi-0 de Physical Intelligence, mais avec un focus rare sur la gestuelle sociale plutôt que la manipulation ou la locomotion. Le choix du Unitree G1, plateforme chinoise relativement accessible et très utilisée par les laboratoires de recherche, souligne la nature académique du projet plus qu'une orientation produit immédiate. L'article ne mentionne aucune date de mise en œuvre industrielle ni partenariat commercial ; les prochaines étapes évoquées par les chercheurs portent sur l'élargissement du jeu de données et la validation en interaction réelle prolongée avec des utilisateurs humains.

RecherchePaper

1 source

2arXiv cs.RO

ECHO-G : génération de mouvements de robot humanoïde incarné synchronisés à la parole

Des chercheurs publient sur arXiv ECHO-G, un cadre de génération de mouvements corporels complets synchronisés à la parole pour robots humanoïdes. Le système repose sur un Speech-Grounded Diffusion Transformer (SGDiT), conditionné à la fois par l'audio de la parole et par des transcriptions horodatées. Il associe des caractéristiques acoustiques alignées image par image à un contexte linguistique au niveau du token, en préservant leurs granularités distinctes. L'entraînement utilise le rectified flow matching, et le modèle apprend les relations un-à-plusieurs entre un énoncé et les mouvements possibles, directement dans l'espace du robot (articulations du humanoïde) plutôt que dans celui du corps humain. Les auteurs introduisent aussi un jeu de données audio-texte-robot dérivé de BEAT2, ainsi qu'un benchmark couvrant trois axes : les caractéristiques de la gestuelle co-verbale, la qualité du mouvement robotique et l'efficacité à l'exécution. Une démonstration sur un humanoïde physique est présentée. Le code d'entraînement, d'inférence et d'évaluation, ainsi que les données, sont publiés via la page du projet. L'article ne précise ni le robot utilisé, ni le nombre de degrés de liberté, ni les temps d'inférence chiffrés dans son résumé. L'intérêt tient à la méthode. Jusqu'ici, la gestuelle des robots parlants passe souvent par un pipeline en deux temps : un modèle génère un mouvement humain (squelette ou corps paramétrique SMPL), puis un retargeting l'adapte à la cinématique du robot. Cette étape introduit des pertes : limites articulaires, contraintes d'équilibre, différences de proportions. Selon les auteurs, la génération directe en espace robot l'emporte sur les pipelines de génération humaine plus retargeting évalués. Ce résultat vaut pour les baselines testées, pas pour l'ensemble de l'état de l'art. L'ablation montre aussi que combiner audio (prosodie, rythme) et texte (contenu sémantique) améliore les résultats par rapport à chaque modalité seule, ce qui plaide pour des gestes à la fois bien rythmés et pertinents. Pour les intégrateurs de robots d'accueil, de service ou de démonstration, cela ouvre la voie à une expressivité moins scriptée. Les limites sont claires : la validation matérielle semble se limiter à une démonstration, l'évaluation subjective repose sur une étude de notation vidéo, et aucune donnée de déploiement réel n'est fournie. ECHO-G s'inscrit dans la lignée des travaux de génération de gestes co-verbaux sur le jeu de données BEAT et sa version BEAT2, conçus pour des avatars humains et non pour des robots. Le passage à l'espace robot rejoint une tendance plus large, celle des modèles génératifs entraînés directement sur l'embodiment cible, déjà visible dans les politiques VLA et les approches par flow matching. Le jeu de données dérivé et le benchmark pourraient servir de référence commune, à condition que d'autres équipes les adoptent et les testent sur des morphologies différentes. Les prochaines étapes à surveiller sont la généralisation à d'autres humanoïdes, la mesure de la latence en conditions réelles et l'intégration avec des systèmes de dialogue en temps réel.

RecherchePaper

1 source

3arXiv cs.RO

LEAP : optimisation de trajectoire par lagrangien augmenté et flot de gradient pour robots soumis à des contraintes de contact

LEAP, un solveur de contrôle optimal publié sur arXiv (2610.20936v1), s'attaque à la génération de mouvements dynamiquement réalisables pour robots à jambes et manipulateurs en contact. Le problème est de grande taille, non linéaire et non convexe. Les forces de contact doivent respecter les cônes de friction sur toute la trajectoire, et pas seulement à quelques instants isolés. LEAP discrétise le problème par collocation pseudospectrale. Au lieu d'une résolution de type Newton ou SQP, il intègre un flot de gradient primal-dual d'un lagrangien augmenté de Powell-Hestenes-Rockafellar. Ce flot étant raide, les auteurs ont conçu un intégrateur linéairement implicite avec une métrique de Gauss-Newton, un terme de momentum et un contrôleur de pas fondé sur une fonction de mérite, qui garantit la décroissance monotone du lagrangien augmenté. Les tests portent sur cinq plateformes, des sauteurs planaires aux humanoïdes à 32 articulations. LEAP est la seule méthode à résoudre tous les problèmes testés. Il est nettement plus rapide que Crocoddyl et Aligator sur plusieurs benchmarks, et produit des références suivables avec des budgets de calcul plus faibles. Les trajectoires sont validées dans un simulateur haute fidélité et sur matériel. Le résumé ne chiffre toutefois ni les accélérations ni les budgets de calcul. L'enjeu est très pratique pour les équipes qui développent des humanoïdes et des quadrupèdes. Les solveurs actuels dépendent fortement de l'initialisation et passent mal à l'échelle quand le nombre d'articulations augmente. Pour cette raison, la planification de mouvements avec contacts reste souvent un travail d'ingénierie fin, qui exige un bon point de départ et des réglages manuels. Si la robustesse annoncée se confirme, la génération de références pourrait être moins fragile et moins coûteuse en calcul. Ce serait utile pour les pipelines hybrides, où des trajectoires optimisées servent de références à l'apprentissage par renforcement ou de données d'entraînement aux politiques de type VLA. Il faut cependant nuancer. Il s'agit d'un preprint non évalué par les pairs, la couverture de cinq plateformes reste limitée, et le « seul à tout résoudre » dépend du choix des benchmarks. Le code n'est pas disponible. Les auteurs ne le publieront qu'après acceptation définitive, ce qui empêche pour l'instant toute reproduction indépendante. Ce travail s'inscrit dans la lignée des méthodes de programmation dynamique différentielle et de contrôle optimal qui ont structuré la locomotion ces dernières années. Crocoddyl, issu de l'écosystème LAAS-CNRS et Pinocchio en France, et Aligator, développé par l'équipe Willow d'Inria, sont les références open source auxquelles LEAP se compare. Les deux outils sont donc d'origine européenne, ce qui donne à ce benchmark un intérêt direct pour la communauté robotique française. Face à eux, LEAP propose de remplacer les solveurs de second ordre par un flot de gradient stabilisé, mieux adapté aux grandes dimensions. La suite dépendra de la publication du code, de la validation sur d'autres morphologies et de tâches de manipulation, et de la preuve que les temps de calcul permettent une utilisation en boucle de commande prédictive en temps réel. Aucune échéance n'est annoncée à ce stade.

UELEAP se compare à Crocoddyl (LAAS-CNRS) et Aligator (Inria), deux solveurs open source d'origine française, ce qui intéresse directement la communauté française du contrôle optimal.

RecherchePaper

1 source

4arXiv cs.RO

EmoPose : génération de gestes sensibles aux émotions guidée par un modèle vision-langage pour robots humanoïdes

Un article publié sur arXiv (2609.23414v1) présente EmoPose, un système associant un modèle vision-langage (VLM) et un contrôleur robotique déterministe pour générer des gestes porteurs d'émotion chez les robots humanoïdes : à partir d'un texte, d'un historique de dialogue et d'un contexte visuel optionnel, le VLM choisit un plan de gestes ordonné (classe communicative, variante, intensité, point d'ancrage vocal), puisé dans une bibliothèque de mouvements propre au robot qui fournit des cibles articulaires à 14 degrés de liberté (DoF). L'outil Pose Studio génère automatiquement les trajectoires, les prévisualise sous le simulateur MuJoCo et synchronise les nouvelles entrées avec le guide du VLM, tandis que des modules déterministes côté robot valident les plans, construisent les trajectoires et gèrent l'ordonnancement, la mise en file et l'interruption des gestes. Sur le banc d'essai EmoPose-Bench, une planification structurée avec GPT-5.5 atteint 98,25 % (± 0,52) sur le niveau facile et 76,50 % (± 0,54) au global, un score supérieur à un prompting à étiquette directe avec le même modèle. Le système exécute la suite nominale sous MuJoCo et reproduit les 29 variantes de la bibliothèque sur un robot Unitree G1 physique, démontré lors d'une visite de laboratoire en quatre étapes mêlant narration expressive avec interruption, dialogue ancré sur la caméra et navigation. Cette architecture répond à un problème concret pour les intégrateurs : confier le contrôle articulaire brut à un modèle de fondation reste imprévisible, tandis qu'un robot purement scripté manque de flexibilité sociale. En cantonnant le VLM à un rôle de sélection sémantique dans une bibliothèque de mouvements pré-validée et en laissant le contrôle bas niveau à des modules déterministes, EmoPose permet d'étendre le répertoire expressif à de nouveaux contextes sociaux sans modifier l'interface de contrôle ni recertifier la sécurité du mouvement. C'est un argument dans le débat sur le passage à l'échelle des modèles vision-langage-action (VLA) : plutôt que de démontrer qu'un VLA génère directement des trajectoires fiables de bout en bout, les auteurs montrent qu'un VLM peut piloter une bibliothèque de gestes pré-validés, approche plus proche de ce qu'un intégrateur industriel peut auditer et déployer en sécurité. Les chiffres de précision restent néanmoins issus d'un benchmark maison et d'une démonstration en laboratoire contrôlé, pas d'un déploiement en conditions réelles à grande échelle. EmoPose s'inscrit dans la vague de travaux cherchant à combler l'écart entre les modèles vision-langage-action généralistes, tels Pi-0 ou GR00T N2, et le besoin d'un contrôle fiable et spécifique à chaque corps physique ; contrairement à ces approches de génération de mouvement de bout en bout, EmoPose sépare explicitement raisonnement social et exécution motrice. Le choix du Unitree G1, plateforme humanoïde largement utilisée par les laboratoires de recherche pour son coût accessible, souligne la nature académique de la démonstration plutôt qu'un déploiement commercial. Les auteurs ne mentionnent ni partenaire industriel ni calendrier de commercialisation : à ce stade, la publication reste une validation de méthode sur banc d'essai et lors d'une visite de laboratoire, sans pilote client ni déploiement annoncé en environnement réel.

RecherchePaper

1 source

WaveSync : optimisation par front d'onde contraint pour les gestes co-verbaux synchronisés des robots humanoïdes

À lire aussi

RoboGesture : génération en temps réel de gestes de parole synchronisés sémantiquement pour l'interaction humanoïde

ECHO-G : génération de mouvements de robot humanoïde incarné synchronisés à la parole

LEAP : optimisation de trajectoire par lagrangien augmenté et flot de gradient pour robots soumis à des contraintes de contact

EmoPose : génération de gestes sensibles aux émotions guidée par un modèle vision-langage pour robots humanoïdes