Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
EMODY Flow : génération de mouvements corporels complets pilotée par l'audio et sensible aux émotions
RecherchearXiv cs.RO 

EMODY Flow : génération de mouvements corporels complets pilotée par l'audio et sensible aux émotions

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont présenté EMODY Flow, un framework de flow-matching léger d'environ 35 millions de paramètres capable de générer gestes corporels et expressions faciales synchronisés avec la parole et l'émotion, dans un article publié sur arXiv le 16 septembre 2026 (arXiv:2609.16011v1). Le système se greffe sur un modèle Qwen-3 Omni figé et réutilise ses codecs audio internes Mimi, conçus à l'origine par le laboratoire français Kyutai, pour piloter deux générateurs DiT parallèles : l'un produit une pose corporelle au format SMPL-X, l'autre une expression faciale au format FLAME. Sur le benchmark de gestes BEAT2, le système revendique un nouvel état de l'art avec un FGD de 0,302, une corrélation au rythme de 0,853 et une diversité de 24,62, soit des gains de 26 %, 5 % et 62 % sur les meilleurs résultats antérieurs, et transfère en zero-shot vers l'animation faciale du jeu TFHP sans réglage spécifique au domaine.

L'apport principal tient au diagnostic d'un biais connu des générateurs conditionnels : recevant à la fois un embedding audio riche et une simple étiquette d'émotion discrète, un modèle de flow-matching ignore cette dernière et produit un mouvement quasi identique quelle que soit l'émotion demandée. Un classifieur d'émotion auxiliaire, actif seulement pendant l'entraînement, force le mouvement généré à rester reconnaissable émotionnellement, ce qui corrige ce défaut. Pour les concepteurs d'agents conversationnels incarnés, d'avatars et de robots humanoïdes, qui doivent exprimer un état émotionnel crédible en plus de synchroniser gestes et parole, cette méthode dépasse le seul cas testé. Il s'agit toutefois d'un résultat de recherche validé sur benchmarks, pas d'un produit livré ni d'un déploiement réel en conditions industrielles.

Le travail part d'un constat plus large : les grands modèles de langage omni-modaux comme Qwen-3 Omni, développé par Alibaba, excellent en compréhension multimodale mais ne produisent que du texte, laissant un vide dans la génération de réponses incarnées pour les agents conversationnels. EMODY Flow s'appuie sur des formats de référence du secteur, SMPL-X pour le corps et FLAME pour le visage, ainsi que sur le benchmark BEAT2 utilisé pour comparer les méthodes de génération de gestes co-verbaux. L'article ne mentionne aucun partenaire industriel ni calendrier de déploiement : il s'agit d'une contribution académique destinée à être reprise par la communauté recherche en animation et en agents incarnés.

Impact France/UE

Le codec audio Mimi, développé par le laboratoire français Kyutai, est réutilisé comme composant clé du système, illustrant le rayonnement international d'une technologie open-source française.

Dans nos dossiers

arXiv cs.RO

À lire aussi

EmoPose : génération de gestes sensibles aux émotions guidée par un modèle vision-langage pour robots humanoïdes
1arXiv cs.RO 

EmoPose : génération de gestes sensibles aux émotions guidée par un modèle vision-langage pour robots humanoïdes

Un article publié sur arXiv (2609.23414v1) présente EmoPose, un système associant un modèle vision-langage (VLM) et un contrôleur robotique déterministe pour générer des gestes porteurs d'émotion chez les robots humanoïdes : à partir d'un texte, d'un historique de dialogue et d'un contexte visuel optionnel, le VLM choisit un plan de gestes ordonné (classe communicative, variante, intensité, point d'ancrage vocal), puisé dans une bibliothèque de mouvements propre au robot qui fournit des cibles articulaires à 14 degrés de liberté (DoF). L'outil Pose Studio génère automatiquement les trajectoires, les prévisualise sous le simulateur MuJoCo et synchronise les nouvelles entrées avec le guide du VLM, tandis que des modules déterministes côté robot valident les plans, construisent les trajectoires et gèrent l'ordonnancement, la mise en file et l'interruption des gestes. Sur le banc d'essai EmoPose-Bench, une planification structurée avec GPT-5.5 atteint 98,25 % (± 0,52) sur le niveau facile et 76,50 % (± 0,54) au global, un score supérieur à un prompting à étiquette directe avec le même modèle. Le système exécute la suite nominale sous MuJoCo et reproduit les 29 variantes de la bibliothèque sur un robot Unitree G1 physique, démontré lors d'une visite de laboratoire en quatre étapes mêlant narration expressive avec interruption, dialogue ancré sur la caméra et navigation. Cette architecture répond à un problème concret pour les intégrateurs : confier le contrôle articulaire brut à un modèle de fondation reste imprévisible, tandis qu'un robot purement scripté manque de flexibilité sociale. En cantonnant le VLM à un rôle de sélection sémantique dans une bibliothèque de mouvements pré-validée et en laissant le contrôle bas niveau à des modules déterministes, EmoPose permet d'étendre le répertoire expressif à de nouveaux contextes sociaux sans modifier l'interface de contrôle ni recertifier la sécurité du mouvement. C'est un argument dans le débat sur le passage à l'échelle des modèles vision-langage-action (VLA) : plutôt que de démontrer qu'un VLA génère directement des trajectoires fiables de bout en bout, les auteurs montrent qu'un VLM peut piloter une bibliothèque de gestes pré-validés, approche plus proche de ce qu'un intégrateur industriel peut auditer et déployer en sécurité. Les chiffres de précision restent néanmoins issus d'un benchmark maison et d'une démonstration en laboratoire contrôlé, pas d'un déploiement en conditions réelles à grande échelle. EmoPose s'inscrit dans la vague de travaux cherchant à combler l'écart entre les modèles vision-langage-action généralistes, tels Pi-0 ou GR00T N2, et le besoin d'un contrôle fiable et spécifique à chaque corps physique ; contrairement à ces approches de génération de mouvement de bout en bout, EmoPose sépare explicitement raisonnement social et exécution motrice. Le choix du Unitree G1, plateforme humanoïde largement utilisée par les laboratoires de recherche pour son coût accessible, souligne la nature académique de la démonstration plutôt qu'un déploiement commercial. Les auteurs ne mentionnent ni partenaire industriel ni calendrier de commercialisation : à ce stade, la publication reste une validation de méthode sur banc d'essai et lors d'une visite de laboratoire, sans pilote client ni déploiement annoncé en environnement réel.

RecherchePaper
1 source
CaSCo : planification de mouvement sensible aux cascades et aux collisions souples
2arXiv cs.RO 

CaSCo : planification de mouvement sensible aux cascades et aux collisions souples

Publié sur arXiv le 17 septembre 2026 (référence 2609.18910), le framework CaSCo (Cascade-Aware Soft-Collision motion planning) remplace la contrainte binaire de collision par un risque sémantique gradué : un modèle vision-langage ou de langage note chaque objet de la scène, distinguant un carton d'un verre, d'un ordinateur portable ou d'un objet instable, pendant qu'un simulateur physique prédit les collisions secondaires en cascade quand un contact déplace un objet qui en heurte un autre. Le système cherche le chemin minimisant le risque sémantique total des objets touchés, via un algorithme de recherche de graphe optimal à heuristique admissible et consistante, doté de mécanismes de cache et d'élagage pour rester efficace en scène encombrée. Il a été testé en environnements de manipulation encombrés et validé sur robot réel, sur les critères de risque sémantique, de raisonnement en cascade et d'efficacité de planification. L'approche cible un angle mort classique de la planification de trajectoire : un chemin géométriquement "sans collision" ignore que toucher un carton ou faire tomber un verre n'ont pas les mêmes conséquences, et qu'un contact initial peut déclencher une réaction en chaîne sur les objets voisins. En intégrant le raisonnement sémantique d'un VLM ou LLM directement dans la boucle de planification plutôt qu'en simple pré-traitement de perception, CaSCo réduit l'écart entre démonstrations de manipulation en environnement dégagé et fonctionnement réel en entrepôt, foyer ou bureau, où le contact accidentel est parfois inévitable. Pour les intégrateurs de robots manipulateurs, cela ouvre une voie vers des planificateurs tolérants au contact sans sacrifier la sécurité, en modélisant explicitement les effets domino plutôt qu'en les ignorant. CaSCo s'inscrit dans une tendance plus large de la recherche robotique consistant à greffer des modèles vision-langage comme modules de raisonnement sémantique sur des piles de planification et de contrôle classiques, plutôt qu'à tout confier à un système end-to-end. Le papier ne mentionne ni affiliation industrielle ni partenaire de déploiement : il s'agit d'une contribution de recherche en préprint, évaluée en laboratoire sur bras manipulateur, et non d'un produit commercialisé. Aucun calendrier de suite n'est communiqué, mais la validation annoncée sur robot réel laisse présager une publication du code et des données expérimentales à l'appui des résultats.

RecherchePaper
1 source
iGPC : priors de mouvement génératifs pour l'interaction humanoïde sensible aux objets
3arXiv cs.RO 

iGPC : priors de mouvement génératifs pour l'interaction humanoïde sensible aux objets

Des chercheurs proposent iGPC, un cadre qui étend le Generative Pretrained Controller (GPC), un contrôleur humanoïde préentraîné sur de larges corpus de mouvements humains, à l'interaction corps entier avec des objets. Le travail, publié sur arXiv (2610.08120v1), procède en deux étapes. D'abord, GPC est adapté en « experts d'interaction » conditionnés par des indices d'affordance de la scène et par des informations d'état privilégiées (accessibles en simulation, mais pas sur un robot réel). Ces experts conservent le prior de mouvement humain tout en apprenant des comportements de contact propres à chaque tâche : atteindre un objet, s'agripper à un support de l'environnement pour se stabiliser, pousser un objet mobile. Ensuite, un « étudiant » piloté par la perception reprend la politique GPC préentraînée et distille les compétences des experts à partir des seules observations de capteurs embarqués. Deux objectifs d'entraînement complémentaires comblent l'écart entre observations privilégiées et signaux sensoriels. Les auteurs annoncent des résultats concluants sur plusieurs tâches corps entier. Le résumé ne donne ni plateforme matérielle, ni taux de réussite, ni nombre de degrés de liberté, ni validation chiffrée en conditions réelles. L'enjeu est le passage du mouvement naturel à l'interaction physique guidée par la perception, point de blocage récurrent pour les humanoïdes. Les priors issus de données humaines donnent des mouvements fluides et variés, mais ils sont rarement exploités pour des contacts riches avec l'environnement, où la perception bruitée et l'absence d'information privilégiée fragilisent les politiques. Si les résultats tiennent, ils plaident pour un modèle de fond de mouvement réutilisable, adapté ensuite à des tâches de manipulation et de stabilisation, plutôt qu'une politique entraînée de zéro pour chaque scénario. Pour un intégrateur, la capacité à s'appuyer sur un support ou à pousser une charge sans cartographie parfaite de la scène serait pertinente en logistique ou en maintenance. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par des pairs, sans chiffres publics dans le résumé. Il ne permet donc pas d'évaluer l'écart entre démonstration et fiabilité en production. Ce travail s'inscrit dans la lignée des approches de distillation enseignant-étudiant, devenues standard pour le transfert simulation-réel en locomotion et en contrôle corps entier. Il prolonge GPC, proposé récemment pour le contrôle humanoïde général à partir de mouvements humains à grande échelle. Il rejoint aussi les efforts sur les politiques généralistes corps entier des acteurs industriels et académiques, comme GR00T chez NVIDIA, sans rapport de performance direct démontré ici. La suite logique serait une validation sur un robot physique, avec des métriques de robustesse et des comparaisons à des méthodes de référence. Aucune échéance de déploiement ni partenaire industriel n'est mentionné à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Génération d'actions robotiques continues et cohérentes par correspondance de flux sensible aux fréquences
4arXiv cs.RO 

Génération d'actions robotiques continues et cohérentes par correspondance de flux sensible aux fréquences

Une équipe de recherche propose FAFM (Frequency-Aware Flow Matching), une méthode de génération d'actions robotiques présentée en préprint arXiv (2606.20135, juin 2026), qui reformule le problème du flow matching pour la manipulation robotique dans le domaine fréquentiel. Le principe : plutôt que de prédire directement des séquences d'actions discrètes (des "chunks"), FAFM applique une transformée en cosinus discrète (DCT) sur ces séquences pour les convertir en coefficients fréquentiels, effectue le flow matching sur ces coefficients, puis reconstruit des actions continues via expansion en base cosinus. Pour garantir la cohérence temporelle, la méthode ajoute une contrainte de type Sobolev sur la dérivée temporelle du premier ordre, ce qui pénalise les changements brusques et atténue les erreurs hautes fréquences. L'approche s'applique sans paramètres réseau supplémentaires, aussi bien aux politiques de flow matching autonomes qu'aux modèles vision-langage-action (VLA). Les résultats sont validés sur les benchmarks LapGym, LIBERO et évitement d'obstacles, ainsi qu'en déploiement réel sur un bras Franka. L'intérêt industriel est direct : la fragmentation des fréquences de contrôle est un problème concret lors de l'agrégation de données de démonstration provenant de robots différents (certains à 10 Hz, d'autres à 50 Hz), et les méthodes actuelles de diffusion policy ou de flow matching standard y sont explicitement vulnérables. Les actions temporellement incohérentes qui en résultent dégradent la stabilité du contrôle en boucle fermée, un facteur bloquant pour le déploiement en production. Le fait que FAFM améliore simultanément le taux de succès, la fluidité du mouvement, la robustesse aux biais mécaniques et la vitesse de convergence sans modifier l'architecture existante est une proposition de valeur claire pour les intégrateurs : pas de refonte du pipeline, pas de surcoût computationnel. La compatibilité avec les VLA est également notable, car ces modèles dominent les annonces récentes (pi-0 de Physical Intelligence, GR00T N2 de NVIDIA) et souffrent précisément de ce type d'artefacts temporels à l'inférence. Le flow matching s'est imposé ces dix-huit derniers mois comme alternative crédible à la diffusion policy (Chi et al., 2023, Columbia), avec des temps d'inférence plus courts et une meilleure expressivité multimodale. Les travaux récents de Physical Intelligence (pi-0, pi-0.5) et de Figure AI ont largement adopté ce paradigme pour leurs politiques générales. FAFM s'inscrit dans une tendance de raffinement de ces fondations plutôt que de rupture : on optimise la stabilité et la généralisation inter-fréquences, deux verrous identifiés lors des premiers déploiements industriels à grande échelle. La validation sur Franka reste modeste en termes de diversité de tâches, et le code est disponible sous revue anonyme, ce qui signifie que la méthode n'est pas encore auditée par la communauté. Les prochaines étapes naturelles seraient une validation sur des plateformes humanoïdes multi-articulées et sur des datasets hétérogènes à grande échelle, là où la question des fréquences mixtes est la plus aiguë.

RecherchePaper
1 source