RecherchearXiv cs.RO 1 octobre 2026

ECHO-G : génération de mouvements de robot humanoïde incarné synchronisés à la parole

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv ECHO-G, un cadre de génération de mouvements corporels complets synchronisés à la parole pour robots humanoïdes. Le système repose sur un Speech-Grounded Diffusion Transformer (SGDiT), conditionné à la fois par l'audio de la parole et par des transcriptions horodatées. Il associe des caractéristiques acoustiques alignées image par image à un contexte linguistique au niveau du token, en préservant leurs granularités distinctes. L'entraînement utilise le rectified flow matching, et le modèle apprend les relations un-à-plusieurs entre un énoncé et les mouvements possibles, directement dans l'espace du robot (articulations du humanoïde) plutôt que dans celui du corps humain. Les auteurs introduisent aussi un jeu de données audio-texte-robot dérivé de BEAT2, ainsi qu'un benchmark couvrant trois axes : les caractéristiques de la gestuelle co-verbale, la qualité du mouvement robotique et l'efficacité à l'exécution. Une démonstration sur un humanoïde physique est présentée. Le code d'entraînement, d'inférence et d'évaluation, ainsi que les données, sont publiés via la page du projet. L'article ne précise ni le robot utilisé, ni le nombre de degrés de liberté, ni les temps d'inférence chiffrés dans son résumé.

L'intérêt tient à la méthode. Jusqu'ici, la gestuelle des robots parlants passe souvent par un pipeline en deux temps : un modèle génère un mouvement humain (squelette ou corps paramétrique SMPL), puis un retargeting l'adapte à la cinématique du robot. Cette étape introduit des pertes : limites articulaires, contraintes d'équilibre, différences de proportions. Selon les auteurs, la génération directe en espace robot l'emporte sur les pipelines de génération humaine plus retargeting évalués. Ce résultat vaut pour les baselines testées, pas pour l'ensemble de l'état de l'art. L'ablation montre aussi que combiner audio (prosodie, rythme) et texte (contenu sémantique) améliore les résultats par rapport à chaque modalité seule, ce qui plaide pour des gestes à la fois bien rythmés et pertinents. Pour les intégrateurs de robots d'accueil, de service ou de démonstration, cela ouvre la voie à une expressivité moins scriptée. Les limites sont claires : la validation matérielle semble se limiter à une démonstration, l'évaluation subjective repose sur une étude de notation vidéo, et aucune donnée de déploiement réel n'est fournie.

ECHO-G s'inscrit dans la lignée des travaux de génération de gestes co-verbaux sur le jeu de données BEAT et sa version BEAT2, conçus pour des avatars humains et non pour des robots. Le passage à l'espace robot rejoint une tendance plus large, celle des modèles génératifs entraînés directement sur l'embodiment cible, déjà visible dans les politiques VLA et les approches par flow matching. Le jeu de données dérivé et le benchmark pourraient servir de référence commune, à condition que d'autres équipes les adoptent et les testent sur des morphologies différentes. Les prochaines étapes à surveiller sont la généralisation à d'autres humanoïdes, la mesure de la latence en conditions réelles et l'intégration avec des systèmes de dialogue en temps réel.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1Hackaday Robots Hacks

Le Hexa-Bouncer est peut-être l'objet le plus suramélioré que vous verrez cette semaine

Le projet « hexa-bouncer » de l'ingénieur-bricoleur T-Kuhn (prénom Tobias) est une plateforme de Stewart poussée à l'extrême, conçue pour faire rebondir une balle de ping-pong sur une raquette. Six moteurs pas à pas, chacun couplé à un réducteur planétaire, actionnent un bras. Des liaisons mécaniques permettent de piloter la raquette en translation comme en rotation sur tous les axes, soit six degrés de liberté. Un microcontrôleur Teensy 4.0 coordonne les moteurs. Les consignes viennent d'un PC doté d'un GPU, sur lequel tourne une application Unity (publiée sur GitHub). Deux caméras suivent la balle en 3D et l'application calcule la cinématique inverse. La structure est surtout en aluminium usiné sur la CNC de l'auteur. Chaque bras demande 27 pièces usinées, et l'ensemble dépasse 300 pièces avec la base. Ce projet n'a pas d'enjeu commercial, mais il illustre bien une boucle complète de manipulation dynamique. Une perception stéréo rapide, un calcul de cinématique inverse et un actionnement à six axes doivent tenir ensemble pour intercepter un objet léger en vol. Pour un ingénieur ou un intégrateur, c'est une démonstration de ce qu'un atelier individuel peut atteindre avec des composants accessibles (moteurs pas à pas, microcontrôleur grand public, moteur de jeu pour le calcul). Le projet s'accompagne d'un blog et d'une vidéo détaillant la cinématique. L'article source ne fournit en revanche ni temps de cycle, ni latence, ni taux de réussite. On ne peut donc pas juger la robustesse du système au-delà de la démonstration filmée, dont on ignore si elle a été sélectionnée parmi plusieurs essais. Cette réalisation prolonge un autre projet du même auteur, l'« octo-bounce », dont le flux de vision par ordinateur pour le suivi de balle a été mis au point là-bas puis réutilisé ici. Les hexapodes de ce type sont d'ordinaire montés tête en bas, en configuration de plateforme suspendue. Ici, la plateforme est posée sur sa base, ce qui est le montage classique d'une Stewart. Le magazine rappelle aussi qu'un hexapode métallique marcheur capable de porter un humain a déjà été présenté récemment, comme exemple d'une autre mécanique à six jambes. Aucune suite commerciale ni calendrier n'est annoncé : il s'agit d'un projet de passionné, dont le code Unity est ouvert et peut servir de base à d'autres travaux sur la poursuite d'objets rapides.

RecherchePaper

1 source

2Pandaily

WorldArena 2.0 à l'IROS 2026 : Visincept, Zhongguancun Academy et Xiaomi remportent ses trois pistes

WorldArena 2.0, le benchmark de modèles du monde associé à la conférence IROS 2026, a publié ses classements finaux le 16 septembre. Conçu par une équipe de l'université Tsinghua avec des universités chinoises et étrangères, il étend la première édition de la vision au visuo-tactile, des tâches hors ligne à l'apprentissage par renforcement en ligne, et de la simulation aux robots réels. Trois pistes classées indépendamment se partagent une dotation totale de 7 000 dollars. La piste 1 évalue la prédiction vidéo avec 15 métriques sur 70 tâches, dont 50 scènes en distribution (tables blanches) et 20 hors distribution (tables colorées ou texturées). Sur 81 modèles classés, WorldIncept de Visincept l'emporte avec 72,33, devant BWM-Turbo, de l'équipe d'intelligence spatiale de Tongji, à 71,49, soit 0,84 point d'écart. WorldIncept domine sur la physique, la précision 3D et l'alignement sémantique, BWM-Turbo sur la cohérence du fond et la similarité JEPA. La piste 2, nouvelle, utilise un modèle du monde comme environnement d'apprentissage par renforcement en ligne sur une tâche d'ajustement de bouteille de RoboTwin 2.0, puis teste la politique entraînée en simulation. MW2, de Zhongguancun Academy, gagne avec 72,93 sur 47 modèles, devant TTWM (0,53 point d'écart), version de compétition d'un modèle du monde causal conditionné par objectif, issu d'une autre startup centrée sur JEPA. Son équipe affirme que l'entraînement dans son modèle a fait passer le taux de succès d'une politique pi0.5 de 55,46 % à 72,40 %. La piste 3, également nouvelle, s'exécute sur de vrais robots bimanuels AgileX et Franka Panda, avec des tâches visuo-tactiles (saisir des chips, éplucher un concombre, insérer une prise) et visuelles seules (essuyer une table, verser de l'eau, plier du linge). ViTacX, de l'équipe MiRobot de Xiaomi, gagne au général avec 76,64, grâce au sous-classement visuel seul (85,00, dont trois tâches à score parfait). En visuo-tactile, il n'est que troisième avec 66,67, tandis qu'OmniFlow de ShanghaiTech est deuxième dans les deux sous-classements. L'intérêt tient moins aux vainqueurs qu'à la dispersion des résultats : aucune approche ne domine l'ensemble. Les organisateurs précisent que la participation était facultative par piste, donc aucun modèle n'a été démontré en tête simultanément en génération vidéo, entraînement de politiques et manipulation réelle. Pour un intégrateur ou un décideur, cela rappelle qu'un bon score de prédiction vidéo ne garantit pas l'utilité d'un modèle du monde comme simulateur d'entraînement, ni sa robustesse sur matériel réel. Les écarts très serrés (0,84 et 0,53 point) invitent aussi à la prudence : ils relèvent possiblement du bruit de mesure plus que d'une supériorité nette. Le gain de 55,46 % à 72,40 % sur pi0.5 est un chiffre déclaré par l'équipe classée deuxième, sans validation indépendante précisée, et il porte sur une seule tâche de simulation. Enfin, la victoire de ViTacX, portée par la vision seule et non par le toucher, suggère que la modalité tactile reste en retrait de la maturité des modèles visuels. Ce classement s'inscrit dans la montée en puissance des modèles du monde en robotique, où les approches de type JEPA, revendiquées explicitement par Visincept et par la startup derrière TTWM, rivalisent avec d'autres architectures. La scène est dominée par des acteurs chinois, dont Xiaomi, qui a par ailleurs ouvert le code de son modèle du monde incarné Robotics-U0 et de sa pile d'entraînement, et Muka Robotics, qui promeut son modèle LJM sur WorldArena. Aucun acteur européen n'apparaît parmi les lauréats. La prochaine étape logique serait de voir des équipes concourir sur les trois pistes à la fois, ce qui seul permettrait de juger de la polyvalence réelle des modèles du monde.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

DeFM : apprentissage de représentations fondation à partir de la profondeur pour la robotique

DeFM (Depth Foundation Model) est un modèle de fondation auto-supervisé entraîné exclusivement sur des images de profondeur, présenté sur arXiv (v2 de l'article 2601.18923) avec une page projet et la publication de tous les modèles pré-entraînés. Il s'appuie sur un objectif d'auto-distillation de type DINO, appliqué à un jeu de données curé de 60 millions d'images de profondeur. Les auteurs ajoutent une stratégie de normalisation d'entrée inédite, conçue pour conserver la notion d'échelle métrique à travers différentes distances. Le modèle principal est aussi distillé en versions compactes, destinées aux robots aux ressources de calcul limitées. Il est évalué sur la classification, la segmentation, la navigation, la locomotion et la manipulation, et les auteurs revendiquent des performances à l'état de l'art ainsi qu'une bonne généralisation de la simulation vers le monde réel. Les modèles s'utilisent tels quels, sans réglage fin propre à chaque tâche. L'enjeu est de combler un déséquilibre. Les capteurs de profondeur (caméras stéréo, temps de vol, lidar) équipent une grande partie des robots, et la simulation rapide et fidèle de la profondeur permet déjà d'entraîner des politiques qui passent en conditions réelles avec robustesse. Pourtant, l'apprentissage de représentations pour cette modalité reste très en retard sur le RGB, où les modèles de fondation de type DINO servent de base standard. Si DeFM tient ses promesses, les équipes de locomotion et de navigation pourraient disposer d'un encodeur de profondeur réutilisable, comme elles le font pour le RGB, au lieu de réentraîner un réseau pour chaque tâche et chaque capteur. La déclinaison en petits modèles compte pour l'embarqué. Quelques réserves s'imposent : il s'agit d'un résumé d'article, sans chiffres détaillés dans le texte. Le gain réel face aux encodeurs RGB ou aux modèles de profondeur existants, la robustesse entre capteurs et le coût d'inférence sur matériel embarqué devront être confirmés par les benchmarks complets et par une reproduction indépendante. Ce travail s'inscrit dans la montée en puissance des politiques robotiques entraînées en simulation, notamment pour les robots à pattes et humanoïdes, qui utilisent souvent la profondeur comme entrée principale. Il prolonge la logique des modèles de fondation visuels auto-supervisés, dont DINO est la référence, en l'étendant à une modalité longtemps traitée au cas par cas. La publication des poids ouvre la voie à une adoption rapide par les laboratoires et les intégrateurs, qui pourront tester DeFM comme encodeur de base dans leurs pipelines de navigation ou de préhension. La suite dépendra de la reproduction des résultats par des équipes tierces, de l'intégration dans des politiques de type VLA, et de la capacité du modèle à tenir ses promesses hors des benchmarks, sur des robots déployés.

RecherchePaper

1 source

4arXiv cs.RO

AlphaNIST : des compétences d'assemblage émergent de simples récompenses binaires de réussite

AlphaNIST, un travail publié sur arXiv (2610.13354) en octobre 2026, montre qu'une politique unique, entraînée par apprentissage par renforcement (RL) à partir de zéro en simulation, parvient à résoudre les 20 tâches d'assemblage de la NIST Assembly Task Board #1, avec 98,2 % de succès global à l'entraînement. Aucune démonstration humaine, aucun façonnage de la récompense par la progression (progress shaping), aucune primitive scriptée ni réglage par tâche n'ont été utilisés: la seule supervision est une récompense binaire, accordée quand la tâche est accomplie. Les auteurs entraînent aussi des politiques capables d'assembler dix paires de pièces dans un même épisode, sans ordre imposé, la réussite n'étant récompensée que lorsque les dix paires sont simultanément assemblées. Ils décrivent des comportements émergents: choix d'une prise en anticipation de l'assemblage ultérieur, exploitation de la géométrie environnante pour réorienter une pièce, et séquences du type préparer une pièce, en assembler une autre, puis revenir terminer la première, sans planificateur explicite. L'intérêt tient à ce que le résultat remet en question l'idée selon laquelle l'assemblage de précision exige une forte part de connaissance injectée par l'humain. Jusqu'ici, les progrès sur ce banc d'essai reposaient sur des démonstrations, la décomposition des tâches et des récompenses denses. Montrer qu'une récompense éparse suffit, à condition de disposer de diversité de tâches et d'échelle de calcul, suggère que l'ingénierie de récompense et la collecte de données de téléopération ne sont pas des passages obligés. Pour les intégrateurs, cela laisse entrevoir un déploiement moins coûteux de cellules d'assemblage, puisqu'il suffirait de spécifier le résultat attendu plutôt que le geste. Les réserves sont toutefois nettes: les résultats portent sur la simulation uniquement, le chiffre de 98,2 % est un taux d'entraînement et non une évaluation sur tâches inédites, et rien n'est démontré sur le transfert sim-to-real, qui reste le point dur des tolérances serrées et du contact riche. Les vidéos sont publiées sur le site du projet, sans que l'on sache quelle part des essais elles représentent. Les auteurs se placent explicitement dans la lignée d'AlphaGo puis AlphaGo Zero, où l'apprentissage par renforcement à grande échelle avait découvert des stratégies sans qu'on lui prescrive comment gagner. La NIST Assembly Task Board #1, référence de l'évaluation en manipulation, combine insertions fines de petites pièces à faible jeu et enchaînements longs nécessitant des récupérations sur erreur. Les approches concurrentes s'appuient plutôt sur l'imitation et les modèles vision-langage-action (VLA), qui misent sur les données réelles et la généralisation, là où AlphaNIST parie sur la simulation massive et une supervision minimale. La suite logique serait un test sur matériel réel, avec randomisation de domaine et gestion des erreurs de perception, avant de juger de la portée industrielle de l'approche.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source