$$\omega$-0 : un modèle prédictif latent du monde pour la manipulation locomotrice humanoïde concurrente$

RecherchearXiv cs.RO 7 août 2026

$\omega$-0 : un modèle prédictif latent du monde pour la manipulation locomotrice humanoïde concurrente

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent ω-0, un modèle prédictif world-action conçu pour la loco-manipulation concurrente chez les robots humanoïdes, c'est-à-dire la capacité à se déplacer, ajuster sa posture, garder l'équilibre et manipuler un objet simultanément, comme un geste unique plutôt que deux tâches séparées. À partir d'une instruction en langage naturel, d'une observation visuelle et de l'état proprioceptif du robot, le modèle prédit directement des latents d'action pour tout le corps, compatibles avec le contrôleur. Plutôt que de reconstruire des vidéos futures comme d'autres approches, ω-0 apprend des embeddings compacts d'observations futures, objectif prédictif léger couplé à une génération d'action par diffusion sur le corps entier. Le système accepte des entrées RGB égocentriques, RGB exocentriques et profondeur exocentrique, et s'appuie sur un rejeu de simulation piloté par contrôleur pour convertir des priors de mouvement humains ou publics en latents exécutables par le robot. Les auteurs ont aussi constitué ω-HOME, un jeu de données domestique réel de plus de 40 heures, avec vues multiples synchronisées, mouvements SMPL du corps entier, états robot et latents d'action. Sur 11 tâches ménagères réelles, un seul modèle ω-0 produit des comportements fluides de manipulation en mouvement et surpasse des références en apprentissage par imitation, en VLA, en politiques humanoïdes dédiées et en autres modèles world-action.

Ce travail cible un angle mort du secteur: la plupart des politiques humanoïdes actuelles traitent marche et manipulation comme deux problèmes distincts, ce qui produit des comportements saccadés peu adaptés aux tâches domestiques, où un robot doit par exemple continuer d'avancer tout en attrapant un objet sur une étagère. Les modèles world-action existants restent soit centrés sur le bras, en ignorant la locomotion, soit centrés sur la vidéo, coûteux à entraîner car ils prédisent des images futures complètes. En apprenant des représentations latentes compactes plutôt que des vidéos, ω-0 cherche un compromis: garder la capacité d'anticipation d'un world model sans son coût de calcul. Si le résultat se confirme au-delà des 11 tâches testées, il renforcerait l'hypothèse qu'une architecture VLA à latents diffusés peut unifier locomotion et manipulation à l'échelle, un problème encore largement non résolu pour les humanoïdes commerciaux.

Ce travail s'inscrit dans la vague récente des modèles world-action pour la robotique, où l'enjeu est de donner aux robots une forme d'anticipation visuelle avant d'agir, en exploitant des données humaines pour compenser la rareté des données robot réelles. Le résumé, publié comme preprint arXiv (2608.06375v1), ne précise ni affiliation industrielle ni acteur commercial: il s'agit à ce stade d'une contribution académique, pas d'un produit déployé. Le jeu de données ω-HOME et le code, s'ils sont rendus publics, devront être repris par d'autres équipes pour vérifier la généralisation au-delà des 11 tâches ménagères testées. La suite logique pour ce type de travaux est le passage à l'échelle, sur davantage de tâches, de plateformes et d'environnements, ainsi que la confrontation directe avec les VLA propriétaires déployés par les grands acteurs humanoïdes du secteur.

Dans nos dossiers

World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

Being-M0.7 : un modèle du monde et de l'action latent pour robots humanoïdes

Being-M0.7 est un modèle monde-action latent pour robots humanoïdes, présenté dans un preprint arXiv (2610.11283v1). Il vise la loco-manipulation, c'est-à-dire la coordination de la marche et de la manipulation en anticipant l'évolution de la scène et les mouvements du corps entier. Ses auteurs s'appuient sur un corpus constitué à partir de plus de 10 000 heures de données brutes centrées sur l'humain. Ce corpus mêle trois types de flux: vidéo seule, mouvement seul, et paires vidéo-mouvement. L'entraînement se fait en trois temps. Un pré-entraînement apprend la dynamique visuelle et la structure cinématique du corps entier. Un « mid-training » robot adapte ensuite ce prior aux points de vue et à la dynamique corporelle des robots. Enfin, un post-entraînement d'action greffe un « action expert » qui combine les représentations prédictives du prior figé avec les images courantes et la proprioception, par attention croisée à portes (gated cross-attention), pour produire des commandes corps entier exécutables. Les auteurs annoncent le meilleur taux de succès agrégé parmi les baselines comparées sur le benchmark SIMPLE. Sur des tâches réelles de loco-manipulation avec un Unitree G1, le modèle égale la meilleure baseline sans la dépasser. Le résumé ne donne ni chiffres de succès, ni liste des tâches, ni nombre d'essais. L'intérêt tient à l'attaque d'un goulot d'étranglement connu: les démonstrations robot sont rares et coûteuses, alors que la vidéo et la capture de mouvement humaines abondent. Leur exploitation se heurte à deux obstacles. Beaucoup de jeux de données n'ont qu'une modalité, et le mouvement humain ne se traduit pas directement en actions robot. Prédire conjointement les états visuels latents futurs et le mouvement pousse les représentations visuelles à encoder la cinématique à venir. L'étape intermédiaire robot et l'action expert servent de pont vers l'exécution. Le résultat réel reste nuancé. L'avantage est net en simulation, mais il disparaît sur le matériel: la parité avec la meilleure baseline sur G1 suggère que l'écart simulation-réel n'est pas résolu et que le gain du pré-entraînement sur données humaines reste à démontrer au-delà de benchmarks maîtrisés. Les intégrateurs doivent y voir une piste de recherche prometteuse pour réduire la dépendance à la téléopération, et non une capacité prête pour le déploiement. Il s'agit d'une publication académique, sans produit, sans pilote industriel ni calendrier de commercialisation. Ce travail s'inscrit dans la vague des modèles monde-action et des VLA (vision-langage-action) appliqués aux humanoïdes, où plusieurs acteurs cherchent à exploiter la vidéo humaine à grande échelle. On y trouve des modèles généralistes de type Pi-0, GR00T ou Helix, et des approches qui prédisent le futur visuel pour guider l'action. Le Unitree G1, humanoïde abordable très répandu dans les laboratoires, sert de plateforme de validation commune, ce qui facilite la comparaison entre équipes. La version «0.7» laisse penser à une série de modèles Being, dont les itérations précédentes ne sont pas détaillées ici. Les suites à surveiller sont la publication du code, des poids et des protocoles d'évaluation, ainsi que des tests sur des plateformes plus variées et des tâches plus longues. Une confirmation indépendante sur matériel réel dira si l'avantage observé en simulation se maintient.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

DreamMimic : apprentissage de la loco-manipulation visuomotrice du corps entier via un modèle du monde

Un article publié le 25 août 2026 sur arXiv (référence 2608.22278v1) présente DreamMimic, un framework de recherche pour le contrôle de robots humanoïdes en loco-manipulation à corps entier à partir d'entrées visuelles. La méthode distille une politique "enseignante" disposant d'informations privilégiées (état complet de la simulation) vers une politique "étudiante" qui ne dispose que d'entrées visuelles au moment du déploiement. Plutôt que d'utiliser le modèle du monde de type Dreamer (RSSM, Recurrent State-Space Model) pour de la planification comme c'est l'usage classique, les auteurs le détournent pour apprendre une dynamique latente prédictive servant à la fois d'espace de représentation et de signal de supervision multi-étapes conditionné par l'action. Le système ajoute des têtes de prédiction auxiliaires pour l'état privilégié, le contact, l'état des objets et la récompense, et introduit un mécanisme appelé Performance-Conditioned Guidance (PCG), qui ajuste dynamiquement l'équilibre entre guidage par l'enseignant et exploration autonome. Les expériences ont été menées sur les benchmarks de simulation OMOMO et BEHAVE, deux jeux de données de référence pour le suivi d'interactions humain-objet, sans déploiement sur robot physique ni précision de gabarit, de degrés de liberté ou de charge utile. Pour le secteur de la robotique humanoïde, ce travail s'attaque à un problème central plutôt qu'à une démonstration produit : comment transférer des compétences de manipulation en contact riche, apprises avec des informations privilégiées en simulation, vers des contrôleurs qui ne s'appuient que sur la vision au moment de l'exécution, un enjeu directement lié au fossé entre performances en simulation et robustesse réelle. Les résultats indiqués montrent une amélioration du suivi par rapport à des bases vision-only existantes, suggérant que les modèles du monde peuvent stabiliser la distillation de politiques visuelles dans des tâches de manipulation dynamique. Il s'agit toutefois d'un résultat de simulation, pas d'une validation sur matériel réel. Le travail s'inscrit dans la lignée des modèles du monde façon Dreamer, initialement conçus pour la planification en apprentissage par renforcement, et dans la vague plus large des architectures vision-langage-action (VLA) qui cherchent à faire tenir des comportements complexes à l'échelle, à l'image de Pi-0, GR00T N2 ou Helix. Le code de DreamMimic est publié sur GitHub, et les auteurs mentionnent des tests qualitatifs supplémentaires sur des changements de morphologie et de simulateur, sans annoncer pour l'instant de passage à des essais sur robot physique.

RecherchePaper

1 source

3arXiv cs.RO

UNITAS : un modèle d'action du monde natif 3D pour la manipulation incarnée

UNITAS, un modèle d'action-monde (WAM, world action model) publié sur arXiv par l'équipe derrière le dépôt DexForce, se présente comme le premier à travailler nativement en 3D. Il unifie observations, actions et dynamique de scène dans un repère métrique 3D partagé, avec une représentation commune pour différents robots et pour la main humaine. Les actions des mains et des pinces sont encodées en trajectoires de points 3D (« action flow »). Les déplacements des points de la scène (« scene flow ») sont prédits en conditionnant sur ces trajectoires. Des embeddings positionnels 3D alignés sur le monde ancrent les tokens visuels, avec ou sans entrée de profondeur. Un tokenizer de trajectoires en temps physique encode chaque trajectoire en un seul token, ancré à sa position 3D courante. Avec 1,7 milliard de paramètres, UNITAS affiche la meilleure prédiction de scène conditionnée par l'action sur RoboTwin parmi les méthodes comparées, avec jusqu'à 49 % d'erreur de déplacement en moins que PointWorld. Il atteint aussi 99,8 % de succès sur LIBERO et 85 % en moyenne sur des tâches en conditions réelles. Le code est publié sur GitHub. L'enjeu est un changement de représentation. La plupart des WAM actuels reposent sur des générateurs vidéo pré-entraînés et décrivent l'évolution du monde par des images ou des latents visuels. Or une image est une projection dépendante du point de vue, dont les distances en pixels ne correspondent pas aux distances physiques. En raisonnant directement en espace métrique, UNITAS vise à rapprocher la prédiction de ce que le robot doit réellement mesurer: où va sa pince, de combien l'objet se déplace. La représentation commune humain/robot ouvre aussi la voie à l'exploitation de données de mains humaines pour l'entraînement. Un modèle de 1,7 milliard de paramètres reste compact face aux gros VLA (vision-language-action) et aux modèles vidéo, ce qui compte pour le coût d'inférence embarquée. Les réserves habituelles s'appliquent: LIBERO est proche de la saturation à 99,8 %, donc peu discriminant, et la moyenne de 85 % en réel dépend de tâches, d'un nombre d'essais et d'un matériel que le résumé ne détaille pas. Les comparaisons de scène se limitent aux « méthodes comparées » choisies par les auteurs. Ce travail s'inscrit dans la montée des world models pour la manipulation, après les VLA de type Pi-0 ou GR00T, et des approches fondées sur la génération vidéo. Il se positionne contre ces dernières en s'inspirant de PointWorld, qui prédit déjà des mouvements de points 3D et sert ici de référence. Il s'agit à ce stade d'un préprint (v1) de recherche, sans produit commercial, déploiement industriel ni calendrier annoncé. La suite dépendra de la reproduction des résultats par d'autres équipes grâce au code ouvert, de la robustesse hors des benchmarks simulés et de la capacité du modèle à passer à l'échelle avec davantage de données humaines et multi-embodiments.

RecherchePaper

1 source

4arXiv cs.RO

ULTRA : contrôle multimodal unifié pour la loco-manipulation humanoïde autonome du corps entier

Une équipe de recherche présente ULTRA, un framework unifié pour le contrôle autonome de la loco-manipulation du corps entier chez les humanoïdes, publié en version révisée sur arXiv (2603.03279v2). Le système combine un algorithme de retargeting neuronal guidé par la physique, qui transpose des captures de mouvement à grande échelle vers la morphologie du robot en préservant la plausibilité physique des contacts, et un contrôleur multimodal unique traitant références denses et consignes de tâches éparses, à partir d'un état précis ou d'une vision égocentrique bruitée. La méthode distille une politique de suivi universelle, compresse les compétences motrices dans un espace latent compact, puis l'affine par apprentissage par renforcement pour améliorer la robustesse hors distribution. ULTRA a été validé en simulation et sur un robot humanoïde réel Unitree G1. L'apport central est de faire passer le contrôle humanoïde du suivi de trajectoires prédéfinies à une génération de comportement pilotée par la perception et des objectifs de haut niveau, sans référence de mouvement au moment du test, un verrou connu du secteur qui tient à la rareté des données de retargeting et à la couverture limitée des répertoires de compétences. En obtenant un comportement coordonné du corps entier à partir d'une intention éparse et d'une perception embarquée seule, sur matériel réel et pas seulement en simulation, les auteurs apportent un élément factuel au débat sur l'écart entre démonstrations scriptées et autonomie réelle, avec des résultats supérieurs aux méthodes de suivi pur à répertoire limité, un signal utile pour intégrateurs et laboratoires. Ce travail s'inscrit dans la lignée des contrôleurs de suivi par imitation pour humanoïdes, dont les limites sont pointées par les auteurs: données retargetées rares, difficulté à passer à l'échelle, dépendance à des références figées. ULTRA cherche à lever ce verrou en unifiant imitation à grande échelle et apprentissage par renforcement dans un seul contrôleur, validé sur Unitree G1, plateforme de recherche courante dans les laboratoires travaillant sur la loco-manipulation humanoïde. L'article ne précise ni affiliation institutionnelle ni calendrier de déploiement industriel: il s'agit d'une contribution de recherche, à comparer aux prochaines générations de contrôleurs généralistes pour humanoïdes plutôt qu'à un produit commercial.

RecherchePaper

1 source