Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Dark Horse Muka Robotics défie WorldArena avec seulement 32 GPU Zhenwu 810E : le modèle du monde LJM décroche la deuxième place mondiale, redéfinissant la percée de la qualité vidéo à la logique physique
RecherchePandaily 

Dark Horse Muka Robotics défie WorldArena avec seulement 32 GPU Zhenwu 810E : le modèle du monde LJM décroche la deuxième place mondiale, redéfinissant la percée de la qualité vidéo à la logique physique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Muka Robotics, une startup fondée il y a seulement quatre mois, s'est hissée à la deuxième place mondiale du classement WorldArena grâce à son modèle LJM, entraîné et testé sur seulement 32 GPU Zhenwu 810E, soit une fraction du calcul mobilisé par des concurrents mieux dotés en infrastructure. Sur le benchmark de manipulation LIBERO, LJM obtient un score de 89,17 en qualité de mouvement, 92,60 en précision 3D et 85,93 en contrôlabilité. Détail notable, la soumission a été déposée de façon anonyme sous le pseudonyme SisyphusWorld, une pratique qui mérite d'être signalée puisqu'elle empêche toute vérification indépendante immédiate des conditions de test avant la levée d'anonymat. L'équipe est dirigée par Chi Xiaowei et rassemble des chercheurs issus du MMLab, de Tsinghua et de l'université de Pékin (PKU).

Le résultat intéresse le secteur parce qu'il attaque un problème structurel des modèles du monde utilisés pour la robotique : les modèles de diffusion vidéo classiques optimisent la texture des pixels au détriment de la compréhension physique du point de contact entre la pince et l'objet manipulé, soit 1 % de l'image mais l'information la plus critique pour l'action. LJM introduit une architecture à deux experts : un expert de raisonnement latent, basé sur Qwen3-VL-2B, qui simule dans un espace continu ce qui se produit lorsque la pince se referme et déplace l'objet, à partir des instructions, de l'historique visuel et de la séquence d'actions prévue ; un expert de rendu, basé sur Wan2.2-TI2V-5B, qui traduit ensuite ce raisonnement en images vidéo réalistes. Chaque token de raisonnement doit prédire simultanément trois grandeurs dérivées des données d'entraînement réelles, la position 3D de l'effecteur terminal, les changements d'état visuel de la scène et le flux optique par pixel, ce qui contraint le modèle à ne pas halluciner de résultats physiquement impossibles. Les deux experts communiquent en continu via une attention partagée de type Mixture-of-Transformers, plutôt que par un simple passage séquentiel d'information.

Cette approche illustre une dynamique plus large dans l'écosystème chinois de l'IA, où les contraintes d'accès aux GPU les plus puissants poussent certaines équipes à privilégier l'innovation architecturale plutôt que la seule puissance de calcul brute. Elle s'inscrit dans la lignée des travaux sur les modèles monde pour la manipulation robotique, aux côtés d'acteurs comme Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2). Il faut toutefois garder à l'esprit qu'il s'agit à ce stade d'un résultat de classement sur benchmark et de simulation, pas d'un déploiement sur robot physique en conditions réelles : la validation en environnement industriel reste l'étape suivante à surveiller.

Dans nos dossiers

NVIDIA GR00TPhysical Intelligence — π0Manipulation robotique

À lire aussi

Modèles du monde vidéo pour la robotique : applications, défis de recherche et perspectives d'avenir
1arXiv cs.RO 

Modèles du monde vidéo pour la robotique : applications, défis de recherche et perspectives d'avenir

Une équipe de chercheurs affiliée au laboratoire IRoM de l'université de Princeton publie une revue de littérature sur les "video world models" (modèles de monde vidéo) appliqués à la robotique, mise à jour en version 2 sur arXiv sous l'identifiant 2601.07823. Le papier recense l'état de l'art sur l'usage de générateurs vidéo comme modèles de monde incarnés couvrant cinq usages principaux : la génération de données d'entraînement, l'apprentissage de politiques, la modélisation de la dynamique et des récompenses pour l'apprentissage par renforcement, l'évaluation de politiques et la planification visuelle. Les auteurs soulignent la capacité de ces modèles à produire des simulations de corps déformables photoréalistes et physiquement cohérentes sans les simplifications lourdes des simulateurs physiques classiques, tout en documentant des limites persistantes : mauvais suivi des instructions, hallucinations se traduisant par des violations des lois de la physique, génération de contenu non sûr, et coût de calcul et de données prohibitif. Une bibliographie organisée et ouverte à la communauté est mise à disposition sur GitHub, à l'adresse irom-princeton/awesome-robotics-vidéo-world-model-papers. Pour l'industrie robotique, ce travail synthétise un argument structurant : les modèles vidéo pourraient remplacer, ou compléter, les simulateurs physiques traditionnels comme brique de génération de données synthétiques et d'évaluation de politiques, réduisant la dépendance coûteuse à la collecte de données réelles ou au réglage fin d'environnements simulés, un enjeu direct pour l'entraînement des modèles vision-langage-action (VLA) dont le goulot d'étranglement reste la quantité et la diversité des démonstrations disponibles. Mais la revue tempère l'enthousiasme ambiant autour des "foundation world models" : les hallucinations physiques documentées par les auteurs montrent que ces générateurs, aussi impressionnants visuellement, ne garantissent pas encore la cohérence physique nécessaire à un usage fiable dans des boucles d'entraînement ou d'évaluation critiques pour la sécurité. Pour les intégrateurs et décideurs B2B, le message est de traiter ces outils comme prometteurs mais encore expérimentaux plutôt que comme des remplaçants prêts à l'emploi des pipelines de simulation existants. Cette synthèse s'inscrit dans la vague de recherche déclenchée par les progrès des modèles de diffusion et de génération vidéo appliqués hors du divertissement, où plusieurs laboratoires explorent, dans le sillage de l'essor des modèles vision-langage-action, leur usage comme substituts ou compléments aux moteurs physiques classiques pour la robotique. En consolidant la littérature existante sous forme de taxonomie des usages et de liste structurée de défis ouverts, les auteurs visent moins à annoncer un produit qu'à orienter les efforts de recherche à venir vers des solutions plus fiables pour les déploiements en environnements critiques pour la sécurité. Le projet reste académique, sans produit commercial ni partenariat industriel annoncé, mais la base bibliographique collaborative hébergée sur GitHub, ouverte aux contributions, indique que le sujet est appelé à structurer les prochains travaux sur les modèles de fondation en robotique.

UECette synthèse académique en libre accès sur GitHub peut orienter les laboratoires de recherche européens en robotique, sans impliquer d'acteur ou de régulation française ou européenne.

RecherchePaper
1 source
Grounded-Dreamer : apprentissage robotique à partir de données synthétiques d'un modèle du monde, avec ancrage physique
2arXiv cs.RO 

Grounded-Dreamer : apprentissage robotique à partir de données synthétiques d'un modèle du monde, avec ancrage physique

Des chercheurs proposent Grounded-Dreamer, un cadre logiciel (arXiv 2610.13164, première version) qui génère des données de manipulation robotique synthétiques sans aucune démonstration par téléopération humaine. Le point de départ est un petit ensemble d'images réelles montrant l'état initial d'une tâche. À partir de ces images, la méthode reconstruit automatiquement les objets pertinents et la géométrie de la caméra, les aligne dans un simulateur doté d'un moteur physique, puis y collecte des trajectoires physiquement valides. Ces trajectoires servent à post-entraîner deux modèles: un modèle du monde vidéo, qui produit des séquences de manipulation visuellement réalistes, et un modèle de dynamique inverse, qui en déduit les actions du robot correspondantes. Chaque trajectoire générée est ensuite rejouée dans la simulation reconstruite, et seules celles qui accomplissent réellement la tâche sont conservées. Les politiques déployées sur robot réel sont entraînées uniquement sur ces trajectoires filtrées. Le résumé de l'article annonce des tâches testées en conditions réelles et une amélioration « substantielle » de l'apprentissage, sans fournir de taux de réussite, de nombre de tâches, de volume de données ni de plateforme robotique. Ces éléments restent donc à vérifier dans le texte complet. L'enjeu touche le goulot d'étranglement le plus coûteux de la robotique d'apprentissage: la collecte de données étiquetées par action. La téléopération reste chère et peu extensible, la simulation pure souffre d'un écart visuel (sim-to-real gap), et les vidéos humaines n'ont pas d'annotations propres à l'embodiment du robot. Grounded-Dreamer tente de cumuler le réalisme visuel des modèles génératifs et la fiabilité physique d'un simulateur, qui joue le rôle de juge. Le filtrage par rejeu est l'idée la plus intéressante: il traite l'hallucination physique des modèles vidéo, leur principal défaut pour générer des actions exploitables, comme un problème de vérification plutôt que de modélisation parfaite. Pour un intégrateur ou un décideur industriel, la promesse est de réduire le coût marginal de nouvelles tâches à quelques photos de la scène. Il faut cependant rester prudent: la validité des données dépend de la qualité de la reconstruction des objets, et les objets déformables, articulés ou à contacts complexes risquent de rester difficiles. Le filtre ne garantit que ce que le simulateur sait modéliser. Ce travail s'inscrit dans la course aux « world models » pour la robotique, où les modèles vidéo génératifs servent de moteurs de données ou de simulateurs, en concurrence avec les approches fondées sur la téléopération à grande échelle, les données humaines égocentriques et les pipelines de simulation avec randomisation de domaine. Les modèles fondation de type VLA (vision-langage-action) dépendent tous de données d'actions rares, ce qui motive ce type de synthèse. À ce stade, il s'agit d'un préprint non évalué par des pairs, sans produit ni déploiement industriel annoncé. La suite logique serait une validation sur davantage de tâches, de morphologies et de scènes encombrées, ainsi qu'une comparaison chiffrée avec la téléopération à budget équivalent.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
RoboAlign-R1 : alignement multimodal des récompenses pour les modèles du monde vidéo robotique
3arXiv cs.RO 

RoboAlign-R1 : alignement multimodal des récompenses pour les modèles du monde vidéo robotique

Des chercheurs ont publié le 6 mai 2026 sur arXiv (arXiv:2605.03821) un framework baptisé RoboAlign-R1, conçu pour améliorer l'alignement des modèles vidéo du monde robotique avec les objectifs réels de prise de décision. Le coeur du travail repose sur un benchmark inédit, RobotWorldBench, qui rassemble 10 000 paires vidéo-instruction annotées issues de quatre sources de données robotiques, et sur un juge multimodal, RoboAlign-Judge, capable d'évaluer les vidéos générées selon six dimensions distinctes (instruction following, manipulation accuracy, plausibilité physique, entre autres). Ce juge enseignant est ensuite distillé en un modèle récompense léger pour un post-entraînement par renforcement. En parallèle, les auteurs introduisent une stratégie d'inférence sans entraînement supplémentaire, le Sliding Window Re-encoding (SWR), qui rafraichit périodiquement le contexte de génération pour limiter la dérive lors des prédictions à long horizon. Les gains mesurés sont de 10,1 % sur le score agrégé à six dimensions par rapport au meilleur baseline, dont 7,5 % en précision de manipulation et 4,6 % en suivi d'instructions. Le SWR apporte quant à lui une réduction de 9,8 % en LPIPS et une hausse de 2,8 % en SSIM, avec seulement environ 1 % de latence additionnelle. Ce travail pointe un problème structurel rarement nommé aussi clairement dans la littérature : les modèles vidéo robotiques sont généralement optimisés pour des métriques visuelles basses (reconstruction pixel, SSIM) qui ne corrèlent pas avec la performance réelle en manipulation ou en suivi d'instructions. Autrement dit, un modèle peut produire des vidéos visuellement cohérentes tout en étant inutilisable pour le contrôle d'un bras robotique. En transposant la logique du post-entraînement par récompense, inspirée du RLHF appliqué aux LLM, aux world models vidéo, RoboAlign-R1 propose une voie pour aligner simulation et tâche réelle. Pour les équipes qui utilisent ces modèles comme simulateurs de planification ou générateurs de données synthétiques, l'évaluation multi-dimensionnelle de RoboAlign-Judge pourrait devenir un protocole de référence, à condition que le benchmark soit publié et reproductible. Cette publication s'inscrit dans une dynamique plus large d'application des techniques d'alignement (post-training, distillation, RL) à la robotique incarnée, un domaine où des travaux comme UniSim, GROOT de NVIDIA ou IRASim ont posé les bases des world models vidéo. Le code et les données ne sont pas encore disponibles publiquement au moment de la publication, ce qui limite l'évaluation indépendante des résultats. La prochaine étape naturelle serait une validation sur robot physique en dehors du protocole in-domain utilisé ici, car les gains mesurés en simulation n'impliquent pas directement un transfert sim-to-real amélioré.

RechercheOpinion
1 source
DreamX-Phi 1.0 : modèle du monde vidéo conditionné par l'action pour la manipulation robotique
4arXiv cs.RO 

DreamX-Phi 1.0 : modèle du monde vidéo conditionné par l'action pour la manipulation robotique

DreamX-Phi 1.0, un modèle de monde vidéo conditionné par l'action pour la manipulation robotique, est présenté dans un article déposé sur arXiv (2608.13489v1). À partir d'une image observée, d'une instruction en langage naturel et d'une séquence d'actions prescrite, poses de l'effecteur terminal et états du gripper, le système prédit les observations vidéo futures correspondantes. Pour éviter qu'une vidéo réaliste en apparence déplace le mauvais bras ou fasse disparaître l'objet manipulé, les auteurs injectent des transformations géométriques SE(3) propres à chaque bras dans les couches d'attention via un encodage de type PRoPE, complété par une branche de profondeur pour la géométrie de la scène et des masques SAM3 associés à un modèle enseignant V-JEPA figé pour maintenir la cohérence des objets durant la saisie. Le générateur multi-étapes est ensuite distillé en un modèle étudiant à peu d'étapes pour accélérer le déploiement. Le modèle revendique la première place sur la Track 1 et la deuxième sur la Track 2 du WorldArena 2.0 Challenge, avec publication annoncée du modèle et du code. Cette approche s'attaque à un problème central des modèles de monde appliqués à la robotique: une vidéo générée peut paraître photoréaliste tout en étant physiquement incohérente avec les commandes envoyées au robot, ce qui invalide son usage pour l'entraînement de politiques ou la planification. En ancrant la génération vidéo sur la géométrie rigide réelle de chaque bras et en préservant l'identité des objets manipulés, DreamX-Phi cherche à combler l'écart entre démonstration visuelle convaincante et fidélité exploitable pour le contrôle. La distillation en modèle étudiant à peu d'étapes répond à une contrainte pratique bien connue des intégrateurs: les modèles de monde vidéo multi-étapes sont souvent trop lents pour une boucle de contrôle temps réel, ce qui limite sinon leur usage à la simulation ou à l'évaluation hors ligne. Le classement sur WorldArena 2.0 reste toutefois un résultat de benchmark académique et non une validation en conditions réelles sur un robot physique. DreamX-Phi s'inscrit dans une vague plus large de modèles de monde vidéo pour la robotique, qui cherchent à compléter ou remplacer les architectures vision-langage-action comme Pi-0 ou GR00T N2 par une simulation générative directe des conséquences d'une action. Le recours à SAM3 pour la segmentation et à V-JEPA comme enseignant figé situe le projet dans la lignée des modèles de représentation vidéo auto-supervisés récents plutôt que dans une pile propriétaire fermée. À ce stade, aucune information ne mentionne de déploiement sur un robot physique ni de partenariat industriel: il s'agit d'un article de recherche accompagné d'un résultat de compétition, le modèle et le code étant seulement annoncés comme à venir. La suite logique, si cette promesse de publication est tenue, sera l'adoption du modèle comme brique de simulation ou d'évaluation par d'autres équipes travaillant sur la manipulation robotique.

RecherchePaper
1 source