Dossier World models

HorizonNav : diffusion vidéo guidée par la géométrie pour une navigation robotique 3D anticipative

HorizonNav, un framework décrit dans un preprint arXiv (2610.13849v1), propose de transformer une seule image RGB et un prompt textuel en représentation 3D géométriquement alignée de l'espace environnant, pour permettre une navigation « anticipatrice » sans lidar. Un modèle vision-langage interprète la scène et construit des prompts structurés pour un modèle de diffusion vidéo, qui génère une séquence d'observations futures plausibles. Cette vidéo est ensuite traitée par ORB-SLAM3 en mode monoculaire pour estimer les poses de caméra, et par Video Depth Anything pour prédire une profondeur dense. L'apport central est une étape d'alignement de la profondeur guidée par la géométrie, qui combine les poses estimées et des points de repère visuels triangulés pour contraindre les cartes de profondeur sur plusieurs vues. Les auteurs soulignent que la seule cohérence temporelle de la vidéo générée ne suffit pas à garantir une géométrie cohérente. Les résultats chiffrés restent modestes, mais ils sont présentés avec une franchise rare. Sur une étude de 19 scènes, le nombre de scènes permettant une planification passe de 13/19 à 15/19 entre les configurations P20 et P81, et les essais RRT réussis de 62/90 à 75/90. Dans une étude de couloirs, 6 trajectoires de caméra générées sur 25 évaluables violent les contraintes de collision reconstruites, et le planificateur RRT trouve une alternative faisable dans 5 de ces 6 cas. Sur une archive plus large, 58 reconstructions exploitables sur 67 tentatives ont été obtenues, mais seules 36 débouchent sur un plan, contre 22 sans plan possible. L'erreur moyenne de reconstruction atteint environ 0,30 m sur 15 couloirs, mesurée à des repères structurels appariés. Pour un intégrateur, 0,30 m est loin d'une précision suffisante pour de la manipulation, et même pour de la navigation en espace étroit la marge est faible. Aucun test sur robot réel n'est mentionné dans le résumé, et l'évaluation se fait dans des environnements « imaginés ». L'intérêt tient à la publication des échecs : près d'un tiers des reconstructions exploitables ne supporte aucun plan, ce qui chiffre l'écart entre une vidéo visuellement plausible et un espace libre réellement fiable. Cela tempère l'idée que les modèles de monde génératifs peuvent remplacer directement la cartographie par capteurs actifs. Dans ce cadre, la vidéo générée reste une hypothèse sur ce qui est hors champ, pas une mesure. Le travail s'inscrit dans la tendance à utiliser la diffusion vidéo comme modèle de monde pour la robotique, en concurrence avec les approches de navigation fondées sur la cartographie classique, le SLAM visuel-inertiel ou les VLA de navigation. Il s'agit d'une preuve de concept académique : ni produit, ni déploiement, ni calendrier annoncé. Les prochaines étapes naturelles seraient des essais sur plateforme mobile réelle et une réduction de l'erreur métrique.

Le modèle d'action du monde VPP2 de Robotera domine RoboDojo et atteint 58,5 % en zéro-shot sur de vrais bras ALOHA

Robotera, la société robotique issue de Tsinghua, affirme que son modèle VPP2, un world action model (modèle qui prédit l'évolution visuelle de la scène avant d'en déduire les actions), occupe la première place de RoboDojo. Ce benchmark de simulation est piloté par le MMLab de l'Université de Hong Kong avec près de 20 institutions académiques. Selon QbitAI, VPP2 obtient un taux de succès moyen de 32,26 % et un score moyen de 39,26 sur les 42 tâches bimanuelles du test, qui couvre la généralisation, la manipulation de précision, les tâches longues, la mémoire et les instructions en vocabulaire ouvert. Il arrive aussi premier dans les catégories généralisation, précision et mémoire. Robotera précise que ces résultats viennent du seul jeu de données standard, sans données supplémentaires ni ajouts comme l'auto-amélioration récursive par agents. La meilleure référence citée dans son article, GPT-6-Astra en évaluation post-entraînement, atteint 22,48 % et 28,97. Sur un vrai robot bimanuel ALOHA, VPP2 totalise 58,5 % de réussite en zéro-shot sur 10 types de tâches (prise, dépose, empilement, pliage, versement), contre 40 % pour le pi0.5 de Physical Intelligence, et fait mieux sur neuf d'entre elles. Il obtient 45,0 % sur LIBERO-Pro et 63,9 % sur LIBERO-OOD. Associé à un modèle vision-langage comme planificateur de haut niveau, il fait passer certaines tâches longues de RoboDojo de 27,6 % à 57,6 %. L'intérêt tient à la manière dont le modèle traite la faiblesse connue des world action models : quand la prédiction vidéo est fausse, l'action la suit. Robotera entraîne en trois étapes. Un pré-entraînement vidéo au niveau de l'événement, bâti sur le Wan2.1-I2V-14B open source d'Alibaba, apprend à prédire une manipulation entière à partir de clips légendés de robots, d'humains et de vidéo générale. La prédiction est ensuite limitée à des clips fixes de huit secondes et distillée en une seule étape d'environ 0,12 seconde. Enfin, un Action DiT de 0,9 milliard de paramètres convertit les prédictions en mouvements, tandis que le modèle vidéo reste gelé et ne s'adapte que par LoRA. La latence totale d'un chunk d'actions est d'environ 0,22 seconde, compatible avec un contrôle réactif. Pour les ingénieurs et intégrateurs, le résultat suggère qu'une approche fondée sur la prédiction vidéo peut dépasser des VLA de référence en zéro-shot sur matériel réel. Des réserves s'imposent toutefois : la comparaison réelle ne porte que sur dix familles de tâches et un seul concurrent, et le classement repose sur les chiffres de l'article des auteurs eux-mêmes, non sur une validation indépendante. Le contexte est celui d'une course où chacun revendique la tête du même benchmark : Simate a annoncé le mois dernier la première place de RoboDojo pour son système Simate-beta, et les deux revendications coexistent sans arbitrage public. Côté industriel, Robotera exploite déjà des robots dans plus de dix centres logistiques répartis dans cinq provinces et municipalités chinoises, avec des partenaires dont China Post et SF Express. Cela ne signifie pas que VPP2 est déployé à grande échelle : il s'agit pour l'instant d'un résultat de recherche. Le code est publié en open source sur GitHub, ce qui permettra une reproduction externe, étape décisive pour confirmer les performances. D'autres acteurs avancent dans la même direction, comme Xiaomi avec son modèle de monde incarné Robotics-U0, également en open source, et Physical Intelligence avec la famille pi0.

Modèles du monde fondation pour la robotique multi-embodiment, fondés sur des actions latentes

Des chercheurs proposent LAC-WM (Latent Action-Conditioned Robot World Model), un modèle du monde robotique qui fonctionne dans un espace d'actions latent unifié, appris et partagé entre embodiments très différents. Il est comparé à une variante de référence, EAC-WM (Explicit Action-Conditioned World Model), conditionnée par des étiquettes de mouvement explicites propres à chaque robot. Les deux modèles sont évalués sur des tâches de manipulation dextre et sur une version modifiée du benchmark LIBERO. Lors de l'adaptation à des robots absents du pré-entraînement, LAC-WM améliore la performance aval jusqu'à 46,7 % sur la manipulation dextre et 11,7 % sur LIBERO. Le travail, publié sur arXiv (2610.10846v1), s'accompagne d'un site de projet (lacwm.github.io). Le résumé ne précise ni les robots testés, ni la taille des modèles, ni les volumes de données de pré-entraînement. Le résultat le plus significatif concerne le passage à l'échelle. La performance de LAC-WM augmente avec le nombre d'embodiments vus au pré-entraînement. À l'inverse, celle d'EAC-WM diminue quand ce nombre croît. Selon les auteurs, des étiquettes d'action explicites produisent des représentations disjointes d'un robot à l'autre, et ajouter des plateformes crée alors de l'interférence plutôt que du transfert. Pour les équipes qui construisent des modèles fondations robotiques, cela remet en cause l'idée qu'agréger davantage de données hétérogènes améliore mécaniquement la généralisation. L'espace d'action serait un goulot d'étranglement central, et pas seulement le volume de données. Pour un intégrateur, l'enjeu est concret : si ce principe se confirme, un modèle du monde pré-entraîné pourrait être adapté à une nouvelle plateforme avec moins de données propriétaires. Les gains annoncés sont toutefois mesurés sur des benchmarks, dont un LIBERO modifié, et non sur des déploiements industriels. Le gain de 11,7 % sur LIBERO est modeste, et l'écart de 46,7 % dépend de la base de comparaison choisie par les auteurs. On parle ici de résultats de recherche, pas d'un produit livré. Ce travail s'inscrit dans la course aux modèles généralistes cross-embodiment, où les approches VLA (vision-langage-action) comme Pi-0 ou GR00T se heurtent à la diversité des espaces d'action, entre bras à 6 ou 7 DOF, mains dextres et humanoïdes. Les modèles du monde, qui prédisent l'évolution de la scène en fonction des actions, sont devenus un axe parallèle pour la planification et l'évaluation des politiques. Les actions latentes, apprises à partir des seules transitions visuelles, offrent une voie pour exploiter de grandes quantités de vidéos sans étiquettes d'action. Le papier est une prépublication v1, sans relecture par les pairs. Il faudra surveiller la publication du code et des poids, des tests sur du matériel réel, ainsi que des comparaisons directes avec d'autres modèles du monde cross-embodiment pour savoir si l'effet de passage à l'échelle se maintient avec des dizaines de plateformes.

LiteNWM : des modèles du monde latents efficaces pour la navigation visuelle embarquée en milieu naturel

LiteNWM, présenté dans un preprint arXiv (2610.12368), est un modèle de monde latent pour la navigation visuelle embarquée. Il vise à évaluer les conséquences futures de plusieurs trajectoires candidates sans générer de vidéo. Le système partage un seul encodage visuel entre tous les candidats. Il prédit conjointement leurs représentations futures conditionnées par l'action, à plusieurs horizons temporels. Un scoreur appris exploite ces prédictions pour choisir la meilleure trajectoire. Hors ligne, sur les jeux de données RECON, SCAND et SACSoN, l'erreur de trajectoire moyenne (macro-moyenne) baisse de 17,56 % par rapport à NoMaD couplé à NWM-XL. L'accélération de bout en bout atteint un facteur 128 sur une RTX 5090. Le même évaluateur passe de NoMaD à MBRA sans réentraînement propre au générateur de trajectoires, avec 16,2 % d'erreur en moins pour MBRA. Sur robot réel, dans des environnements intérieurs et extérieurs inconnus, le taux de réussite de navigation passe de 43,3 % à 83,3 % par rapport à NoMaD seul. L'intérêt tient à la levée d'un compromis. Les politiques directes comme NoMaD sont rapides mais ne vérifient pas ce que leurs actions provoquent. Les world models génératifs apportent cette anticipation, mais leurs déroulés visuels pixel par pixel sont trop coûteux dès qu'il faut comparer plusieurs candidats. Travailler dans l'espace latent et mutualiser l'encodage rend la planification avec anticipation compatible avec le calcul embarqué. Le fait que l'évaluateur se greffe sur un autre proposeur suggère aussi une brique modulaire, réutilisable sans refaire tout l'apprentissage. Il faut toutefois rester prudent : le gain de 128 fois est mesuré sur un GPU de bureau haut de gamme, pas sur un module embarqué type Jetson. Les résultats réels reposent sur un nombre d'essais probablement limité, le détail du protocole n'étant pas donné dans le résumé. La plateforme robotique n'y est pas précisée non plus. Ces travaux s'inscrivent dans la lignée des politiques de navigation généralistes entraînées sur de grandes collections de données de robots mobiles, dont NoMaD, et des Navigation World Models, qui ont introduit la simulation vidéo conditionnée par l'action pour la navigation. MBRA représente l'autre voie, celle de la réannotation des données pour améliorer les politiques. LiteNWM se positionne comme une couche d'évaluation commune à ces approches. La suite logique serait des tests sur matériel embarqué contraint, sur des parcours plus longs et dans des environnements plus denses. La publication de code et de poids conditionnera son adoption par la communauté.

UNITAS : un modèle d'action du monde natif 3D pour la manipulation incarnée

UNITAS, un modèle d'action-monde (WAM, world action model) publié sur arXiv par l'équipe derrière le dépôt DexForce, se présente comme le premier à travailler nativement en 3D. Il unifie observations, actions et dynamique de scène dans un repère métrique 3D partagé, avec une représentation commune pour différents robots et pour la main humaine. Les actions des mains et des pinces sont encodées en trajectoires de points 3D (« action flow »). Les déplacements des points de la scène (« scene flow ») sont prédits en conditionnant sur ces trajectoires. Des embeddings positionnels 3D alignés sur le monde ancrent les tokens visuels, avec ou sans entrée de profondeur. Un tokenizer de trajectoires en temps physique encode chaque trajectoire en un seul token, ancré à sa position 3D courante. Avec 1,7 milliard de paramètres, UNITAS affiche la meilleure prédiction de scène conditionnée par l'action sur RoboTwin parmi les méthodes comparées, avec jusqu'à 49 % d'erreur de déplacement en moins que PointWorld. Il atteint aussi 99,8 % de succès sur LIBERO et 85 % en moyenne sur des tâches en conditions réelles. Le code est publié sur GitHub. L'enjeu est un changement de représentation. La plupart des WAM actuels reposent sur des générateurs vidéo pré-entraînés et décrivent l'évolution du monde par des images ou des latents visuels. Or une image est une projection dépendante du point de vue, dont les distances en pixels ne correspondent pas aux distances physiques. En raisonnant directement en espace métrique, UNITAS vise à rapprocher la prédiction de ce que le robot doit réellement mesurer: où va sa pince, de combien l'objet se déplace. La représentation commune humain/robot ouvre aussi la voie à l'exploitation de données de mains humaines pour l'entraînement. Un modèle de 1,7 milliard de paramètres reste compact face aux gros VLA (vision-language-action) et aux modèles vidéo, ce qui compte pour le coût d'inférence embarquée. Les réserves habituelles s'appliquent: LIBERO est proche de la saturation à 99,8 %, donc peu discriminant, et la moyenne de 85 % en réel dépend de tâches, d'un nombre d'essais et d'un matériel que le résumé ne détaille pas. Les comparaisons de scène se limitent aux « méthodes comparées » choisies par les auteurs. Ce travail s'inscrit dans la montée des world models pour la manipulation, après les VLA de type Pi-0 ou GR00T, et des approches fondées sur la génération vidéo. Il se positionne contre ces dernières en s'inspirant de PointWorld, qui prédit déjà des mouvements de points 3D et sert ici de référence. Il s'agit à ce stade d'un préprint (v1) de recherche, sans produit commercial, déploiement industriel ni calendrier annoncé. La suite dépendra de la reproduction des résultats par d'autres équipes grâce au code ouvert, de la robustesse hors des benchmarks simulés et de la capacité du modèle à passer à l'échelle avec davantage de données humaines et multi-embodiments.

SpectralCache : accélérer les modèles du monde à base de diffusion grâce à un cache de caractéristiques spectrales

Des chercheurs proposent SpectralCache, une méthode d'accélération de l'inférence pour les modèles du monde (world models) à base de diffusion, décrite dans le préprint arXiv 2610.02660v1. Ces modèles génèrent des environnements interactifs de haute qualité, mais leur coût d'inférence reste élevé, car un Transformer doit être réévalué à chaque étape de débruitage. SpectralCache ne demande aucun réentraînement. Les auteurs ont observé que les features de ces modèles gardent des sous-espaces singuliers très stables d'une étape de débruitage à la suivante, alors que leurs valeurs singulières évoluent de façon prévisible. La méthode réutilise donc ces sous-espaces et n'estime que les valeurs singulières, de faible dimension, par extrapolation linéaire. Elle exploite aussi la cohérence spectrale entre features voisines issues de calculs complets pour sauter certaines évaluations coûteuses du backbone, grâce à un simple rééchelonnement des valeurs singulières. Sur HunyuanWorld-Voyager-13B, elle atteint une accélération de 5,22x avec un WorldScore de 65,90 sur les scènes statiques. Les auteurs affirment qu'elle dépasse nettement les méthodes de cache sans entraînement existantes en efficacité d'inférence. Pour les équipes qui construisent ou utilisent des simulateurs appris, ce résultat touche un goulot concret. La génération interactive d'environnements est trop lente pour servir de simulateur de génération de données ou d'évaluation de politiques robotiques à grande échelle. Une accélération d'un facteur supérieur à 5, obtenue sans réentraînement, abaisse le coût par rollout et rapproche ces modèles d'un usage en boucle. Elle pourrait servir à générer des données synthétiques, à tester des politiques VLA ou à explorer des scénarios. L'approche est surtout intéressante par son principe : au lieu de mettre en cache au niveau du token ou de la feature, elle s'appuie sur la structure algébrique des représentations. Il faut toutefois rester prudent. Il s'agit d'un préprint non évalué par les pairs. Le chiffre de qualité ne porte que sur les scènes statiques, et le WorldScore est une métrique de génération visuelle, pas de fidélité physique ni de transfert sim-to-real. Le gain a été mesuré sur quelques modèles représentatifs et rien n'indique qu'il tienne en dynamique complexe ou en interaction avec des objets. Ces travaux s'inscrivent dans la série de méthodes de cache sans entraînement pour modèles de diffusion, qui exploitent la redondance temporelle entre étapes de débruitage au niveau des features ou des tokens. SpectralCache cherche à les dépasser en passant par la décomposition en valeurs singulières. La cible, HunyuanWorld-Voyager-13B, est un modèle de monde de 13 milliards de paramètres de la famille Hunyuan. Il appartient à une catégorie très active, où les modèles de monde sont pensés comme moteurs de simulation pour l'IA incarnée et la robotique. La suite logique serait une validation sur d'autres architectures, des scènes dynamiques et des métriques propres à la robotique, ainsi qu'une publication du code. Aucun calendrier de déploiement n'est annoncé à ce stade.

Agir selon sa croyance, regarder au besoin : un modèle du monde spatial bayésien pour la navigation sous perception intermittente

Des chercheurs ont présenté ALONE, un modèle de monde spatial bayésien conçu pour la navigation de drones lorsque la perception est intermittente (preprint arXiv 2610.11591). Le système maintient une croyance spatiale structurée, propagée à partir des actions exécutées, puis corrigée par des observations acquises de façon sélective. Des a priori appris sur les structures géométriques courantes lui permettent d'inférer ce qui n'a pas été vu. La croyance est décodée en une estimation spatiale pour le module de planification de mouvement, accompagnée d'une carte de fiabilité qui exprime la confiance dans cette estimation. ALONE ne demande une nouvelle image que si la fiabilité insuffisante gêne la navigation et si une observation peut améliorer la région concernée. Sinon, il continue d'agir à partir de sa croyance. L'instanciation testée utilise une seule caméra de profondeur, avec une décision prise à 10 Hz. Dans deux familles de scènes simulées, le taux de succès en boucle fermée atteint 98 % et 97 %. Parmi les essais réussis, la fraction médiane de pas de décision exigeant une nouvelle image de profondeur n'est que de 0,9 % et 1,3 %. Les vols réels en intérieur ont été réussis dans 10 essais sur 10. L'enjeu est la contention d'un capteur partagé. Sur beaucoup de robots, la même caméra doit servir à la navigation et à d'autres tâches, comme l'inspection, la manipulation ou le suivi d'une cible. La navigation classique compense l'observabilité partielle par une couverture large et haute fréquence, ce qui devient une contrainte dès que le capteur est détourné. Les chiffres indiquent qu'un drone peut naviguer en n'utilisant son capteur que pour environ un pas de décision sur cent. Cela libère le capteur pour d'autres missions et peut aussi réduire la consommation de calcul et d'énergie. Pour un intégrateur, cela ouvre la voie à des plateformes plus légères, avec moins de capteurs, ou à des robots qui alternent perception de navigation et perception de mission. Il faut toutefois rester prudent. Les résultats viennent surtout de la simulation, la validation réelle se limite à 10 vols en intérieur, et les deux familles de scènes ne sont pas décrites en détail. Les performances en environnement dynamique, avec des obstacles mobiles ou peu structurés, ne sont pas démontrées. Ce travail s'inscrit dans la recherche sur les modèles de monde et la navigation active, où la perception est généralement traitée comme un flux continu et non comme une ressource à allouer. Il rejoint les approches de cartographie probabiliste et de perception active, mais ajoute des a priori géométriques appris et une carte de fiabilité qui pilote la décision de « regarder ». Les concurrents sont les pipelines de navigation de drone fondés sur des cartes d'occupation ou des champs de distance mis à jour en continu, ainsi que les politiques apprises de bout en bout. Ces dernières consomment toutes des images à chaque pas. L'article est un preprint (v1), sans pilote industriel ni calendrier de déploiement annoncés. Les prochaines étapes probables sont des tests sur des scènes plus variées, des environnements dynamiques et une intégration avec des tâches concurrentes réelles sur le capteur partagé.

Les modèles du monde rêvent de réussite : diagnostiquer et corriger leur insensibilité à l'échec en robotique

Des chercheurs publient CureWM, une méthode de réparation pour les modèles du monde robotiques (world models) qui échouent à distinguer une action réussie d'un échec. Le constat part de quatre checkpoints publics issus de deux familles d'architectures: tous réagissent faiblement aux changements d'action et prédisent des issues «proches du succès» pour des échecs pourtant vérifiés. CureWM génère des actions alternatives à partir de démonstrations réussies, sur une grille de sévérité. Il en vérifie ensuite le résultat par exécution, en simulation ou sur matériel réel. Enfin, il affine le modèle existant sur les échecs obtenus, sur les succès restants et sur les démonstrations nominales, sans toucher à l'architecture ni à l'objectif d'entraînement. Le code est disponible sur GitHub. Sur 484 contrefactuels d'échec réservés du benchmark LIBERO, l'optimisme excessif (la part d'échecs prédits comme des succès) tombe de 80 % après un affinage sur les données officielles à 30-43 % sur quatre modèles CureWM entraînés indépendamment, soit 38 % en moyenne. Sur un bras robotique physique, dans deux évaluations distinctes, les prédictions d'échec jugées «proches du succès» par un diagnostic de distance latente passent de 90 % (affinage sur succès seuls) à 33 % avec CureWM. À nombre d'échecs par tâche, données de rejeu de succès et budget d'entraînement égaux, les échecs contrefactuels donnent un écart de valeur succès-échec de 0,124, contre 0,014 pour des échecs «on-policy» collectés à neuf. Ces résultats comptent parce que les world models servent de plus en plus à évaluer des politiques, à planifier et à produire des données synthétiques. Un modèle qui «rêve» le succès quelle que soit l'action rend ces usages trompeurs: une politique défaillante paraîtrait performante, et des données générées seraient biaisées vers la réussite. Le travail remet aussi en cause l'idée que collecter davantage d'échecs réels suffit, puisque les échecs on-policy apportent ici douze fois moins de contraste que les contrefactuels construits depuis un même contexte initial. Les auteurs ajoutent un garde-fou méthodologique: réduire l'optimisme ne suffit pas, il faut le mesurer avec la capacité de discrimination entre succès et échec, faute de quoi un modèle pessimiste en tout passerait pour réparé. Les chiffres proviennent d'un seul groupe, sur LIBERO et un bras unique, sans validation indépendante à ce stade. Ce papier s'inscrit dans une littérature qui intègre déjà des échecs à l'entraînement des world models, mais en modifiant architecture ou objectif. CureWM vise au contraire la réparation a posteriori de checkpoints diffusés, ce qui le rend directement applicable aux modèles que les équipes utilisent déjà. Il s'adresse à ceux qui s'appuient sur des modèles du monde pour la validation de politiques VLA avant déploiement. Les prochaines étapes à surveiller sont la reproduction sur d'autres benchmarks et morphologies, ainsi que l'application à de plus grands modèles de fondation.

Video2World : un banc d'essai d'agents de code pour la modélisation interactive du monde à partir de vidéos incarnées

Une équipe de chercheurs publie Video2World, un benchmark qui teste si des agents de code adossés à des modèles de fondation peuvent transformer une vidéo embodied en simulateur interactif, sans intervention humaine. La tâche, baptisée « vidéo-to-simulation autonome », est posée comme un problème d'ingénierie logicielle. L'agent observe une vidéo de démonstration (robot ou humain), construit l'environnement simulé et le comportement du robot correspondants, puis affine le résultat grâce au retour d'exécution. Le benchmark compte 222 instances de reconstruction issues de 189 vidéos. Il note les mondes reconstruits selon trois axes : la fidélité géométrique (perception spatiale), la fidélité dynamique (raisonnement physique) et la justesse fonctionnelle (capacité à exécuter une interaction). Neuf systèmes d'agents de code de pointe ont été évalués. Le taux de réussite de la tâche passe de moins de 5 % à plus de 15 % à partir de Claude Opus 5. L'écart avec une reconstruction assistée par des humains reste important. L'enjeu est direct pour quiconque produit des données d'entraînement pour la robotique. Aujourd'hui, construire un environnement de simulation à partir d'observations réelles demande beaucoup de travail manuel, de modélisation de scène et de calibration. C'est un goulot d'étranglement pour passer à l'échelle des données embodied, par exemple pour entraîner des politiques VLA (vision-langage-action) ou générer des jeux de test reproductibles. Le saut observé suggère que les capacités de génie logiciel agentique commencent à toucher ce problème, mais un taux de succès d'environ 15 % reste très loin d'un pipeline industriel fiable. Le résultat le plus instructif est ailleurs : les mondes qui paraissent meilleurs ne fonctionnent pas forcément mieux, et une fidélité visuelle accrue ne garantit pas un meilleur taux de réussite. Cela rappelle l'écart, déjà connu avec les modèles génératifs, entre réalisme perceptif et exactitude factuelle. Pour les équipes qui évaluent des « world models » ou des simulateurs générés, juger sur le rendu est donc un mauvais indicateur, et il faut mesurer la dynamique et l'exécution. Ce travail s'inscrit dans la course à l'automatisation de la création de simulateurs, où se croisent les modèles de monde génératifs vidéo, les pipelines de reconstruction 3D et les approches « real-to-sim » encore très manuelles. Le choix de cadrer le problème comme une tâche d'agent de code, avec boucle d'exécution et correction, déplace la question de la génération de pixels vers la production de code de simulation exécutable. Il s'agit d'une publication académique sur arXiv (v2) et non d'un produit livré : aucun déploiement industriel ni acteur européen n'est mentionné dans le résumé. Les suites probables sont l'évaluation de nouveaux agents sur le benchmark, la mesure de l'écart restant avec les humains et, à terme, l'usage de ces mondes reconstruits pour générer des données d'entraînement. La preuve que ces mondes améliorent réellement des politiques robotiques reste à apporter.

Revue des modèles du monde robotiques pour environnements dynamiques, fondés sur les graphes de facteurs et de scènes

Les modèles de monde fondés sur des graphes se sont imposés en robotique comme représentations internes de l'environnement, avec deux familles dominantes : les graphes de facteurs et les graphes de scène. Une revue de littérature publiée sur arXiv (2610.08800v1) fait le point sur la manière dont ces modèles prennent en compte la dynamique du monde réel. Les graphes de facteurs fournissent surtout des estimations géométriques sensibles à l'incertitude, par exemple pour la localisation et la cartographie. Les graphes de scène apportent une abstraction sémantique structurée des objets et de leurs relations. Beaucoup de ces modèles ont d'abord supposé un environnement statique, par simplification. Les auteurs organisent leur analyse autour de trois axes : les représentations adaptées, les pipelines de construction et de mise à jour, et l'exploitation de ces représentations pour des tâches aval. Ils couvrent les approches fondées sur l'un ou l'autre type de graphe. Ils insistent sur les modèles hybrides qui combinent les deux, et classent les schémas d'architecture récurrents ainsi que les types de dynamique modélisés. L'enjeu est pratique. Un robot en entrepôt, en usine ou en environnement domestique évolue parmi des personnes, des chariots et des objets déplacés. Une carte figée devient alors vite fausse, et le robot peut planifier à partir d'une scène qui n'existe plus. La revue montre que l'écart entre une représentation statique et la réalité reste un verrou structurel, y compris pour les systèmes qui s'appuient sur des modèles appris de perception. Elle met aussi en évidence un manque de méthode dans le domaine. Il n'existe pas de jeux de données ni de protocoles d'évaluation qui relient la qualité d'un modèle de monde à la performance de la tâche finale en environnement dynamique. Les comparaisons entre approches restent donc difficiles à interpréter pour un intégrateur qui doit choisir une pile logicielle. Il s'agit d'une revue de la littérature, sans produit ni déploiement annoncé, et elle ne fournit pas de chiffres de performance propres. Ce travail s'inscrit dans l'évolution de la robotique mobile. On est passé de la cartographie géométrique (SLAM) à des cartes enrichies de sémantique, puis à des graphes de scène hiérarchiques, avant que la dynamique ne devienne une préoccupation centrale. Les auteurs identifient quatre chantiers ouverts. Le premier est la propagation de l'incertitude de la perception apprise à travers les couches de la représentation. Le deuxième est l'observabilité du mouvement et de l'échelle des entités dynamiques avec un minimum de capteurs. Le troisième est la maintenance du modèle à grande échelle sur de longues durées d'exploitation. Le quatrième est la création de jeux de données et de protocoles d'évaluation adaptés. Ces pistes concurrencent d'autres approches de modèles de monde, notamment les modèles appris de bout en bout et les architectures VLA, qui encodent l'état du monde de façon implicite. La revue défend l'intérêt des représentations explicites et hybrides pour leur interprétabilité et leur gestion de l'incertitude. Aucune échéance n'est avancée, et les suites dépendront de la communauté de recherche.

DeltaWorld : simulateurs de monde interactifs physiquement cohérents par apprentissage d'incréments latents conditionnés par l'action

Des chercheurs proposent DeltaWorld, un simulateur de monde interactif pour la manipulation robotique, décrit dans un preprint arXiv (2610.02691v1). Les modèles de monde actuels prédisent l'état latent suivant en entier, ce qui leur fait souvent manquer les changements subtils provoqués par les actions du robot. Le résultat peut être physiquement implausible : objets qui s'interpénètrent, déformations excessives. DeltaWorld change de paradigme avec un « Delta Latent Transition Model » (Delta-LTM). Celui-ci prédit uniquement la variation latente induite par l'action, puis l'ajoute à l'état courant pour obtenir l'état suivant. Un second module, l'« Interaction-aware Latent Alignment », construit des régions d'interaction contrefactuelles et supervise les changements latents liés au contact. Le modèle est évalué sur le benchmark de manipulation IWS et sur un jeu de données multi-robots collecté par les auteurs, couvrant plusieurs morphologies et tâches. Sur ce dernier, DeltaWorld réduit la FVD (Fréchet Video Distance) de 46,6 % et la LPIPS de 31,1 % par rapport à la baseline IWS. L'enjeu dépasse la métrique vidéo. Un simulateur interactif fiable permettrait de planifier, d'entraîner des politiques et de les évaluer sans multiplier les essais physiques, ce qui coûte cher en temps, en matériel et en supervision. Or un modèle de monde qui laisse un objet traverser la pince produit des trajectoires inexploitables pour l'entraînement de politiques VLA (vision-langage-action) ou pour l'évaluation hors ligne. Prédire l'incrément plutôt que l'état complet est un choix d'architecture simple, et il cible le défaut principal des modèles actuels : la dérive physique sur les longs horizons. Il faut toutefois rester prudent. FVD et LPIPS mesurent la qualité perceptuelle, pas la justesse physique ; aucune mesure de taux de succès de politique ou de corrélation avec le monde réel n'est mentionnée dans le résumé. Le jeu de données multi-robots n'étant pas public à ce stade, les gains restent à confirmer indépendamment. Ce travail s'inscrit dans la course aux « world models » pour la robotique, où les simulateurs appris sont présentés comme une alternative ou un complément à la simulation physique classique, et comme un moyen de réduire l'écart simulation-réel. Il se positionne contre IWS, la baseline de référence ici, et s'adresse au même terrain que les grands modèles de monde et de vidéo développés par les laboratoires industriels. Aucune implication d'entreprise, européenne ou autre, ni calendrier de déploiement ou de mise en open source n'est précisé dans le résumé. Il s'agit d'un preprint de recherche, non d'un produit livré. Les prochaines étapes à surveiller sont la publication du code et des données, des tests sur des horizons plus longs, et surtout la preuve que ces simulateurs améliorent concrètement l'entraînement et l'évaluation de politiques sur robot réel.

Apprentissage natif de prior d'action à partir de vidéos pour les modèles d'action du monde

Des chercheurs publient sur arXiv (2610.03391) NAVA-WAM, un « world action model » (WAM) qui apprend une politique d'action directement à partir de vidéos sans annotation d'actions. Un WAM combine la prédiction de la dynamique visuelle future et celle des actions du robot. Jusqu'ici, ces modèles dépendaient de trajectoires robotiques annotées avec les actions, rares et coûteuses à collecter. NAVA-WAM s'entraîne en deux étapes. Le pré-entraînement porte sur des vidéos d'observation seule : une supervision par flow matching sur les transitions visuelles futures est propagée, via une attention jointe structurée par transitions, jusqu'à l'Action-DiT, le module de diffusion qui produit les actions. Celui-ci acquiert ainsi des « priors » d'action. La seconde étape affine l'Action-DiT sur des démonstrations étiquetées par un flow matching conjoint vidéo-action. Une attention asymétrique découple la branche visuelle du débruitage itératif des actions, ce qui permet une inférence rapide, limitée aux actions. Les auteurs affirment de meilleurs résultats que les approches antérieures, en distribution comme hors distribution, une bonne efficacité en nombre d'étiquettes d'action et une généralisation sur robot réel. Le résumé ne fournit ni score chiffré, ni liste de tâches, ni nom de plateforme robotique. L'enjeu est celui du goulot d'étranglement des données. Les modèles vision-langage-action (VLA) et leurs variantes à modèle de monde se heurtent au coût de la téléopération. Les vidéos humaines ou robotiques sans étiquettes, elles, existent en grande quantité. Les méthodes actuelles les exploitent par deux voies indirectes : pré-entraîner des représentations visuelles qu'il faut ensuite adapter au contrôle, ou inférer des « actions latentes » à ancrer ensuite sur des commandes robot. NAVA-WAM supprime ces intermédiaires, ce qui limiterait les pertes de transfert et la complexité d'un modèle d'action latente séparé. Si le résultat tient à grande échelle, le volume de données robotiques annotées nécessaires pour une nouvelle tâche ou un nouvel embodiment pourrait baisser. Un intégrateur pourrait alors réutiliser des vidéos de ses propres lignes. Prudence toutefois : il s'agit d'un preprint non évalué par des pairs. Les gains annoncés restent à confirmer par des benchmarks indépendants, avec des détails sur la quantité de vidéos et la diversité des tâches réelles testées. Ce travail s'inscrit dans la course aux WAM et aux politiques apprises de vidéo, face aux VLA entraînés sur démonstrations (Pi-0, GR00T) et aux approches par actions latentes. Les prochaines étapes à surveiller sont la publication du code et des poids, des évaluations sur des corpus vidéo plus larges, et une comparaison directe avec les modèles de fondation industriels. Les auteurs ne signalent aucun partenaire industriel ni déploiement.

Runway présente Praxis-1, un modèle du monde et d'action pour la robotique

Runway AI, la société new-yorkaise fondée en 2018 et connue pour ses modèles génératifs vidéo, a présenté cette semaine Praxis-1, un « world action model » à poids ouverts qui convertit son pré-entraînement vidéo à grande échelle en commandes pour robots. Le modèle s'appuie sur la même base que les world models généraux de l'entreprise (GWM-1, Gen-4.5, Aleph 2.0, Act-Two) et apprend surtout à partir de vidéos filmées à la troisième personne, non de démonstrations téléopérées. Il a été entraîné sur des tâches de manipulation allant du simple pick-and-place (soulever des canettes) à la manipulation d'objets déformables (emballer des sacs cadeaux). Runway affirme que la simulation de politiques robotiques dans son world model prédit les résultats réels avec une corrélation de 0,95, mieux que des techniques plus coûteuses fondées sur la reconstruction 3D, sans publier de détails méthodologiques. Des partenaires pilotes (Noble Machines, Standard Bots et Ultra) font tourner Praxis-1 sur leur propre matériel, des bras bimanuels aux humanoïdes, avec un fine-tuning léger. La sortie publique est annoncée « dans les prochains mois », sans date. L'enjeu est de savoir si la vidéo peut remplacer, au moins en partie, la donnée robot, rare et chère à collecter. Selon Kamil Sindi, directeur technique de Runway, la performance progresse avec le volume de vidéo, de sorte que le plafond du modèle dépendrait de la quantité de vidéo disponible plutôt que du nombre de démonstrations. Si cela se confirme, le goulot d'étranglement des politiques généralistes se déplacerait de la collecte téléopérée vers le curage de données vidéo. Pour les intégrateurs, la promesse d'un modèle unique adaptable à plusieurs morphologies avec peu de fine-tuning serait un gain de coût réel. Il faut toutefois rester prudent : aucun taux de réussite, aucun temps de cycle ni aucune comparaison avec des politiques existantes n'a été publié, et les retours des partenaires sont rapportés par Runway elle-même. Le chiffre de 0,95 mesure la fidélité de la simulation, pas la performance sur site. À ce stade, il s'agit d'une annonce avec des tests partenaires, pas d'un produit livré ni d'un déploiement en production. Runway arrive en robotique depuis la vidéo générative, après GWM-1 et des modèles interactifs temps réel comme Solaris et GWM Worlds 2, conçus pour créer des environnements d'entraînement d'agents. L'entreprise, qui a des bureaux à New York, San Francisco, Seattle, Londres, Paris, Tel Aviv et Tokyo, rejoint un champ où les approches VLA (vision-langage-action) et world models se disputent le terrain, face à des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix), qui s'appuient davantage sur des données robot. Le choix des poids ouverts est assumé : Sindi y voit un levier pour que les États-Unis retrouvent leur avance industrielle, en laissant aux fabricants de matériel de la flexibilité. Les prochaines étapes sont l'élargissement du cercle de partenaires avant la sortie publique et la validation sur davantage de robots, pour combler les écarts avant la disponibilité générale. Aucun acteur français ou européen n'est cité parmi les partenaires.

Social-WM : des modèles du monde latents sensibles à la sécurité pour la navigation sociale des robots

Des chercheurs publient Social-WM, un cadre de planification par modèle de monde latent destiné à la navigation sociale des robots, c'est-à-dire le déplacement parmi des piétons et des obstacles. Le système est entraîné uniquement à partir de séquences vidéo RGB égocentriques. Il prédit, en fonction de l'action commandée, l'observation future réellement obtenue après chaque commande. Il apprend ainsi les conséquences pertinentes pour la sécurité. Un second objectif, dit de dynamique inverse « réalisable », associe chaque transition latente observée à l'action effectivement réalisée, et non à l'action nominale demandée. Au déploiement, le robot imagine plusieurs actions candidates dans le modèle de monde. Le modèle inverse estime ensuite leur réalisabilité, et l'écart entre action nominale et action réalisable sert de signal de sécurité avant exécution. Sur le benchmark Social-HM3D, Social-WM atteint 63,77 % de réussite avec 21,67 % de collisions avec des humains. Les résultats restent solides en transfert zéro-shot sur Social-MP3D. L'approche n'utilise ni suivi explicite des piétons, ni état humain privilégié, ni apprentissage par renforcement en ligne. L'intérêt tient à la manière de traiter le problème. Une action « avancer » peut s'exécuter entièrement en espace libre, mais doit être freinée ou modifiée face à un piéton ou un obstacle. Les données de navigation sociale contiennent donc un décalage systématique entre commande et mouvement réel. En apprenant ce décalage plutôt qu'en le supposant nul, le robot dispose d'un indicateur de risque sans module de perception dédié aux humains. Pour un intégrateur, cela réduit la dépendance à des piles de suivi et de prédiction de trajectoires, coûteuses à calibrer. Le fait que la dynamique et la réalisabilité soient indépendantes du but permet de réutiliser le même modèle pour la navigation par position et par image-cible. Il faut toutefois relativiser : un taux de collision de 21,67 % reste très éloigné d'un niveau acceptable en environnement réel, et les résultats proviennent de simulation. Aucun test sur robot physique ni comparaison de coûts de calcul n'est mentionné dans le résumé. Ce travail s'inscrit dans la montée des modèles de monde latents, qui planifient dans un espace de représentation compact plutôt qu'en reconstruisant des pixels, et dans l'effort pour combler l'écart entre simulation et réel en navigation sociale. Les benchmarks utilisés, construits sur les scènes HM3D et Matterport3D, relèvent de la simulation d'intérieur et couvrent mal la variété des lieux publics. Les approches concurrentes reposent généralement soit sur l'apprentissage par renforcement en ligne, soit sur des modules explicites de suivi des piétons. La suite logique est une validation sur plateforme mobile réelle, dans des espaces partagés comme les hôpitaux ou la logistique, où des robots mobiles autonomes (AMR) croisent déjà des opérateurs. Il s'agit pour l'instant d'une préimpression arXiv (v1), non évaluée par les pairs, sans produit ni déploiement annoncé.

Les modèles du monde rendent-ils les robots meilleurs ? Un panorama des benchmarks d'évaluation pour l'IA incarnée prédictive

Une synthèse déposée sur arXiv fin septembre 2026 recense et vérifie une par une 160 benchmarks d'évaluation robotique publiés entre 2017 et 2026, dans le but de déterminer si les modèles du monde (world models), qui prédisent les observations futures, offrent un avantage mesurable en boucle fermée face aux politiques vision-langage-action (VLA), qui associent directement l'observation à l'action. Les 160 bancs d'essai sont répartis en quatre familles : suites d'évaluation de politiques, agents incarnés, évaluation pure des world models, et ponts prédiction-vers-action. Le bilan chiffré est net : 138 benchmarks sur 160, soit 86%, restent agnostiques au type de modèle, 11 seulement (7%) construisent une comparaison explicite VLA contre world model, et 4 seulement transforment une prédiction en action réellement exécutée sur un robot. La capacité contrefactuelle, c'est-à-dire anticiper ce qui se passerait sous une action alternative, n'est quasiment jamais mesurée dans l'ensemble du corpus étudié. Ce travail met en lumière un angle mort structurel du secteur : il est aujourd'hui impossible de trancher, preuves à l'appui, si entraîner un robot à prédire l'avenir améliore réellement ses performances en boucle fermée par rapport à une politique VLA directe. Les benchmarks de world models jugent la qualité de la prédiction sans jamais l'exécuter, tandis que les suites de succès de tâche n'hébergent qu'une seule politique à la fois et ne construisent jamais ce contraste. Pour les intégrateurs et décideurs qui arbitrent entre paradigmes de recherche et priorités d'investissement, la leçon est de rester prudent face aux annonces autour des world models : générer des vidéos futures convaincantes ne prouve aucun gain réel de succès de tâche en conditions réelles, faute de protocole capable d'isoler cet avantage. Ce fossé méthodologique vient du fait que les deux courants de recherche se sont développés en parallèle sans jamais vraiment se confronter, les politiques VLA étant jugées en boucle fermée sur le taux de réussite de tâches concrètes, les modèles du monde en boucle ouverte sur la seule qualité de leurs prédictions ou générations. Face à ce vide, les auteurs comparent leur couverture à celle des huit enquêtes les plus proches déjà publiées et revendiquent être les seuls à croiser capacité robotique et famille de modèle. Ils proposent une taxonomie opérationnelle des 160 bancs d'essai, une boucle d'évaluation conçue pour isoler spécifiquement l'avantage de la prédiction, et un protocole de quatre métriques ancrées sur des bancs d'essai nommés. Leur conclusion n'est pas que les world models aident ou non les robots, mais que répondre à cette question exige de construire des benchmarks conçus spécifiquement pour la poser.

DAWN : parkour robuste au bruit pour quadrupède via des modèles du monde débruiteurs de profondeur

Des chercheurs ont présenté DAWN (Denoising and Alignment in World models for Noise-robustness), un cadre de perception robuste au bruit pour la locomotion des robots à pattes, décrit dans un article publié sur arXiv (2609.29092v1). Testé sur un quadrupède Unitree Go1, le système exécute du parkour en zero-shot, sans réentraînement ni calibration manuelle de filtre au déploiement : franchissement d'escaliers jusqu'à 18 cm, de trous jusqu'à 70 cm et montée de marches jusqu'à 45 cm, à partir de données de profondeur brutes et bruitées. La méthode combine deux mécanismes intégrés au world model : l'encodeur reçoit une image de profondeur bruitée tout en étant entraîné à reconstruire la version propre correspondante, ce qui le force à débruiter implicitement, tandis qu'un apprentissage contrastif aligne les représentations latentes des versions bruitées et propres d'une même scène. DAWN n'est lié à aucun modèle de bruit particulier et n'ajoute aucun coût de calcul par rapport aux méthodes existantes à world model. Des ablations montrent que le débruitage, au niveau de la reconstruction, et l'alignement contrastif, au niveau de la représentation, apportent des gains complémentaires et cumulatifs. Cette approche cible un point faible connu des pipelines de locomotion par vision : entraînés sur des données de profondeur propres, ils dépendent ensuite de filtres de post-traitement réglés à la main dont les paramètres sont rarement publiés, ce qui nuit à la reproductibilité et dégrade les performances quand le bruit n'est pas traité. En supprimant cette calibration manuelle, DAWN réduit la charge d'ingénierie pour les intégrateurs déployant des capteurs de profondeur bon marché ou bruyants sur des terrains réels, et remet en question l'idée qu'un modèle de perception entraîné en simulation nécessite un réglage fin spécifique au capteur pour combler l'écart entre simulation et monde réel. Les résultats restent toutefois démontrés sur une seule plateforme, le Go1, en conditions expérimentales, et non lors d'un déploiement industriel à grande échelle. DAWN prolonge les travaux sur la locomotion par world models et étend à la perception visuelle une robustesse au bruit déjà explorée pour les capteurs proprioceptifs, un axe resté largement inexploité pour la profondeur. Il s'inscrit dans la vague de démonstrations de parkour quadrupède portées ces dernières années par des plateformes comme celles de Unitree et par des laboratoires académiques travaillant sur la locomotion en terrain extrême. Le code et les vidéos ont été publiés sur dawn-parkour.github.io, une démarche de transparence qui tranche avec l'opacité des filtres propriétaires que l'article dénonce. Il s'agit à ce stade d'une contribution de recherche en preprint, sans partenariat industriel ni calendrier de déploiement commercial annoncé.

Verti-WM : un modèle du monde extéroceptif assisté par la physique pour l'apprentissage par renforcement tout-terrain

Verti-WM, un modèle de monde physique et extéroceptif destiné à l'apprentissage par renforcement en navigation tout-terrain, a été présenté dans un article déposé sur arXiv sous la référence 2609.23118. Le système fusionne de façon récurrente un Transformer figé, dédié aux terrains rigides, et un modèle neuro-symbolique de terramécanique pour les terrains déformables, en interrogeant à chaque pose prédite une carte fournie pour en extraire l'élévation et la sémantique du sol, ce qui permet des simulations à six degrés de liberté sans accès supplémentaire à un simulateur. Cette approche réduit l'erreur de prédiction de 34,6% par rapport à une base purement data-driven et de 21,7% par rapport à une base purement physique. Des politiques entraînées uniquement dans Verti-WM atteignent des taux de réussite comparables à celles entraînées dans un simulateur haute-fidélité, tout en réduisant le temps de calcul d'un facteur 23,6. Les auteurs valident enfin l'approche sur des données réelles: une politique optimisée dans une dynamique apprise à partir du monde réel atteint 80% de réussite sur la plateforme robotique Verti-4-Wheeler, contre 40% pour un transfert sim-to-real direct. Ce travail cible une limite connue des world models utilisés en RL: la seule proprioception ne suffit pas à anticiper les interactions roue-sol en tout-terrain, où la nature du sol change radicalement la dynamique du véhicule. En combinant un module data-driven efficace sur sols rigides avec un modèle physique adapté aux sols déformables, Verti-WM atténue le compromis habituel entre fidélité physique et coût de collecte de données en simulation haute-fidélité. Pour les équipes robotiques travaillant sur des véhicules autonomes tout-terrain, agricoles, de défense ou d'exploration, la division par plus de 23 du temps de calcul change l'économie de l'entraînement de politiques, et l'écart entre 80% et 40% de réussite en conditions réelles constitue une indication chiffrée, bien que limitée à une seule plateforme, de réduction du fossé sim-to-real. Le travail s'inscrit dans la continuité des recherches sur les world models pour la RL, transposées ici au véhicule tout-terrain, domaine historiquement partagé entre approches data-driven et modèles physiques de terramécanique que Verti-WM cherche à combiner. La validation s'appuie sur la plateforme Verti-4-Wheeler, déjà utilisée dans des travaux antérieurs du même laboratoire sur la navigation verticale tout-terrain. L'article ne mentionne aucun partenaire industriel ni plan de déploiement commercial: il s'agit à ce stade d'une contribution académique, dont les suites attendues porteraient sur l'extension à d'autres plateformes, d'autres types de terrains déformables et une validation à plus grande échelle du transfert sim-to-real.

Praxis One de Huaruizhipu : jusqu'à 106 TOPS de calcul embarqué pour l'IA incarnée sur MediaTek Genio Pro 5100

Huaruizhipu, société chinoise basée à Guangzhou, a présenté Praxis One, une plateforme de calcul embarqué pour l'IA physique, en marge du 9e China Robot Summit à Hangzhou le 17 septembre 2026. Le produit repose sur le système sur puce Genio Pro 5100 de MediaTek, gravé en 3 nanomètres avec une architecture Arm v9.2 à huit cœurs « big » et un NPU de huitième génération annoncé à environ 106 TOPS. MediaTek et ses partenaires avancent une prise en charge jusqu'à 16 flux caméra FHD virtuels, du Wi-Fi 7, du Bluetooth 6.0 et une option 5G, ainsi qu'une inférence locale du modèle Qwen3-7B à environ 23 tokens par seconde, chiffre communiqué par le fabricant sans détail sur les conditions de mesure. La puce est donnée pour une plage de température industrielle de -40°C à 105°C, visant les déploiements en usine ou en extérieur. Huaruizhipu propose en parallèle une version allégée, Praxis Nano, bâtie sur le Genio 720 de MediaTek pour les robots de taille moyenne et les boucles mouvement-capteurs, Praxis One ciblant les charges plus lourdes: perception multimodale, politiques vision-langage-action (VLA), modèles du monde légers, inférence de grands modèles en local et planification de tâches complexes. L'argument central porte sur l'architecture: la plupart des plateformes robotiques séparent aujourd'hui un accélérateur cognitif d'un microcontrôleur de mouvement distinct, ce qui introduit de la latence entre puces, des pertes de données et de la complexité de carte. Praxis One réunit décision de haut niveau et contrôle moteur bas niveau sur un seul SoC, un choix qui, si les chiffres se confirment en conditions réelles, réduirait ces frictions pour les humanoïdes et robots gourmands en calcul. Pour les intégrateurs et décideurs industriels, l'intérêt tient surtout à l'inférence embarquée: faire tourner un modèle de langage de 7 milliards de paramètres sans dépendre du cloud change la donne pour des sites aux connexions instables. Il faut toutefois noter qu'il s'agit à ce stade d'une annonce de plateforme de calcul et non d'un robot livré en volume: aucun chiffre de déploiement réel, aucun client nommé ni calendrier de production en série n'accompagne la présentation, et les performances citées proviennent des communications de MediaTek et de Huaruizhipu, pas de bancs d'essai indépendants. Praxis One s'inscrit dans une offre plus large que Huaruizhipu construit autour de l'IA incarnée: une gamme de matériel de collecte de données de terrain sous la marque RuiMou, un modèle de monde latent contraint par la physique, des « scene robots » et des offres clé en main destinées aux fabricants et aux laboratoires de recherche. L'entreprise reste peu documentée en dehors des supports chinois et de son site harmony-robot.com, au point que sa dénomination anglaise officielle n'est pas fermement établie, d'où l'usage prudent des noms Huaruizhipu et Praxis One en attendant une confirmation de marque à l'international. Le lancement, adossé au China Robot Summit de Hangzhou, illustre la course chinoise au silicium dédié aux humanoïdes, un segment où des fournisseurs comme MediaTek cherchent à se positionner face aux solutions historiquement bâties autour de puces Nvidia ou Qualcomm dans les plateformes robotiques occidentales. Aucun partenariat, pilote ou date de disponibilité commerciale précise n'a été communiqué au-delà des deux références de gamme, Praxis One et Praxis Nano.

Sentir le terrain avant de le franchir : des modèles du monde pour la navigation tout-terrain

Une équipe de chercheurs présente, dans un article déposé sur arXiv (référence 2609.19863v1, catégorie "new"), Feel-WM, un modèle de monde ("world model") de navigation conçu pour les terrains accidentés hors piste. Contrairement aux modèles de navigation urbaine, qui se contentent de prédire la scène visuelle à venir, Feel-WM prédit en plus l'état proprioceptif futur du robot, c'est-à-dire son glissement, son inclinaison et ses vibrations le long d'une trajectoire envisagée, ainsi qu'un risque d'échec associé, le tout appris directement à partir de l'expérience du robot sans étiquetage humain. Le planificateur simule ce futur physique en parallèle de la scène visuelle et pondère le risque d'échec prédit face à la proximité avec l'objectif dans un score de décision séparé. Les auteurs ont testé le système sur des données réelles de terrain accidenté et en simulation, sur des plateformes à la fois à roues et à pattes, puis l'ont déployé en embarqué sur un robot à roues Husky lancé sur des sentiers de montagne, où il a anticipé les zones de sol difficile, les a contournées, et a terminé des parcours qu'une politique de bout en bout classique échouait à compléter. L'apport revendiqué est de démontrer que la seule prédiction visuelle ne suffit pas dès que l'interaction robot-terrain devient le facteur dominant, ce qui est le cas hors des environnements urbains structurés où circulent la plupart des robots mobiles commerciaux actuels. En ajoutant la proprioception comme donnée d'entrée, Feel-WM améliore la prédiction du futur physique et surpasse les modèles de navigation purement visuels, aussi bien en planification en boucle ouverte qu'en navigation en boucle fermée sur terrain difficile. Pour les intégrateurs de robots mobiles destinés à l'agriculture, la défense, la sylviculture ou le secours en zone non structurée, ce travail suggère une piste concrète pour réduire les échecs de navigation sans dépendre uniquement de caméras ou de lidars, un enjeu de fiabilité central pour les flottes autonomes en extérieur. Il nuance aussi l'idée reçue selon laquelle les modèles de monde visuels suffiraient à généraliser la planification robotique à tous les environnements. Ce travail s'inscrit dans la tendance de recherche consistant à planifier par anticipation, en simulant les conséquences de chaque action candidate plutôt qu'en associant directement observation et commande, une approche qui concurrence les politiques de bout en bout entraînées par imitation ou apprentissage par renforcement. La quasi-totalité des modèles de monde publiés jusqu'ici ciblait des environnements urbains ou structurés, où l'image seule constitue un proxy suffisant du futur pertinent pour la navigation. Feel-WM comble ce manque pour la robotique tout-terrain en exploitant des signaux proprioceptifs, issus par exemple de centrales inertielles ou d'encodeurs de roues et de jambes, appris de façon autonome. L'article ne mentionne à ce stade ni affiliation industrielle ni partenaire de déploiement commercial : il s'agit d'une validation expérimentale sur robot Husky et en simulation, sans calendrier de mise en production ni pilote industriel annoncé.

TacSushi : modélisation monde-action ancrée dans le tactile pour la manipulation dextérique de sushis

Une équipe de recherche présente TacSushi, une politique robotique world-action ancrée dans le toucher, bâtie sur un modèle de monde Cosmos3, destinée à la manipulation dextre d'aliments déformables comme le sushi. Le système encode l'image RGB courante, une consigne en langage naturel et l'état de la main, puis fusionne par un mécanisme de gating feature-wise les signaux tactiles des bouts de doigts dans la représentation d'action ; pendant l'entraînement seulement, un décodeur conditionné par les segments d'action démontrés prédit les observations visuelles futures, la progression de la tâche et le risque de contact, avant d'être retiré au déploiement. Entraîné sur 340 essais réussis et 50 essais échoués sur robot réel, TacSushi a été testé sur 600 rollouts couvrant trois tâches en distribution et deux variantes d'ingrédients hors distribution, la qualité du plat final étant jugée par un protocole mêlant à parts égales cinq notations humaines et trois notations de modèles vision-langage. Résultat : 68,3% de réussite moyenne en distribution et 37,5% hors distribution, contre 36,7%/10,0% sans la supervision par conséquences futures et 25,0%/17,5% avec une simple concaténation tactile au lieu de la fusion gated. Ces chiffres valident surtout deux choix d'architecture plutôt qu'une performance spectaculaire : la fusion tactile gated par caractéristique apporte un gain net face à une concaténation brute, et la supervision prédictive, entraînée mais jamais exécutée en production, améliore la généralisation sans coût au déploiement. Pour les équipes de manipulation dextre et les intégrateurs, l'écart entre réussite en distribution et hors distribution illustre une nouvelle fois le fossé persistant entre démonstration contrôlée et généralisation réelle des politiques vision-langage-action, un problème que le secteur peine encore à résoudre malgré les annonces. Évaluer la qualité perçue de l'aliment via des juges humains et des modèles vision-langage, plutôt qu'un seuil géométrique binaire, répond aussi à une limite méthodologique connue des benchmarks de manipulation alimentaire, où texture et présentation comptent autant que le succès du geste. TacSushi s'inscrit dans la lignée des politiques robotiques bâties sur des backbones de modèles de monde ou vision-langage-action, comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, mais cible un terrain nettement moins couvert, la manipulation d'aliments fragiles, plutôt que la préhension d'objets rigides. Publié en prépublication sur arXiv sans affiliation industrielle mentionnée, le travail reste une évaluation de laboratoire sur rollouts contrôlés, sans partenaire commercial ni calendrier de déploiement annoncés, et son jeu d'entraînement de 340 démonstrations réussies pour seulement 50 échecs demeure modeste au regard des efforts de VLA à grande échelle menés par les grands laboratoires. La suite logique, non précisée par les auteurs, consisterait à élargir les tâches culinaires et les variantes d'ingrédients testées pour vérifier si les gains observés hors distribution résistent à une variabilité alimentaire encore plus large.

Xiaomi ouvre en open source son modèle du monde incarné Robotics-U0 et sa suite d'entraînement

Xiaomi a publié en open source Xiaomi-Robotics-U0, un modèle de monde incarné autorégressif qui traite la génération de contenu robotique comme une extension des modèles fondation image et vidéo, plutôt que comme un simple générateur de trajectoires. La version principale compte environ 38 milliards de paramètres, entraînée en continu pour l'intelligence incarnée ; une variante Xiaomi-Robotics-U0-4B et des déclinaisons FlashAR sont aussi publiées sur Hugging Face et ModelScope, avec code d'inférence, démos Gradio et scripts d'entraînement FSDP mis en ligne début septembre. Dans un seul cadre de prédiction de token, le modèle unifie génération texte-vers-image, édition d'image, synthèse de scènes multi-vues, transfert incarné contrôlable et déroulement de vidéo, en s'appuyant sur une tokenisation IBQ et des briques issues de Qwen3-32B et de la lignée EMU3.5. Le module d'inférence FlashAR+ remplace le décodage séquentiel token par token par une génération parallèle, couplée au batching vLLM, avec un gain revendiqué de 82,9 fois à près de 83 fois en génération 1024x1024, faisant chuter la latence d'un exemple type de 450,8 à 5,44 secondes, et un score EWMScore_P de 73,64 plaçant UNIS en tête du classement WorldArena. Pour l'industrie robotique, cette ouverture d'un modèle de monde de cette taille change la donne pour les intégrateurs qui cherchent à générer des données synthétiques d'entraînement sans multiplier les collectes réelles : Xiaomi affiche une progression du taux de réussite sur des tâches d'interférence de 36,9% à 63,2% sous fonds et éclairages inédits, en mélangeant données de transfert de style et démonstrations réelles pour le post-entraînement de politiques de contrôle. Cela nourrit le débat sur la résolution du fossé simulation-réel et la viabilité des modèles vision-langage-action (VLA) à grande échelle. Les comparaisons revendiquées face à GPT-Image-2 reposent toutefois sur des jeux de test internes non vérifiés de façon indépendante, et les checkpoints vidéo restent en retard sur les versions image et transfert, ce qui invite à la prudence avant de considérer ces poids ouverts comme une usine à données prête à l'emploi pour des robots en production. Cette publication s'inscrit dans la montée en puissance de Xiaomi sur la robotique incarnée, aux côtés d'acteurs comme Nvidia et son GR00T N2, Physical Intelligence et Pi-0, ou Figure et Helix, qui développent tous des modèles de fondation pour l'action robotique. En misant sur un modèle de monde génératif plutôt que sur une politique d'action directe, Xiaomi se positionne sur la brique amont de génération de données et de simulation, complémentaire des VLA de contrôle. Xiaomi invite lui-même les équipes à vérifier les termes de licence, le choix du moteur FlashAR et la reproductibilité des scores WorldArena par des tiers avant tout déploiement en production, signe que cette publication reste à ce stade un jeu d'outils de recherche plutôt qu'un produit clé en main pour l'industrie.

Shengshu Technology dévoile Motus2, un modèle du monde auto-évolutif pour la manipulation dextérique

Shengshu Technology a dévoilé Motus2, un modèle de monde pour la manipulation robotique fine, présenté par son cofondateur et PDG Luo Yihang au Bund Summit 2026 ; le papier technique (arXiv 2608.30237) associe l'identité de recherche GensPI de Shengshu à l'université Tsinghua. Le système fusionne politique, simulation et évaluation dans un seul réseau vidéo-action, via trois modules : un modèle monde-action qui propose des séquences de gestes, un modèle de monde conditionné par l'action qui en prédit les conséquences visuelles, et un modèle de valeur qui les note pour choisir la meilleure à l'exécution ou affiner la politique par renforcement en post-entraînement. Sur des tâches réelles de placement de téléphone et de manipulation multi-doigts, la politique de base atteint environ 65% de réussite, contre 67,5% avec la planification seule, 72,5% avec le renforcement seul, et 75% en combinant les deux ; un module tactile complémentaire fait grimper la réussite sur l'extraction de tasses et le déchirement de papier de 60% à 72,5%. L'entraînement mobilise environ 130 000 heures de vidéo égocentrique humaine et plus de 100 heures de trajectoires robotiques, sur des plateformes à haut degré de liberté (DoF) comme Sharpa Wave et Wuji Hand 2 pour des tâches comme visser une ampoule ou tourner une page. Pour les intégrateurs, l'apport concret n'est pas le qualificatif "auto-évolutif" mis en avant par Shengshu, mais la preuve chiffrée que planification et apprentissage par renforcement, adossés à un même modèle de monde, s'additionnent plutôt qu'ils ne se recouvrent, avec un gain net d'environ dix points sur la politique de base. Le bond obtenu grâce au retour tactile sur des tâches à contact riche cible directement le principal verrou du secteur, la manipulation fine, alors que la locomotion humanoïde est déjà largement démontrée par ailleurs. Ces chiffres restent des métriques de laboratoire communiquées par l'équipe elle-même, sur un nombre restreint de tâches et sans comparaison publique face aux modèles concurrents, ce qui laisse ouvert l'écart habituel entre démonstration filmée et fiabilité en conditions réelles. Shengshu cadre explicitement l'"auto-amélioration" comme un mécanisme récursif borné à des tâches définies, et non comme une autonomie ouverte en environnement non contraint. Motus2 s'inscrit dans la feuille de route que Shengshu présente comme une progression de modèles de monde généraux "de L3 à L4", portée par sa structure de recherche GensPI avec Tsinghua. Il rejoint un paysage déjà dense de modèles vision-langage-action, aux côtés de Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, tous engagés à transformer des heures de vidéo humaine en manipulation fiable sur robot réel. Aucun acteur français ou européen n'apparaît dans cette annonce, qui reste une publication de recherche assortie de démonstrations matérielles, sans calendrier de pilote industriel communiqué.

Le boom des robots humanoïdes en Chine (partie III) : quand aura lieu leur moment ChatGPT ?

Cinq entreprises chinoises ont concentré 86% des livraisons mondiales de robots humanoïdes au premier semestre 2026, selon Counterpoint Research, confirmant l'avance chinoise en volume sur ce marché naissant. Les levées de fonds suivent : la division robotique de XPeng a recueilli plus de 900 millions de dollars en août, la valorisant à plus de 6,3 milliards de dollars, et Galbot a levé 2,5 milliards de yuans (362 millions de dollars) en mars, après un tour de plus de 300 millions fin 2025 qui l'avait valorisée environ 3 milliards. Les humanoïdes sont testés dans l'automobile, l'électronique, la logistique, l'aérospatiale et l'énergie, mais la commercialisation reste précoce, entre achats unitaires, préorders et pilotes, sans commandes répétées à grande échelle. Au BEYOND Expo, Fu Sheng, PDG de Cheetah Mobile et président d'OrionStar, a rappelé que le vrai défi est "le dernier 1%" : un taux de succès de 99% laisse un échec toutes les cent tentatives. Selina Xu, du bureau IA d'Eric Schmidt, juge que les entreprises chinoises avancent plus vite et plus large que leurs rivales américaines. Cet écart entre volume et maturité commerciale est le point clé pour intégrateurs et décideurs industriels. Les modèles vision-langage-action et les "world models" restent précoces, et Nvidia domine la pile logicielle robotique de bout en bout, laissant de nombreuses startups chinoises dépendantes de ses puces Orin, même si des fondeurs locaux développent des alternatives. Pour Jiang Han, chercheur au Pangoal Institution, les commandes répétées et le délai de retour sur investissement client sont les vrais signaux qu'un robot résout un problème réel, plus que le coût de fabrication seul : l'avantage durable de la Chine tiendrait à la combinaison de coûts bas et d'itération rapide, matérielle et logicielle. La donnée reste un goulot d'étranglement : impossible d'extraire des exemples d'interaction physique depuis internet comme pour les grands modèles de langage, d'où le recours aux données synthétiques, à la simulation et à l'apprentissage par renforcement. Harry Mellsop, cofondateur d'Antioch, compare l'IA physique à "l'ère GPT-2", avant le saut de ChatGPT. Trois facteurs structurent cette avance, selon la troisième partie de l'enquête de TechNode sur le boom humanoïde chinois : le coût, l'accès au capital et un vaste terrain d'essai. La base industrielle chinoise, adossée à la chaîne d'approvisionnement des véhicules électriques pour batteries et capteurs, permet un sourcing local, une itération rapide et des prix plus bas que chez les rivaux américains. Face à la domination logicielle de Nvidia, des acteurs chinois cherchent des alternatives aux puces Orin, enjeu autant technologique que souverain. La sécurité reste un risque : un accident médiatisé pourrait déclencher un retour de bâton réglementaire. Reste le calendrier : Sam Altman évoque un "moment ChatGPT" pour l'humanoïde à quelques années, mais l'article souligne que ce basculement dépendra moins des démonstrations spectaculaires déjà vues que de la fiabilité et de la rentabilité prouvées dans la durée.

DUET-DINO : modélisation simultanée du monde multi-vue pour la planification latente en manipulation robotique

Des chercheurs affiliés au laboratoire UTN-AIR publient DUET-DINO, un modèle de monde latent conditionné par l'action, décrit dans une prépublication arXiv du 10 septembre 2026 (arXiv:2609.10506). Le système apprend simultanément à partir de deux flux vidéo, une caméra statique de scène et une caméra montée sur le poignet du bras robotique, en les faisant se conditionner mutuellement, pour prédire les conséquences visuelles d'une action sur l'ensemble des 7 degrés de liberté (DOF) d'un effecteur terminal. Entraîné à partir de zéro sur les jeux de données DROID et RoboArena, il atteint 92% de réussite sur des tâches d'atteinte spatiale (reach), 72,5% sur des tâches d'atteinte avec orientation fine (angled-reach) et 60,0% sur des tâches de préhension et levage d'objet (grasp-and-lift), surpassant des versions à vue unique ou à double vue non couplée. Les auteurs comparent aussi deux briques de vision : les prédictions du modèle V-JEPA 2 sur la vue poignet sous-estiment la dynamique visuelle induite par des actions fines, tandis que DINOv3 capture mieux ces changements et améliore la planification en aval. Le code et les poids seront publiés en open source, mais ne le sont pas encore à ce stade. L'enjeu technique visé est concret : les modèles de monde latents existants échouent souvent sur les actions spatiales et rotationnelles fines, ce qui limite leur usage pour un contrôle précis en 7 DOF, indispensable à des tâches d'insertion, de saisie orientée ou de manipulation fine en usine. En couplant vue globale de scène et vue centrée sur la pince, DUET-DINO cherche à combler cet écart pour permettre une planification zero-shot conditionnée par objectif, sans réentraînement spécifique à chaque tâche. Pour les intégrateurs et décideurs robotique, le résultat le plus utile n'est pas tant les scores de réussite, encore modestes sur des tâches de préhension complexes, que l'indication empirique que le choix du backbone visuel (DINOv3 plutôt que V-JEPA 2) conditionne directement la qualité de la planification en aval, un signal utile pour quiconque construit des architectures VLA ou de modèles de monde. Ce travail s'inscrit dans la lignée des modèles de monde auto-supervisés type V-JEPA de Meta et des familles DINOv2/DINOv3, plutôt que dans celle des politiques VLA de bout en bout comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui apprennent directement une politique d'action plutôt qu'un modèle prédictif séparé. DUET-DINO reste à ce stade une publication de recherche évaluée sur des bancs d'essai contrôlés, sans déploiement industriel annoncé ; les auteurs promettent la publication du code et des checkpoints ainsi qu'une page projet dédiée, mais aucun calendrier de mise à disposition n'est précisé.

RoboPhys-3D : évaluation complète des modèles du monde incarnés par reconstruction 3D

Une équipe de recherche présente RoboPhys-3D, un benchmark d'évaluation pour les world models vidéo embarqués (embodied world models, EWM), construit sur RoboTwin 2.0. Il couvre 50 tâches de manipulation réparties en quatre régimes, avec 5 000 épisodes et 25 000 vidéos multi-vues de référence. Particularité du protocole : les vidéos générées et les vidéos de référence passent par le même pipeline de reconstruction 3D, ce qui permet de distinguer l'erreur due à la reconstruction de celle due à la génération elle-même. Le benchmark organise 50 métriques en 18 sous-dimensions réparties sur quatre niveaux : fidélité au pixel, cohérence géométrique 3D, compréhension de l'état de la scène et complétude de la tâche. Deux scores composites en découlent : l'Average Full Score, qui moyenne les 50 métriques, et le RoboPhyscore, centré sur les métriques les plus corrélées au succès réel de la tâche. Sur quatre world models vidéo testés, Cosmos 3 obtient le meilleur RoboPhyscore (0,6330, soit 92,7% du score de référence), et ce score affiche une forte corrélation avec l'évaluation humaine (Pearson r = 0,9761, Spearman rho = 0,8962). Ce travail comble un angle mort de l'évaluation des world models pour la robotique : la plupart des benchmarks existants jugent la qualité visuelle ou sémantique des vidéos générées via des juges perceptuels ou des modèles vision-langage, sans vérifier si la scène 3D reste physiquement exploitable pour piloter un robot. Or les métriques ancrées dans l'état de la scène et dans l'exécutabilité des actions révèlent des échecs substantiels que ces jugements perceptuels ou VLM ne détectent pas, un écart classique entre qualité d'image perçue et utilité réelle pour la planification. Pour les équipes qui exploitent des world models comme moteurs de données synthétiques, planificateurs d'actions ou simulateurs, cela signale qu'un bon score de fidélité visuelle ne garantit pas un rollout exploitable en aval. La forte corrélation du RoboPhyscore avec le jugement humain suggère en revanche qu'une métrique compacte et ancrée dans l'exécution pourrait remplacer une évaluation humaine coûteuse à grande échelle. Ce besoin découle de l'absence, jusqu'ici, d'un standard 3D unifié pour vérifier si un rollout généré préserve l'état réel de la scène, les benchmarks EWM existants restant majoritairement 2D ou basés sur des scores subjectifs. RoboPhys-3D positionne Cosmos 3, la gamme de world models vidéo de NVIDIA, comme la plus performante parmi les quatre testées, sans détailler ici les trois autres modèles comparés ni de calendrier de déploiement industriel : il s'agit d'un travail de recherche en évaluation (preprint arXiv 2608.28718v1), pas d'une annonce produit. Il s'inscrit dans une dynamique plus large où les world models vidéo sont de plus en plus proposés comme substituts à la simulation physique classique pour entraîner des politiques de manipulation robotique, et la publication de ce protocole ouvre la voie à des comparaisons plus rigoureuses à mesure que de nouvelles versions de ces modèles sortiront.

Riemann-1.0 : un modèle d'action du monde incarné pour l'IA physique

Un preprint publie sur arXiv (2608.27033) présente Riemann-1.0, un "World Action Model" causal et autoregressif qui unifie, dans une seule séquence, observations visuelles multi-vues, états du robot et actions spécifiques a chaque embodiment. Le modèle est pré-entraine sur plus de 200 000 heures de données hétérogènes: vidéos humaines a la première personne, démonstrations avec pinces portables et trajectoires de robots varies. Il atteint 94,3% de réussite sur RoboTwin2.0, 99,0% sur LIBERO et 62,6% sur le benchmark compositionnel long-horizon RoboCasa-365, soit 8,4 points de plus que la meilleure méthode antérieure. Sur des taches réelles de manipulation longue durée, il obtient 85,0% de réussite (SR) et 94,4% de progression (PSR), soit 15 points de plus que le meilleur système open source de référence. Le résultat notable n'est pas seulement le score, mais l'architecture: un seul modèle fait a la fois office de politique de contrôle exécutable et de simulateur du monde conditionne par l'action, la ou la plupart des approches séparent prédiction vidéo et génération d'actions. Cela alimente le débat sur le passage a l'échelle des modèles vision-langage-action, en suggérant que des sources bon marche comme la vidéo humaine peuvent compléter des données robotiques rares pour améliorer la généralisation. Pour les intégrateurs, la prudence reste de mise: ces résultats proviennent d'un preprint non relu par les pairs, obtenus sur des benchmarks contrôles et des taches réelles décrites de façon générique, sans précision sur le site de test ni sur un déploiement en production. Riemann-1.0 se positionne contre trois familles de "world models" robotiques existantes, génération conjointe d'actions et d'images, prédiction vidéo suivie d'une politique séparée, ou architectures découplées, jugées limitantes par ses auteurs face a la fragmentation entre simulation du monde et contrôle du robot. L'article ne mentionne ni organisation commerciale a l'origine du projet, ni plateforme robotique associée, ni date de pilote ou de déploiement: il se presente comme un jalon de recherche plutôt que comme un produit livre. Les suites logiques, non confirmées dans le texte, porteraient sur l'extension a davantage d'embodiments et sur des essais en conditions réelles hors laboratoire, dans la lignée des travaux parallèles menés par d'autres laboratoires sur les modèles fondation pour la manipulation robotique.

CLAP : les modèles du monde vidéo à embodiment croisé, des simulateurs physiques sans apprentissage spécifique

Une nouvelle prépublication arXiv décrit CLAP, un framework de génération vidéo conditionnée par l'action capable d'apprendre simultanément sur des vidéos humaines et robotiques hétérogènes à l'échelle d'internet, plutôt que de rester cantonné à une seule plateforme comme la plupart des modèles existants. Il unifie les espaces d'action, incompatibles entre robots et absents des vidéos humaines, via trois représentations combinées : poses de l'effecteur terminal, instructions en langage naturel et actions latentes apprises automatiquement. L'entraînement suit un curriculum en deux temps, acquérant d'abord des a priori physiques génériques sur des vidéos non annotées avant de les ancrer dans l'espace des poses d'effecteur pour un déploiement zero-shot sur des tâches réelles. Sur le benchmark DROID, CLAP égale voire dépasse les modèles vidéo spécialisés à une seule plateforme, et a aussi été évalué sur Bridge, des robots bimanuels YAM et des humanoïdes G1 ; code et modèles sont publiés en open source sur omni-clap.github.io. L'enjeu dépasse la performance sur un benchmark : la plupart des modèles vidéo servant de simulateurs physiques pour entraîner ou évaluer des politiques robotiques restent liés à une seule plateforme, obligeant à recollecter des données coûteuses à chaque nouveau robot. En montrant qu'un modèle entraîné sur un corpus mixte humains et robots peut égaler des modèles spécialisés puis les dépasser via un fine-tuning few-shot, CLAP esquisse un paradigme où un modèle de monde générique s'adapte à moindre coût à chaque nouvel embodiment, un argument pertinent pour les intégrateurs qui multiplient bras bimanuels et humanoïdes. La promesse d'un simulateur physique « zero-shot » reste néanmoins à nuancer, les résultats portant sur des benchmarks académiques contrôlés plutôt que sur un déploiement industriel. Ce travail s'inscrit dans la multiplication des modèles de monde vidéo appliqués à la robotique, où la génération vidéo sert de plus en plus de proxy de simulation pour entraîner des politiques d'action sans multiplier les essais réels, un usage jusque-là limité par l'incompatibilité des espaces d'action et par l'absence de labels dans les vidéos humaines, qui composent pourtant l'essentiel des données disponibles à l'échelle d'internet. Les bancs d'essai (DROID, Bridge) et plateformes testées (bras bimanuels YAM, humanoïde G1) sont des références standard de la recherche en apprentissage robotique, ce qui situe CLAP comme un travail académique plutôt qu'un produit commercial. Les auteurs, qui publient l'ensemble du code et des modèles, présentent le fine-tuning few-shot comme la piste principale pour étendre ce paradigme à de nouvelles plateformes, sans calendrier de déploiement industriel annoncé.

Robots humanoïdes : AgiBot pousse les entreprises vers l'IA et redéfinit la compétition en IA incarnée

En 2026, la société chinoise AgiBot a poursuivi le développement de sa gamme de robots humanoïdes, dont le modèle Expedition A3, tout en construisant une pile logicielle complète pour l'IA incarnée. En avril, elle a lancé GO-2, son modèle fondation robotique, censé renforcer la compréhension, la planification et l'exécution de tâches par les robots. Sa plateforme de simulation Genie Sim 3.0 a ouvert plus de 10 000 heures de données synthétiques et un système d'évaluation couvrant plus de 100 000 scénarios, selon l'entreprise. Ces outils complètent AGIBOT WORLD, sa base de données rassemblant des millions d'échantillons collectés en conditions réelles, et le modèle GE-2 Action World Model. AgiBot a aussi lancé la Hive Data Co-Creation Initiative, visant une production de données à l'échelle de dizaines de millions d'heures d'ici fin 2026. Aucun prix ni volume de déploiement commercial n'est précisé. Cette bascule traduit un changement de fond dans la compétition humanoïde mondiale: la maîtrise mécanique, agilité, fiabilité, coût, cesse d'être le seul facteur différenciant à mesure que plusieurs acteurs règlent les bases du mouvement robotique. Le nouveau verrou se déplace vers l'apprentissage: un robot peut-il comprendre un environnement inconnu, exécuter une tâche non programmée, ou transférer l'expérience d'une unité à toute une flotte? Pour les intégrateurs et décideurs industriels, l'évaluation d'un fournisseur doit désormais porter autant sur le volume et la qualité des données d'entraînement, la robustesse des modèles fondation et la vitesse d'itération, que sur les spécifications du châssis. Le pari d'AgiBot, boucler un cycle continu entre données réelles, simulation, entraînement et exécution, reste à valider à grande échelle: les chiffres de simulation avancés par l'entreprise ne sont pas vérifiés de façon indépendante. Ce virage s'inscrit dans une trajectoire sectorielle plus large où les frontières entre fabricants de robots et laboratoires d'IA s'estompent, à l'image de Physical Intelligence (modèles Pi-0), NVIDIA (GR00T N2) ou Figure AI (modèle Helix), qui combinent tous hardware et modèles génériques entraînés sur de vastes corpus robotiques. Le matériel reste néanmoins loin d'être secondaire: fiabilité mécanique, maîtrise des coûts et capacité de fabrication à grande échelle continueront de déterminer si ces robots passent réellement de l'usine pilote à l'entrepôt en production. AgiBot ne communique, dans cette annonce, ni calendrier précis de déploiements pilotes ni partenaires industriels nommés pour l'Expedition A3 ou les prochaines itérations de GO-2 et Genie Sim, laissant ouverte la question du passage de cette architecture intégrée à des cas d'usage commerciaux vérifiables.

DreamX-Phi 1.0 : modèle du monde vidéo conditionné par l'action pour la manipulation robotique

DreamX-Phi 1.0, un modèle de monde vidéo conditionné par l'action pour la manipulation robotique, est présenté dans un article déposé sur arXiv (2608.13489v1). À partir d'une image observée, d'une instruction en langage naturel et d'une séquence d'actions prescrite, poses de l'effecteur terminal et états du gripper, le système prédit les observations vidéo futures correspondantes. Pour éviter qu'une vidéo réaliste en apparence déplace le mauvais bras ou fasse disparaître l'objet manipulé, les auteurs injectent des transformations géométriques SE(3) propres à chaque bras dans les couches d'attention via un encodage de type PRoPE, complété par une branche de profondeur pour la géométrie de la scène et des masques SAM3 associés à un modèle enseignant V-JEPA figé pour maintenir la cohérence des objets durant la saisie. Le générateur multi-étapes est ensuite distillé en un modèle étudiant à peu d'étapes pour accélérer le déploiement. Le modèle revendique la première place sur la Track 1 et la deuxième sur la Track 2 du WorldArena 2.0 Challenge, avec publication annoncée du modèle et du code. Cette approche s'attaque à un problème central des modèles de monde appliqués à la robotique: une vidéo générée peut paraître photoréaliste tout en étant physiquement incohérente avec les commandes envoyées au robot, ce qui invalide son usage pour l'entraînement de politiques ou la planification. En ancrant la génération vidéo sur la géométrie rigide réelle de chaque bras et en préservant l'identité des objets manipulés, DreamX-Phi cherche à combler l'écart entre démonstration visuelle convaincante et fidélité exploitable pour le contrôle. La distillation en modèle étudiant à peu d'étapes répond à une contrainte pratique bien connue des intégrateurs: les modèles de monde vidéo multi-étapes sont souvent trop lents pour une boucle de contrôle temps réel, ce qui limite sinon leur usage à la simulation ou à l'évaluation hors ligne. Le classement sur WorldArena 2.0 reste toutefois un résultat de benchmark académique et non une validation en conditions réelles sur un robot physique. DreamX-Phi s'inscrit dans une vague plus large de modèles de monde vidéo pour la robotique, qui cherchent à compléter ou remplacer les architectures vision-langage-action comme Pi-0 ou GR00T N2 par une simulation générative directe des conséquences d'une action. Le recours à SAM3 pour la segmentation et à V-JEPA comme enseignant figé situe le projet dans la lignée des modèles de représentation vidéo auto-supervisés récents plutôt que dans une pile propriétaire fermée. À ce stade, aucune information ne mentionne de déploiement sur un robot physique ni de partenariat industriel: il s'agit d'un article de recherche accompagné d'un résultat de compétition, le modèle et le code étant seulement annoncés comme à venir. La suite logique, si cette promesse de publication est tenue, sera l'adoption du modèle comme brique de simulation ou d'évaluation par d'autres équipes travaillant sur la manipulation robotique.

JEPA-WAM : des politiques vision-langage-action apprises par modélisation du monde à embarquement conjoint

JEPA-WAM, un nouveau modèle de monde latent (world action model, WAM) pour le contrôle robotique, est présenté dans un article publié le 11 août 2026 sur arXiv (2608.09381v1). Le système s'appuie sur l'espace latent pré-entraîné V-JEPA, l'architecture d'auto-supervision vidéo développée par Meta AI, et couple prédiction de transition et génération d'action continue via un prédicteur partagé, plutôt que de générer explicitement des vidéos futures comme le font les WAM à base vidéo, coûteux à déployer. Sur le benchmark LIBERO-Plus, JEPA-WAM atteint 79,2 % de réussite, le meilleur score parmi les méthodes sans pré-entraînement à grande échelle sur des politiques robotiques. Instancié sur le modèle pi0.5 déjà pré-entraîné, il grimpe à 86,3 %, la meilleure performance globale rapportée dans l'article. Des expériences complémentaires sur le simulateur RoboTwin 2.0 et sur des tâches de manipulation bimanuelle en conditions réelles confirment une bonne généralisation face aux variations visuelles et spatiales. Ce travail s'attaque à un compromis central dans l'apprentissage de politiques vision-langage-action (VLA) : les modèles de monde générant explicitement des vidéos futures sont coûteux en calcul et en latence, tandis que les approches latentes existantes sacrifient souvent la richesse de la représentation prédictive ou la séparent du chemin utilisé pour générer l'action. En démontrant qu'un même prédicteur partagé peut porter à la fois la supervision de transition et la prédiction d'action sans déconnecter représentation et politique, JEPA-WAM fournit un argument empirique en faveur de l'unification des deux tâches dans une même colonne vertébrale visuelle. Pour les équipes de recherche et les intégrateurs en robotique, l'intérêt pratique tient au fait que la méthode s'applique aussi à des politiques VLA déjà pré-entraînées, comme pi0.5, sans modifier leurs chemins de perception et d'action d'origine, ce qui laisse entrevoir un gain applicable à des systèmes existants plutôt qu'une architecture entièrement nouvelle à réentraîner. Il s'agit d'un article de recherche publié sur arXiv, sans annonce de produit ni de déploiement commercial : les résultats reposent sur des benchmarks de simulation (LIBERO-Plus, RoboTwin 2.0) complétés par des essais réels limités en manipulation bimanuelle, sans précision sur le nombre de robots ou les sites concernés. JEPA-WAM s'inscrit dans la lignée des architectures d'apprentissage par prédiction latente issues de V-JEPA, et se positionne face à l'écosystème grandissant des politiques VLA telles que pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. Les auteurs ne précisent aucun calendrier de suite, pilote industriel ou partenariat, ce qui situe cette publication au stade de la recherche fondamentale plutôt qu'à une étape de déploiement à court terme.

BWM : un simulateur de monde haute-fidélité à faible coût pour l'apprentissage robotique

Boundless World Model (BWM) est un simulateur de monde open source, présenté fin juillet dans une prépublication arXiv, conçu pour l'apprentissage de la manipulation robotique. Le système est un modèle de monde conditionné par l'action : il combine un guidage par l'observation initiale, un historique visuel dynamique et un conditionnement temporellement aligné sur les actions du robot pour prédire, de façon autorégressive et avec état, les observations futures découlant d'une séquence de commandes. Les données d'entraînement sont construites par rejeu de trajectoires, échantillonnage de clips qui se chevauchent et enrichissement des observations initiales. Sur le benchmark WorldArena, BWM se classe premier toutes catégories confondues, en tête du Track 1 et des deux applications du Track 2, avec des validations complémentaires sur robots physiques. L'ensemble du code d'entraînement et d'inférence, les poids du modèle et les interfaces de génération de données et d'évaluation de politiques sont publiés en accès libre. L'intérêt pratique tient à deux usages distincts que le papier documente. D'abord comme moteur de données : BWM génère des rollouts alignés sur l'action pour augmenter les jeux de données d'apprentissage par imitation, un poste de dépense généralement coûteux en téléopération réelle. Ensuite comme évaluateur de politiques en boucle fermée, capable d'anticiper des échecs avant tout passage sur matériel physique et de classer plusieurs politiques candidates sans risque. Cette approche répond directement à une limite connue des simulateurs physiques classiques, qui exigent une construction et un calibrage d'assets coûteux tout en conservant un écart sim-to-real, et à celle des générateurs vidéo génériques, qui manquent de contrôle fin sur la réponse aux actions du robot. Un simulateur combinant fidélité visuelle et contrôlabilité par l'action, à faible coût, constituerait une brique utile pour les équipes qui manquent de données réelles denses. Le papier s'inscrit dans une tendance de recherche récente qui cherche à remplacer ou compléter les moteurs physiques (type MuJoCo ou Isaac Sim) par des modèles de monde appris, à la manière des approches vidéo-générative appliquées à la robotique. La victoire revendiquée au WorldArena Challenge reste toutefois à confirmer par une adoption indépendante : les métriques de classement d'un benchmark récent et la portabilité réelle vers des politiques de production restent les points à surveiller dans les prochains mois, notamment via les retours de la communauté sur l'écosystème open source publié.

Fluidifier la génération de mondes : Enfold intègre son calcul dans des représentations prédictives pour un contrôle incarné efficace

Des chercheurs présentent Enfold, une méthode qui transfère le calcul effectué par les modèles génératifs de "monde" (world models) dans une représentation prédite directement à partir de l'observation présente et de l'instruction en langage naturel, sans générer de vidéo future à chaque étape. Pendant l'entraînement, les états intermédiaires produits par le générateur lorsqu'il transforme une trajectoire future bruitée en séquence cohérente supervisent un encodeur qui ne voit que le présent. Cette représentation conditionne ensuite la génération future et alimente des têtes de contrôle spécifiques à la tâche, sans que les gradients de tâche ne modifient l'encodeur. Au déploiement, le système n'exécute plus du tout le générateur: seule la représentation prédite pilote l'action. Testée sur les benchmarks LIBERO et RoboTwin2.0 ainsi que sur des tâches robot réel, l'approche réduit la latence d'action d'un facteur 3,7 par rapport à la référence Fast-WAM, et la variante Enfold-Flash atteint un facteur 10,1. L'enjeu est concret pour la robotique: les modèles VLA (vision-language-action) adossés à des world models génératifs impressionnent en démonstration mais restent souvent trop lents pour un contrôle temps réel, car ils doivent générer explicitement une trajectoire future à chaque cycle de décision. En montrant qu'il est possible d'internaliser ce calcul dans une représentation compacte inférée depuis le seul présent, sans dégrader le contrôle, les auteurs s'attaquent à l'écart classique entre démonstration et déploiement réel qui freine l'adoption de ces architectures chez les intégrateurs. La représentation apprise filtre en outre les variations sans intérêt et privilégie les changements qui se déploient sur un horizon long, exactement ce dont un robot a besoin pour anticiper une tâche plutôt que réagir image par image. Signal encourageant: quand un humain modifie la scène en cours d'exécution, la continuation générée et les actions exécutées s'adaptent, ce qui exclut un simple rejeu de trajectoire figée. Enfold s'inscrit dans la lignée des travaux sur les world models appliqués au contrôle robotique, dont WAM sert ici de référence de comparaison, une famille d'approches popularisée par des systèmes comme Pi-0 ou GR00T N2 mais généralement pénalisée par le coût de calcul du générateur à l'inférence. En déplaçant ce coût vers l'entraînement et en ne conservant au déploiement qu'une représentation légère, les auteurs ouvrent une piste pour rapprocher ces architectures des cadences de contrôle réelles, préalable à tout déploiement industriel à grande échelle. Les résultats restent toutefois issus de simulation et d'un nombre limité de tâches réelles, une validation plus large sur cas d'usage industriels constituant la suite logique.

Robot-Factored World Models via le rendu de robots

Un article de recherche publié sur arXiv (2607.22535) propose une nouvelle architecture pour les "world models" en robotique, ces systèmes qui prédisent les observations futures d'une scène à partir d'une image initiale et d'un signal d'action. L'équipe identifie un problème structurel dans les approches existantes : conditionner le modèle directement sur les commandes d'action l'oblige à apprendre lui-même comment le corps du robot et son contrôleur traduisent ces commandes en mouvement réel, tandis que le conditionner sur les états futurs enregistrés revient à lui donner d'avance le résultat qu'il est censé prédire. La solution proposée, baptisée "robot-factored world model", sépare deux facteurs propres au robot en amont du modèle. D'abord, la trajectoire nominale : chaque commande est passée par le contrôleur et la cinématique du robot pour produire un signal intermédiaire disponible au déploiement. Ensuite, le rendu robotique : cette trajectoire est rendue via le fichier URDF du robot, extrayant sa géométrie et son apparence du modèle d'apprentissage. Pour lever l'ambiguïté de profondeur, les chercheurs associent la profondeur de l'effecteur terminal à celle de la scène. Cette approche cible un angle mort connu des modèles vidéo conditionnés par l'action utilisés en planification et simulation robotique, à savoir leur difficulté à généraliser au-delà du robot sur lequel ils ont été entraînés. Les résultats montrent que l'interface de rendu surpasse les méthodes de référence conditionnées par vecteurs d'action et généralise à des embodiments robotiques inédits au moment de l'inférence, un point sensible pour l'industrie alors que les modèles vision-langage-action (VLA) cherchent à s'affranchir de la dépendance à une plateforme matérielle unique. Le modèle parvient aussi à générer des vidéos de manipulation robotique à partir de démonstrations humaines, en retargetant le mouvement de la main vers une géométrie de robot. Ces travaux s'inscrivent dans une compétition plus large autour des world models et des politiques VLA à grande échelle, un terrain où Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix) investissent massivement pour rendre leurs systèmes transférables d'un robot à l'autre. La piste du rendu explicite de la géométrie robotique, plutôt que son encodage implicite dans des vecteurs d'action, pourrait devenir un standard méthodologique si elle se confirme sur des déploiements réels au-delà des benchmarks académiques.

ViTacWorld : passage à l'échelle des modèles du monde visuo-tactiles pour la manipulation robotique riche en contacts

Des chercheurs présentent ViTacWorld, un modèle de monde visuo-tactile conditionné par l'action, conçu pour la manipulation robotique riche en contacts, décrit dans une prépublication arXiv (2607.22530v1). Le système s'appuie sur des jeux de données tactiles réels publics combinés à un environnement de simulation construit spécifiquement pour l'occasion, afin de générer à grande échelle des trajectoires visuo-tactiles-actions. Le modèle est d'abord préentraîné sur de larges volumes de trajectoires réelles et simulées, puis affiné avec des rollouts de politiques collectés en conditions réelles pour mieux coller aux comportements de manipulation visés. À partir d'une séquence d'actions du robot, ViTacWorld prédit conjointement les observations visuelles et le retour tactile correspondants, permettant de générer des rollouts visuo-tactiles-actions complets. Les auteurs présentent cela comme le premier cadre exploitant un modèle de monde pour la génération de trajectoires visuo-tactiles-actions et l'évaluation de politiques robotiques. L'enjeu central est le coût et la rareté des données tactiles réelles, qui freinent l'apprentissage robotique basé sur le toucher : matériel spécifique, collecte coûteuse, diversité de tâches et de scènes limitée. En misant sur le fait que le signal tactile, directement ancré dans le contact physique, souffre d'un écart simulation-vers-réel plus faible que la seule vision, ViTacWorld propose une voie pour combler ce manque de données sans multiplier les campagnes de collecte sur robot réel. Pour les équipes de recherche en manipulation fine (assemblage, insertion, préhension d'objets déformables), cela ouvre deux usages concrets : générer des données synthétiques pour améliorer des politiques tactiles en aval, et évaluer des politiques existantes en prédisant leurs résultats visuo-tactiles sous des séquences d'actions contrôlées, sans passer systématiquement par des essais physiques. C'est un signal de plus que les modèles de monde, déjà répandus en vision, commencent à s'étendre à d'autres modalités sensorielles pour la robotique de contact. Ce travail s'inscrit dans la lignée des modèles de monde appliqués à la robotique, jusqu'ici centrés presque exclusivement sur la modalité visuelle, et dans la continuité des efforts pour réduire la dépendance de l'apprentissage tactile aux capteurs propriétaires et aux collectes sur site. Les expériences menées par les auteurs sur des tâches de manipulation riches en contacts montrent que ViTacWorld génère des rollouts physiquement cohérents, améliore les performances de politiques via une augmentation de données scalable, et permet une évaluation de politiques conditionnée par l'action. Le projet est documenté sur vitacworld.github.io. L'article ne mentionne aucun partenariat industriel ni déploiement commercial à ce stade : il s'agit d'une contribution de recherche dont la portée réelle dépendra de sa reproduction sur des plateformes robotiques variées et de son adoption par des équipes travaillant sur l'assemblage ou la manipulation fine en environnement industriel.

KineBench : évaluation des modèles du monde incarnés par ancrage cinématique sans IDM

Une équipe de recherche a publié KineBench, un nouveau benchmark conçu pour évaluer la cohérence physique des modèles de monde incarnés (embodied world models, EWM), ces systèmes qui génèrent des vidéos prédictives de l'interaction robot-environnement. Jusqu'ici, l'évaluation en boucle fermée de ces modèles reposait presque exclusivement sur des modèles de dynamique inverse (IDM) pour extraire les actions robotiques à partir des vidéos générées, une méthode fragile dès que la scène ou l'objet manipulé sort de la distribution d'entraînement. KineBench s'affranchit de cette dépendance en extrayant directement des poses d'organe terminal en 6 degrés de liberté image par image, via une cascade de modèles de vision fondation, puis en rejouant ces trajectoires dans un simulateur physique pour valider l'exécution. Le benchmark ajoute deux métriques cinématiques classiques, la longueur d'arc spectrale (SPARC) et l'indice de manipulabilité de Maruyama, pour juger la fluidité et la faisabilité des trajectoires du point de vue du robot. L'ensemble s'appuie sur 20 tâches de manipulation issues du simulateur ManiSkill3, réparties en quatre suites progressives: exécution de base, transfert de tâche, généralisation visuelle hors distribution, et montée en complexité. L'enjeu dépasse la simple mesure académique: sans méthode fiable pour distinguer une erreur du modèle de monde d'une erreur de l'extracteur d'actions, impossible de savoir si un EWM comprend réellement la physique ou s'il produit des vidéos plausibles mais inexploitables pour du contrôle réel. C'est précisément le doute qui plane sur beaucoup de démonstrations vidéo dans le secteur des VLA (vision-language-action) et de la génération embarquée, où l'écart entre rendu visuel convaincant et action réellement exécutable reste mal quantifié. En testant plusieurs modèles de pointe, les auteurs montrent une montée en échelle non linéaire et bornée par la complexité des tâches, un signal utile pour calibrer les futures stratégies d'entraînement sur données plutôt que d'empiler des vidéos sans discernement. Ce travail s'inscrit dans la lignée des benchmarks fermés basés simulateur, déjà utilisés pour évaluer le sim-to-real, mais cherche à corriger leur talon d'Achille méthodologique, la dépendance aux IDM appris. En s'appuyant sur ManiSkill3, un environnement de simulation déjà largement adopté par la communauté manipulation robotique, KineBench se positionne comme un outil de diagnostic reproductible plutôt qu'un nouveau modèle concurrent, avec pour prochaine étape probable son extension à davantage de tâches et de familles de modèles génératifs.

Regardez : le premier modèle d'IA nativement incarnée promet des robots plus intelligents et plus performants

Robbyant, filiale d'intelligence artificielle incarnée du groupe chinois Ant Group (maison mère d'Alipay), a présenté LingBot-VA 2.0, un modèle de monde vidéo-action que l'entreprise qualifie de premier du secteur conçu nativement pour la robotique plutôt qu'adapté de systèmes de génération vidéo destinés au contenu numérique. Le modèle repose sur une architecture autorégressive entraînée depuis zéro : il prédit comment les actions d'un robot modifient son environnement, puis choisit l'action suivante à partir de ces relations causales. Robbyant met en avant quatre innovations : un tokenizer visuel-action sémantique compressant conjointement image et action, un pré-entraînement causal strict garantissant l'ordre temporel des prédictions, une architecture Mixture of Experts augmentant la capacité sans alourdir l'inférence, et un mécanisme d'inférence asynchrone qui recale en continu les prédictions sur les observations réelles pendant l'exécution. Selon l'entreprise, cette combinaison permet un contrôle en boucle fermée à 150 Hz sur un seul GPU, et le modèle s'adapte à une nouvelle tâche de manipulation avec seulement 20 démonstrations, par apprentissage en contexte, sans réentraînement. Robbyant a montré le système sur des tâches longues et précises : préparer un petit-déjeuner, déballer des colis, insérer des tubes, ramasser des vis, plier du linge, ouvrir des tiroirs. L'entreprise revendique aussi de meilleurs résultats que les méthodes existantes sur les benchmarks de simulation RoboTwin 2.0 et LIBERO. Ce lancement illustre un changement de philosophie dans les modèles fondation pour la robotique. La plupart des systèmes d'IA incarnée actuels réutilisent des modèles vidéo pensés pour générer du contenu grand public, qui privilégient qualité d'image et créativité au détriment de la précision physique et de la vitesse d'exécution. Adapter ces modèles à la robotique, selon Robbyant, dégrade la généralisation, un constat qui rejoint le débat récurrent dans le secteur des modèles vision-langage-action (VLA) sur l'écart entre démonstrations impressionnantes et fiabilité réelle. Si les chiffres avancés se confirment au-delà des vidéos sélectionnées par l'entreprise, ils positionneraient LingBot-VA 2.0 comme alternative face à des VLA généralistes comme Pi-0 ou GR00T N2, avec un argument clé pour les intégrateurs : moins de données pour déployer un nouveau geste, et un temps de cycle compatible avec du matériel limité à un seul GPU. La mémoire à long terme mise en avant, permettant de distinguer des situations visuellement identiques mais contextuellement différentes et d'exécuter des tâches multi-étapes avec comptage et répétition, répond à une limite connue des politiques robotiques actuelles sur les séquences longues. Robbyant a accéléré ses investissements en robotique humanoïde et modèles fondation physiques, dans un contexte où les groupes technologiques chinois, Ant Group mais aussi Unitree, AgiBot ou Xiaomi, intensifient la compétition face à des acteurs américains comme Figure AI ou Physical Intelligence. LingBot-VA 2.0 succède à une première version et s'inscrit dans une stratégie où l'entreprise dit vouloir accélérer le développement d'un écosystème ouvert, sans préciser de calendrier de commercialisation, de partenariats industriels ni de premiers déploiements pilotes. Pour l'instant, la démonstration reste cantonnée aux benchmarks de simulation et aux vidéos publiées par l'entreprise, sans validation indépendante en environnement de production, une réserve qui s'applique à la plupart des annonces de modèles fondation robotiques cette année.

NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot

NVIDIA et Hugging Face annoncent l'intégration d'Isaac GR00T 1.7 et du framework Isaac TeleOp dans LeRobot, la bibliothèque open-source de robotique de Hugging Face. Isaac GR00T 1.7 est présenté comme le premier modèle de fondation robotique open-source et commercialement exploitable, une architecture vision-langage-action (VLA) permettant de post-entraîner et déployer des politiques de contrôle sur des robots humanoïdes réels. Isaac TeleOp est un framework de collecte de données par téléopération, qui capture des démonstrations humaines depuis des dispositifs externes dans des formats standardisés et interopérables, facilitant le partage de jeux de données au sein de la communauté. Les deux entreprises annoncent également l'arrivée prochaine de NVIDIA Cosmos 3, un modèle de monde frontière pour l'IA physique, sans donner de date précise. LeRobot compte déjà plus de 15 millions de téléchargements pour son jeu de données ouvert, qui regroupe plus de 350 000 trajectoires réelles et simulées ainsi que 57 millions de préhensions ("grasps"), en complément des frameworks de simulation Isaac Sim et Isaac Lab, dont Isaac Lab-Arena, désormais référencé dans le LeRobot Environment Hub. Cette annonce illustre la tentative de NVIDIA de reproduire, dans la robotique, la dynamique qui a fait le succès de l'IA générative open-source: mutualiser modèles, données et outils pour accélérer l'innovation collective plutôt que de la laisser fragmentée entre acteurs isolés. Pour les intégrateurs et développeurs robotique, l'enjeu concret est l'accès à un pipeline standardisé bout-en-bout, de la collecte de données jusqu'au déploiement, sans avoir à recomposer des briques propriétaires coûteuses. Le rapprochement entre les 3 millions de développeurs robotique de NVIDIA et les 16 millions d'utilisateurs IA de Hugging Face vise à fluidifier le passage entre recherche en IA générale et applications physiques. Toutefois, l'ampleur réelle de l'adoption d'Isaac GR00T 1.7 sur des déploiements industriels reste à démontrer: l'annonce reste pour l'instant centrée sur la disponibilité des outils et des frameworks, pas sur des cas d'usage chiffrés en production, et la mention de Cosmos 3 relève encore de la feuille de route plutôt que d'un produit livré. Ce partenariat s'inscrit dans la continuité de la stratégie NVIDIA autour de sa plateforme Isaac dédiée à la robotique et à l'IA physique, engagée depuis plusieurs années à travers Isaac Sim et Isaac Lab pour la simulation, puis étendue à des modèles de fondation comme GR00T. Hugging Face, de son côté, a positionné LeRobot comme l'équivalent robotique de ses bibliothèques Transformers pour le NLP, avec pour ambition de devenir le hub de référence pour les datasets et modèles robotiques ouverts. Sur le plan concurrentiel, cette annonce se situe face aux approches propriétaires de modèles VLA développés par d'autres laboratoires, à l'image de Pi-0 (Physical Intelligence) ou GR00T N2 concurrencés indirectement par des architectures fermées comme Helix (Figure AI). Thomas Wolf, cofondateur et directeur scientifique de Hugging Face, présente cette intégration comme une étape pour ancrer un cycle collaboratif ouvert dans la robotique, avec Cosmos 3 comme prochaine brique pour générer et simuler des données lorsque la collecte réelle est trop coûteuse ou limitée.

Exclusif : une startup issue de Tsinghua lève plusieurs centaines de millions de yuans, sans vouloir de l'étiquette « modèle du monde »

La startup chinoise Liqing Zhineng (厘清智能, "Clarity Intelligence"), fondée en avril 2026 à Pékin, a bouclé un tour d'amorçage de plusieurs centaines de millions de yuans (soit plusieurs dizaines de millions d'euros), révélé début juillet par le média chinois Zhinen Yongxian. Le tour réunit Shunwei Capital, Sequoia Chine, Hillhouse Ventures, FreeS Fund, Xinglian Capital, le fonds d'amorçage des alumni de Tsinghua, SEE Fund, ainsi que des investisseurs industriels comme AgiBot (智元机器人), Linker Hand (灵心巧手) et Century Golden Resources. L'équipe, adossée au laboratoire de Li Yiming, professeur assistant à l'école d'intelligence artificielle de Tsinghua et ancien chercheur Vision & Robotics chez Nvidia (bourse Nvidia 2024, dix lauréats dans le monde), compte une cinquantaine de membres d'une moyenne d'âge de 23 ans. Le produit central est une infrastructure baptisée "Physical AI Infra", construite autour de deux briques maison : un pipeline de collecte de données visant à passer de la centaine de milliers d'heures habituelle du secteur à plusieurs millions, voire dizaines de millions d'heures, via notamment des gants tactiles propriétaires dont le coût unitaire est ramené du niveau du dollar à celui du yuan ; et un moteur physique différentiable permettant une boucle "réel vers simulation vers réel", capable de modéliser des matériaux complexes (fluides, corps mous, déformations élastoplastiques). L'ensemble cible des gestes fins comme couper, visser, brancher, mélanger, presser ou enfiler, avec un objectif de portabilité entre différentes mains articulées et bras robotiques, pour des usages en usine, retail, hôtellerie, restauration et assistance médicale. Le positionnement de Li Yiming tranche avec l'engouement actuel pour les "world models" (modèles du monde), qu'il juge être la notion la plus galvaudée de 2026, tant les acteurs vidéo, 3D ou VLA (vision-langage-action) s'en réclament dès qu'ils touchent à la simulation physique. Sa thèse : le modèle du monde n'est qu'un composant technique parmi d'autres, sans valeur isolé du reste de la chaîne (données, matériel, déploiement) ; ce qui compte, c'est un système capable de généraliser à travers robots et scénarios. Il affirme ainsi pouvoir entraîner des politiques avec environ 1% du volume de données réelles habituellement nécessaire, en calibrant les transitions d'état du modèle de monde sur un petit échantillon de données réelles puis en laissant le robot s'entraîner par renforcement en simulation, l'exemple cité étant l'apprentissage de la découpe d'une pomme sans détruire des centaines d'exemplaires. Ces chiffres, avancés par le fondateur lui-même sans validation indépendante, restent à confirmer sur des déploiements réels plutôt que sur des démonstrations internes. Le parcours de Li Yiming inclut un doctorat à NYU avec des travaux co-signés avec Saining Xie (cofondateur et chercheur en chef d'AMI Labs), ainsi que plusieurs publications distinguées à CVPR et NeurIPS en collaboration avec Nvidia. La feuille de route affichée prévoit la sortie d'un modèle du monde généralisable à plusieurs scénarios B2B d'ici fin 2026, puis un passage à l'échelle commerciale visé pour 2028, avec pour ambition de livrer aux clients une solution matériel-logiciel intégrée plutôt qu'un simple modèle. Ce pari sur une intégration verticale complète, de la collecte de données au moteur physique en passant par le matériel de capture, reste rare en Chine où la plupart des équipes de robotique physique se concentrent sur un seul maillon de la chaîne ; il positionne Liqing Zhineng en concurrence indirecte avec les autres poids lourds chinois de l'IA incarnée comme AgiBot, qui figure aussi parmi ses investisseurs.

Apprentissage de dynamiques transférables : des modèles d'action aux modèles du monde

Des chercheurs ont publié en juin 2026 un préprint arXiv (2606.29501) décrivant A2World, un modèle de monde diffusion multi-vues conditionné par les actions, pré-entraîné sur de larges volumes de données de manipulation robotique avec annotations d'actions réelles. L'idée centrale est que prédire comment une action modifie visuellement une scène, plutôt que simplement générer des vidéos plausibles, force le modèle à capturer des dynamiques d'interaction réutilisables. Ce pré-entraînement produit ce que les auteurs appellent des "priors de dynamiques transférables". À partir des mêmes poids pré-entraînés, deux variantes sont dérivées : A2World-sim, adapté en simulateur spécialisé par tâche ou environnement, et A2World-policy, un modèle de prédiction jointe vidéo-action conditionné par des instructions visuelles. Les expériences sont validées sur des benchmarks de simulation et en conditions réelles, sans que les auteurs ne publient de métriques quantitatives précises dans le résumé. L'enjeu concret pour les équipes de robotique industrielle est le coût des données de rollout réel : A2World-sim vise à remplacer les passages physiques sur robot par des déroulements dans le modèle de monde, permettant une évaluation de politique à grande échelle et des analyses contrefactuelles ("que se passerait-il si...") sans mobiliser de hardware. C'est le noeud dur du problème sim-to-real : les simulateurs classiques (Isaac Sim, MuJoCo) échouent sur la fidélité visuelle et de contact, tandis qu'un modèle de monde appris sur des données réelles devrait, en théorie, hériter de la physique implicite du monde réel. A2World-policy s'inscrit dans la lignée des VLA (Vision-Language-Action models) comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, en conditionnant la prédiction d'action sur le flux visuel et des instructions en langage naturel. Il s'agit toutefois d'un préprint non revu par les pairs, et les métriques présentées (benchmarks de simulation) restent à confirmer sur des déploiements réels à l'échelle. Ce travail s'inscrit dans une dynamique de recherche active sur les modèles de monde pour la robotique, portée depuis 2023-2024 par des approches comme UniSim (Google), RoboDreamer, ou Genie, qui toutes cherchent à découpler l'apprentissage de politique du coût de la collecte de données physiques. Physical Intelligence (pi-0, pi-0.5), Figure AI (Figure 02/03) et 1X Technologies misent sur des architectures VLA similaires pour la généralisation multi-tâches. La contribution spécifique d'A2World est de partager les poids pré-entraînés entre le simulateur et le modèle de politique, plutôt que de les traiter comme deux systèmes distincts. Les prochaines étapes attendues dans ce type de travaux sont la publication de benchmarks ouverts, une comparaison directe contre des rollouts réels, et, pour les acteurs industriels, la question de savoir si ces approches tiennent sur des environnements non structurés hors laboratoire.

Modélisation du monde en contexte pour le contrôle robotique

Des chercheurs ont publié le 25 juin 2026 un preprint arXiv (2606.26025) présentant ICWM (In-Context World Modeling), un cadre d'adaptation pour les modèles Vision-Language-Action (VLA) appliqués à la robotique. Les VLA actuels échouent dès que le contexte d'exécution change - angle de caméra différent, morphologie de robot modifiée - parce qu'ils supposent un contexte fixe, celui rencontré pendant l'entraînement, et nécessitent un fine-tuning intensif en données pour toute nouvelle configuration. ICWM traite l'identification du système comme un problème d'adaptation en contexte : avant d'exécuter une tâche, le robot génère de courtes interactions autonomes agnostiques à la tâche, dont l'historique est injecté dans la fenêtre de contexte du modèle. Celui-ci infère ainsi implicitement la dynamique du système courant - position de caméra, configuration mécanique - sans mise à jour de poids. Les expériences menées en simulation et sur plateformes réelles montrent que ICWM surpasse significativement les baselines VLA standards sur des configurations de caméra inédites. La généralisation des VLA est le verrou principal qui freine le déploiement industriel de la robotique généraliste. Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), OpenVLA et les modèles Google nécessitent tous du fine-tuning dès qu'on change la disposition d'une caméra ou la morphologie d'un robot, ce qui rend les pilotes industriels coûteux et longs à mettre en place. ICWM attaque ce problème sans modifier les poids du modèle : l'adaptation passe uniquement par le contexte, à l'image de ce que l'In-Context Learning a apporté aux LLMs. Pour un intégrateur ou un COO industriel, cela signifie potentiellement déployer un même modèle sur plusieurs lignes avec des géométries de capteurs différentes, sans pipeline de re-entraînement. La contribution est conceptuellement distincte : là où l'ICL classique spécifie quelle tâche effectuer, ICWM apprend comment le système fonctionne - une couche d'adaptation complémentaire aux approches existantes. Les modèles VLA ont connu une explosion depuis 2024 : RT-2 (Google DeepMind), Pi-0 de Physical Intelligence, GR00T N2 d'NVIDIA présenté à GTC 2025, et plus récemment Helix (Figure AI) illustrent la convergence entre fondations LLM et contrôle moteur. La fragilité aux variations contextuelles - ce qu'on appelle le "demo-to-deployment gap" - reste une critique récurrente formulée notamment par des acteurs européens comme Enchanted Tools ou Wandercraft, qui misent sur des architectures plus déterministes pour des environnements industriels contraints. ICWM s'inscrit dans une tendance plus large : importer les paradigmes d'adaptation du machine learning directement dans la boucle de contrôle robotique, sans passer par un cycle de collecte de données et de re-entraînement. Le preprint ne mentionne ni partenariat industriel, ni code open-source, ni dataset public : il s'agit d'une contribution de recherche pure, sans déploiement commercial annoncé à ce stade.

💬 Le vrai frein au déploiement robotique industriel, ce n'est pas la performance brute des VLA, c'est que la moindre caméra déplacée oblige à relancer un fine-tuning complet. ICWM importe dans la boucle de contrôle la même logique qui a rendu les LLMs flexibles, et si ça tient, c'est un changement de calcul économique pour les intégrateurs européens qui tentent des pilotes. Bon, pour l'instant c'est un preprint sans code ni partenaire industriel, donc on verra.

RoDyn : apprivoiser un modèle du monde 2.5D interactif pour la manipulation robotique

Des chercheurs ont publié sur arXiv (identifiant 2510.09036, seconde version) RoDyn, un modèle de monde 2.5D destiné à la manipulation robotique. L'architecture repose sur un espace latent géométriquement conscient plutôt que sur des flux vidéo 2D bruts. Son composant central, le Robot-Dynamic Tokenizer, couple les représentations visuelles sémantiques avec des informations spatiales et centrées sur l'agent via un mécanisme de cross-attention dominé par le canal RGB, complété d'un guidage par masque dynamique. Une architecture autorégressi guidée par ces masques oriente ensuite le modèle vers les zones d'interaction active entre le robot et les objets manipulés. Sur des jeux de données à grande échelle, RoDyn atteint l'état de l'art en fidélité de génération et affiche, point le plus saillant, une amélioration de 42% du taux de réussite en imitation learning dans le monde réel par rapport aux baselines purement 2D. Ce gain de 42% doit être lu avec soin: il est mesuré contre des modèles 2D, non contre d'autres approches 2.5D ou 3D, ce qui circonscrit la portée de la comparaison. Il illustre néanmoins un problème structurel bien documenté: les modèles vidéo 2D, aussi convaincants visuellement, ne capturent pas la géométrie ni la cinématique indispensables aux interactions physiques précises. En introduisant une représentation intermédiaire 2.5D, soit une profondeur estimée sans reconstruction 3D complète et coûteuse, RoDyn tente de combler ce fossé à moindre coût computationnel. Pour les équipes R&D en manipulation industrielle, l'intérêt concret réside dans l'accélération du reinforcement learning model-based (MBRL), qui réduit potentiellement le nombre d'interactions physiques requises à l'entraînement, et dans une meilleure généralisation aux objets non vus en simulation. Le champ des modèles de monde pour la robotique s'est densifié depuis 2023, porté par Dreamer (DeepMind), UniSim, et plus récemment les architectures VLA comme Pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA). RoDyn occupe une niche spécifique: la simulation neuronale pour la manipulation de précision, avec un compromis géométrique explicite entre vidéo pure et reconstruction 3D complète. Cette publication reste à ce stade purement académique, sans annonce de déploiement commercial ni partenariat industriel mentionné. Les suites naturelles concerneront des tâches de manipulation plus exigeantes (assemblage fin, dépose contrainte) et une éventuelle intégration dans des pipelines VLA existants. Aucun acteur français ou européen n'est impliqué dans ces travaux.

Modèles du monde pour la manipulation robotique

Des chercheurs ont publié en juin 2026 sur arXiv (2606.24742) un modèle généraliste de valeur pour la manipulation robotique, le WVM (World Value Model). La proposition centrale consiste à substituer les backbones VLM (Vision-Language Model) habituellement utilisés par un modèle de monde, nativement mieux adapté à la modélisation temporelle nécessaire pour évaluer la progression d'une tâche. Sur les benchmarks standards, WVM atteint les meilleures performances connues en Value-Order Correlation (VOC), la métrique de référence pour les modèles de valeur robotiques. L'équipe introduit également Suboptimal-Value-Bench, un benchmark multi-embodiment composé de 800 trajectoires sous-optimales annotées frame par frame par des humains, comblant un angle mort des évaluations existantes qui ne contenaient que des données expertes. L'enjeu est directement opérationnel pour quiconque entraîne des systèmes de manipulation à grande échelle : les données collectées en conditions réelles sont rarement uniformément expertes. Un modèle de valeur précis permet de pondérer ou filtrer ces trajectoires hétérogènes, améliorant la qualité de l'entraînement sans nettoyage manuel coûteux. WVM démontre des gains de performance sur plusieurs approches d'extraction de politique, en simulation comme en déploiement réel, ce qui renforce la thèse que l'estimation de valeur est un composant orthogonal et complémentaire au choix d'architecture de politique. La robustesse maintenue sur données sous-optimales est l'aspect le plus significatif : c'est précisément dans ce régime que les VLMs classiques décrochent, leurs préentraînements sur observations visuelles statiques ne suffisant pas à capturer les dynamiques temporelles longues. La montée en puissance des VLA comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA a rendu critique la question de la qualité des données d'entraînement à grande échelle. L'approche WVM s'inscrit dans une tendance émergente qui consiste à spécialiser les composants : un backbone temporel dédié pour l'évaluation de la valeur, distinct du modèle d'action. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans cet article purement académique. Les prochaines étapes naturelles incluent l'intégration du WVM dans des pipelines d'imitation à grande échelle ou en combinaison avec du reinforcement learning offline (IQL, CQL), et une extension à des environnements multi-tâches plus complexes.

Des milliards investis dans l'IA incarnée, mais le déploiement en usine reste hors de portée

Au premier semestre 2026, le secteur chinois de la robotique embodied AI a absorbé 46 milliards de yuans (environ 6,2 milliards d'euros) répartis sur 288 opérations de financement impliquant 226 entreprises, selon les données d'IT Juzi. La concentration est massive : les cinq premiers acteurs (Qianxun Intelligence, Xiwang Sunrise, Xinghaitu, Zibianliang Robot et Jijia Vision) ont capté 17,1 milliards de yuans, soit 37 % du total, et le top 20 emporte 70 % des fonds. Qianxun Intelligence seule a levé 4,5 milliards de yuans en quatre tours en quatre mois. Le profil des investisseurs change : les grandes rondes au-dessus du milliard de yuans sont désormais pilotées à plus de 40 % par des industriels et des entités publiques (Baidu, ByteDance, Xiaomi, Meituan, SAIC, fonds gouvernementaux), le capital d'État participant à 42 % des transactions à plusieurs centaines de millions. Ce flux d'argent masque un écart criant entre vitrine et déploiement réel. Le cas Daluo est emblématique : valorisée à plus de 20 milliards de yuans, ayant levé 5,4 milliards, la société n'a vendu que 1,4 million de yuans de produits sur les sept premiers mois de 2025 tout en enregistrant 84,25 millions de pertes nettes. La cause structurelle identifiée par le secteur est le manque de données d'interaction physique de qualité : on estime à 500 000 heures seulement le volume mondial de données réelles utilisables pour entraîner des robots, contre des milliards de tokens texte pour les LLM. Les réponses sont proportionnelles : Xinghaitu a lancé une campagne "un million d'heures" à Yizhuang, Qianxun Intelligence a déployé 300 000 points de collecte à l'échelle nationale, JD.com vise 10 millions d'heures sous deux ans. Les résultats restent modestes : un responsable algorithmique a reconnu que des dizaines de millions de yuans investis pour collecter 100 000 heures n'avaient amélioré la capacité des modèles que de 5 %. Le secteur reste en phase de recherche appliquée, loin d'une industrialisation. L'état de l'art interne, estimé sur 100 points par un praticien du domaine, place les bras industriels à 50, les châssis à roues à 40, les quadrupèdes à 30, les humanoïdes bipèdes à 15, les mains dextères à 5, et l'IA embarquée de support à 3. Les approches VLA (Vision-Language-Action) et World Model convergent techniquement mais sans consensus sur la feuille de route. Les acteurs occidentaux comme Figure (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2) font face aux mêmes verrous de sim-to-real et de données, mais le déploiement à l'échelle usine reste introuvable partout. Malgré l'étiquette "année de la production de masse" accolée à 2026, aucun robot polyvalent fiable ne s'est encore imposé commercialement dans des environnements industriels non contrôlés.

DREAM-Chunk : regroupement d'actions réactif avec modèle du monde latent

DREAM-Chunk (arXiv:2606.18589, juin 2026) est une méthode d'inférence conçue pour corriger une fragilité structurelle des modèles vision-language-action (VLA) : l'exécution en boucle ouverte lors de l'action chunking. Ce paradigme, devenu standard dans les VLA actuels, consiste à inférer à basse fréquence un bloc d'actions (un "chunk") que le robot exécute séquentiellement à haute fréquence, sans rétroaction intermédiaire. Dès qu'un chunk est lancé, le robot le suit à l'aveugle, vulnérable aux perturbations dynamiques, aux erreurs matérielles et à l'observabilité partielle. DREAM-Chunk adresse ce problème sans modifier ni réentraîner la politique sous-jacente : à l'inférence, il génère plusieurs chunks candidats, simule leurs trajectoires dans un espace latent via un world model léger, et sélectionne celui dont l'état prédit correspond le mieux à l'observation réelle. La méthode est validée sur le benchmark Kinetix et sur quatre tâches de manipulation couvrant deux plateformes robotiques et deux architectures VLA distinctes. L'intérêt pratique est direct pour les intégrateurs industriels qui déploient des VLA pré-entraînés sans accès au pipeline d'entraînement : DREAM-Chunk s'insère comme une couche plug-and-play, sans fine-tuning requis. La méthode s'inscrit dans la tendance du test-time compute scaling, bien établie côté LLM mais encore naissante en robotique physique, où dépenser davantage de calcul à l'inférence peut compenser les limites d'un modèle sans passer par un nouveau cycle d'entraînement coûteux. Les résultats montrent que les gains augmentent avec le nombre de chunks candidats échantillonnés, et que l'avantage est particulièrement marqué lorsque les démonstrations contiennent des comportements correctifs, ce qui soulève une question pratique sur la composition des datasets de démo. Les world models latents en robotique ont une longue tradition (DREAMER, TD-MPC2, DreamerV3), mais leur couplage avec des VLA basés sur le chunking reste récent. Physical Intelligence avec pi-0, Figure AI et des équipes de Stanford, CMU et Berkeley explorent simultanément comment améliorer la robustesse en déploiement sans réentraînement complet. DREAM-Chunk se distingue par son caractère agnostique au modèle sous-jacent, ce qui facilite son adoption sur des architectures hétérogènes. La prochaine étape logique serait une validation sur des plateformes commerciales à manipulation dextre (Fourier GR1, Unitree G1) et des tâches à dynamiques hautement stochastiques comme l'assemblage de précision. Le papier ne mentionne ni partenaires industriels ni pilotes commerciaux annoncés.

💬 Le test-time compute scaling arrive enfin en robotique physique, et DREAM-Chunk en est un premier signal propre : générer des trajectoires candidates, simuler dans un espace latent, choisir la meilleure, sans toucher au modèle sous-jacent. Le chunking en boucle ouverte, c'est le point faible silencieux de tous les VLA actuels (ça marche dans 80% des cas, alors on n'en parle pas trop). Pour les intégrateurs qui déploient sans accès au pipeline d'entraînement, une couche qui corrige à l'inférence sans réentraîner, c'est la pièce manquante.

Mem-World : modèles du monde conditionnés par l'action et augmentés par la mémoire pour la manipulation robotique persistante

Des chercheurs ont publié Mem-World sur arXiv (réf. 2606.18960, juin 2026), un modèle du monde multi-vues augmenté par mémoire pour la manipulation robotique. Le problème adressé est fondamental aux modèles du monde conditionnés par l'action (action-conditioned world models) : lors d'une tâche de manipulation, l'effecteur terminal occulte fréquemment la scène, et les mouvements rapides de la caméra embarquée au poignet rendent l'observation courante insuffisante pour prédire les vues futures, poussant les modèles à halluciner ou oublier des détails observés antérieurement. L'innovation centrale est W-VMem, une mémoire indicée par surfels (éléments de surface 3D) en 4D, centrée sur la vue poignet, qui ancre les observations historiques à des éléments de surface évoluant dans le temps. Cette structure permet une récupération de contexte conditionnée sur les actions futures et consciente de la géométrie de scène, via rendu et scoring basés sur les surfels. Sur les tâches de long horizon, le taux de réussite progresse de 58 % à 72 % grâce à la génération de données synthétiques, et la corrélation de Pearson entre évaluations simulées et performances réelles s'améliore de 14,5 % par rapport à Ctrl-World, le modèle de référence. Ce gain en corrélation est directement actionnable pour les équipes robotique : il indique qu'on peut davantage faire confiance aux rollouts simulés pour prédire le comportement réel d'une politique, réduisant la dépendance aux expérimentations physiques coûteuses. L'hallucination de scène était jusqu'ici un verrou majeur à l'utilisation des world models pour l'entraînement de politiques dextres ; en séparant explicitement quand et où chaque élément a été observé, W-VMem produit un contexte historique non-redondant et pertinent. Il convient toutefois de noter que les scénarios de test et les métriques d'évaluation ne sont pas détaillés dans le résumé disponible, ce qui limite l'interprétation directe des chiffres annoncés. Les world models conditionnés par l'action sont apparus d'abord en jeu vidéo et conduite autonome (DreamerV3, GAIA-1) avant d'être adaptés à la manipulation, domaine plus exigeant en raison des occlusions proches et de la dynamique de caméra embarquée. Ctrl-World est la référence directe contre laquelle Mem-World se positionne. Cette publication reste un preprint, non encore évalué par des pairs, sans partenaire industriel ni timeline de déploiement annoncé. Les suites naturelles incluent une évaluation sur des benchmarks standardisés comme RLBench et une intégration dans des pipelines de modèles Visual Language Action (VLA), où la cohérence temporelle des rollouts est un prérequis à l'entraînement à grande échelle.

Alibaba et ByteDance redoublent d'efforts sur l'IA incarnée : l'apport des géants d'internet à la robotique

Le 16 juin 2026, Alibaba a lancé Qwen-Robot, sa première famille complète de modèles d'IA incarnée intégrée à la série Qwen. Elle regroupe trois composants distincts : Qwen-RobotManip pour la manipulation physique, Qwen-RobotNav pour la navigation autonome, et Qwen-RobotWorld comme modèle de monde, c'est-à-dire un moteur de raisonnement contextuel sur l'environnement physique. Ces modules peuvent être déployés séparément ou en coordination, selon le type de robot ciblé. Le positionnement d'Alibaba est explicitement logiciel : l'entreprise ne vise pas à construire des corps robotiques, mais à fournir le "cerveau intelligent" à des fabricants tiers. Simultanément, ByteDance a réorganisé ses efforts en robotique incarnée en élevant Seed Robotics au rang de division stratégique principale, désormais sous la supervision de Zhou Chang, responsable multi-modal du groupe. ByteDance a déjà produit plus de 1 000 robots, majoritairement des robots mobiles à roues pour la logistique en entrepôt et en usine, et compte parmi ses clients externes SF Express et BYD Electronics. Ce double mouvement illustre un changement structurel dans la course aux humanoïdes et à la robotique généraliste : les géants de l'internet entrent dans le secteur non par la mécanique, mais par la donnée et l'intelligence. La valeur qu'ils apportent repose sur trois piliers. D'abord, leurs grands modèles de langage compressent le temps d'adaptation à de nouvelles tâches : là où un ingénieur robotique traditionnel passerait plusieurs semaines à reprogrammer un bras ou un AGV pour un nouveau scénario, une approche VLA (vision-language-action) peut réduire cette itération à quelques jours. Ensuite, leur infrastructure opérationnelle génère des données d'entraînement à une échelle inaccessible aux startups : le réseau de livraison instantanée de Meituan, les entrepôts de JD Logistics, les chaînes d'approvisionnement e-commerce de ByteDance accumulent chaque jour des millions d'interactions physiques réelles. Enfin, et c'est peut-être le facteur le plus sous-estimé, ces entreprises sont leurs propres premiers clients. JD a validé ses robots logistiques dans ses propres entrepôts "Asia No.1" avant de les commercialiser. ByteDance fait circuler ses AMR sur de vraies routes opérationnelles avant de les vendre. Ce raccourci entre laboratoire et déploiement à l'échelle est ce qui manque le plus aux startups hardware-first. Pour autant, les analystes du secteur rappellent que l'avantage logiciel ne dissout pas les contraintes physiques. Les composants critiques comme les actionneurs, les capteurs de force ou les joints à haute précision restent des goulots d'étranglement de supply chain qui ne s'effacent pas parce qu'un géant tech entre dans la pièce. Alibaba et ByteDance font face à une concurrence à deux niveaux : d'un côté les acteurs hardware-first américains comme Figure AI, 1X, Boston Dynamics ou Agility Robotics qui avancent en parallèle sur la couche IA ; de l'autre les constructeurs chinois comme Unitree ou Fourier Intelligence qui maîtrisent déjà la chaîne de fabrication. La prochaine étape pour évaluer ces annonces sera de mesurer si les modèles Qwen-Robot passent l'épreuve du déploiement industriel répété en dehors des environnements contrôlés d'Alibaba, ce qui reste à ce stade une démonstration en cours, pas un produit livré.

Alibaba dévoile Qwen-Robot : trois modèles fondation pour l'IA incarnée

Alibaba a publié mardi une suite robotique composée de trois modèles fondamentaux : Qwen-RobotNav, Qwen-RobotManip et Qwen-RobotWorld. Qwen-RobotNav étend les capacités vision-langage à la robotique mobile en unifiant quatre tâches au sein d'un même framework : suivi d'instructions, navigation orientée objectif, tracking de cible et conduite autonome. Qwen-RobotManip standardise l'espace état-action et représente le mouvement de l'effecteur terminal sous forme de poses incrémentielles dans le référentiel caméra, une approche conçue pour faciliter la généralisation multi-plateforme. Ce modèle a été entraîné sur plus de 38 100 heures de données entièrement open source. Qwen-RobotWorld, le troisième composant, fonctionne comme un world model généraliste : il prédit des états futurs physiquement cohérents via une interface en langage naturel, couvrant simultanément la navigation, la conduite et la manipulation depuis un seul modèle. L'approche modulaire mais unifiée est la proposition de valeur centrale de cette suite. Un world model unique opérant sur trois domaines d'action représente une architecture qui, si elle tient ses promesses en conditions réelles, réduirait significativement les coûts d'intégration pour les équipes robotiques industrielles. L'utilisation de données entièrement open source pour Qwen-RobotManip est un signal notable dans un secteur où les datasets propriétaires constituent souvent un avantage concurrentiel défensif : Alibaba positionne ainsi Qwen-Robot davantage comme une infrastructure partagée que comme un produit fermé. Réserve importante cependant : l'annonce ne s'accompagne d'aucun benchmark public (RLBench, LIBERO, CARLA) ni de déploiement physique documenté. Il s'agit d'une publication de modèles, pas d'un produit shipé. L'équipe Qwen d'Alibaba est reconnue pour ses modèles multimodaux (Qwen2.5-VL, QwQ), mais ce lancement marque son entrée explicite dans l'embodied AI. Le terrain est disputé : Google DeepMind pousse ses dérivés de RT-2, Physical Intelligence a publié Pi-0 et Pi-0.5, Hugging Face soutient l'initiative LeRobot, et NVIDIA propose GR00T N2 comme backbone pour les robots humanoïdes partenaires. Côté chinois, Unitree, Agibot et Zhiyuan Robot accélèrent eux aussi leurs pipelines VLA (vision-language-action). La prochaine étape pour Alibaba sera de démontrer des résultats sur des plateformes matérielles réelles ; faute de quoi, Qwen-Robot restera un framework académique parmi d'autres dans une course déjà très chargée.

Alibaba lance Qwen-Robot, sa première famille de modèles d'IA incarnée

Alibaba a publié mardi la suite Qwen-Robot, sa première famille de modèles d'IA incarnée, destinée à relier les grands modèles de langage à l'action robotique dans le monde physique. La suite comprend trois modèles : Qwen-RobotNav pour la navigation visuo-langagière, entraîné sur 15,6 millions d'échantillons en unifiant instruction following, navigation par cible et suivi d'objets ; Qwen-RobotManip pour la manipulation robotique via une architecture VLA (Visual Language Action) basée sur un backbone Qwen3.5-4B VL couplé à une tête de diffusion par flow matching, entraîné sur plus de 38 100 heures de données issues exclusivement de sources open source ; et Qwen-RobotWorld, un modèle de monde prédit des futurs physiquement cohérents pour la manipulation, la conduite et la navigation via une interface en langage naturel. La démonstration centrale met en scène un robot quadrupède Unitree Go2 sur hardware NVIDIA Jetson Thor, équipé d'une unique caméra basse résolution : sans cartographie préalable, il navigue dans un appartement inconnu en suivant des instructions verbales, avec une latence d'inférence de 196 millisecondes. Alibaba a également présenté Qwen-RobotClaw, un framework agent permettant aux modèles Qwen VLM d'appeler les outils Qwen-Robot pour gérer des tâches longues et la mémoire de contexte, et mis en open source Chat2Robot, une plateforme d'évaluation navigateur supportant Qwen-RobotManip sur 50 tâches via le dataset RoboTwin-Clean. Pour les intégrateurs et décideurs industriels, deux points méritent attention. L'entraînement de Qwen-RobotManip exclusivement sur des données open source est un choix architectural significatif : il abaisse les barrières de reproduction et contourne le verrou des données propriétaires qui bloque nombre d'acteurs du secteur. La latence de 196 ms sur Jetson Thor illustre la viabilité de l'inférence embarquée pour la navigation, même si cette performance a été mesurée dans un environnement contrôlé et non en production industrielle. La robustesse à grande échelle reste à démontrer : les vidéos présentées constituent une preuve de concept, pas un déploiement validé. L'architecture Qwen-RobotClaw adresserait un problème concret si elle tient ses promesses en production : la gestion de tâches multi-étapes sans reprogrammation manuelle, qui reste le verrou central de l'adoption robotique en environnements non structurés. Alibaba entre tardivement dans l'espace des modèles de fondation robotiques face à des acteurs déjà positionnés : Physical Intelligence (pi0, levée de 400 M$ en 2024), Figure AI (Figure 03, partenariat BMW), Google DeepMind et NVIDIA avec GR00T N2. En Chine, Unitree (fournisseur du Go2 de la démo), Zhiyuan Robot et Agibot développent leurs propres stacks logicielles embarquées. En Europe, Enchanted Tools et Pollen Robotics avancent sur des plateformes collaboratives, mais sans modèle VLA de cette envergure à ce stade. Les prochaines étapes annoncées incluent l'extension de Chat2Robot à de nouvelles plateformes et tâches robotiques, ainsi qu'une intégration commerciale potentielle via Alibaba Cloud.

Daxiao Robot a levé des centaines de millions de dollars : son fondateur révèle les fractures de l'industrie de l'IA incarnée

ACE Robotics (大晓机器人), fondée en juillet 2025 par Wang Xiaogang, co-fondateur de SenseTime, a annoncé le 15 juin 2026 la clôture d'un tour Angel+ réunissant Dachen Caizhong, Shenzhen Capital Group, le Shanghai Science and Innovation Fund, Muxin Shares, Fosun Ruizheng et le Lingang New Area Fund, avec un réinvestissement de l'actionnaire historique SenseTime Guoxiang Capital. Le cumul de levées 2026 dépasse désormais plusieurs centaines de millions de dollars, classant ACE parmi les premières licornes de la robotique incarnée en Chine. La startup dévoile simultanément Kairos 3.0, son modèle monde (world model) dédié à l'intelligence incarnée, revendiquant le SOTA sur quatre benchmarks mondiaux d'embodied intelligence, et publie en open-source Kairos 3.0-4B, présenté comme la première version capable de piloter un robot directement depuis un périphérique embarqué (edge device) sans serveur distant. Le corpus d'entraînement atteint un million d'heures d'interactions humain-environnement, obtenu via une collecte centrée sur l'acteur humain en situation réelle, soit dix fois le volume produit par télé-opération traditionnelle. Les modules A1 équipent des chiens robots pour l'inspection de voirie à Shanghai (secteur Ouest Rive), ainsi que des robots opérant dans des hôtels, des magasins sans caissier et des entrepôts logistiques automatisés. La levée met en lumière une fracture structurelle de l'écosystème chinois : contrairement à Figure, Tesla Optimus ou Physical Intelligence (Pi-0), qui internalisent la boucle matériel-données-modèle pour accélérer l'itération, les acteurs locaux fonctionnent encore en silos. Wang Xiaogang l'admet explicitement : les standards de collecte de données restent fragmentés, les corpus directement exploitables pour l'entraînement de modèles incarnés sont rares, et les cycles d'itération matérielle sont trop longs pour rester synchronisés avec la cadence des modèles. La réponse d'ACE est pragmatique : s'ancrer dans des scénarios B2B contrôlés et reproductibles (logistique, inspection routière), y collecter des données réelles en boucle fermée via des partenaires intégrateurs -- dont Shanhui Robots, acteur du retail sans caissier issu de l'écosystème SenseTime -- et abaisser le coût de la solution au tiers de la moyenne sectorielle par l'effet d'échelle. Cette stratégie scene-first sert aussi à valider la thèse du world model face aux VLA (vision-language-action) : Wang soutient que seul un modèle capable de comprendre, générer et prédire simultanément peut atteindre une véritable émergence de l'intelligence incarnée. Wang Xiaogang, co-fondateur de SenseTime depuis 2014, a délibérément créé ACE en juillet 2025, après la première vague de startups incarnées, pour capitaliser sur les impasses avérées des VLA et éviter les gaspillages en données et en calcul accumulés par ses prédécesseurs. En Chine, la concurrence se structure autour de niches sectorielles : Qianjue Technology (spin-off de l'Université Tsinghua) cible l'hôtellerie et les services commerciaux, tandis que Tasishi Zhihang, fondée par Chen Yilun (ex-chef scientifique du département automobile de Huawei), se concentre sur l'assemblage de faisceaux de câbles industriels. La feuille de route d'ACE progresse en trois temps : inspection routière et chiens robots (déjà en production), entrepôts logistiques (déploiements en cours), puis la sphère domestique grand public. Wang reste prudent sur les délais : Kairos n'a pas encore atteint l'équivalent d'un GPT-3 pour les modèles monde, ce seuil d'émergence à partir duquel les paradigmes de recherche se stabilisent et les capacités commencent à généraliser à grande échelle.