IA physiquearXiv cs.RO 14 juillet 2026

Xiaomi-Robotics-U0 : synthèse incarnée unifiée avec modèle fondation du monde

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Xiaomi Robotics a publié U0, un modèle multimodal autorégressif de 38 milliards de paramètres conçu pour unifier plusieurs tâches de génération liées à la robotique au sein d'un seul système. Décrit dans un article déposé sur arXiv, U0 traite la synthèse de contenus "incarnés" comme une extension directe des modèles de génération d'images et de vidéos fondationnels, en optimisant conjointement le texte-vers-image, l'édition d'images, la génération de scènes incarnées, le transfert incarné et la génération vidéo incarnée. Selon les auteurs, il s'agit du premier modèle capable de générer des scènes cohérentes en multi-vues pour plusieurs types de robots différents, et il introduit un mécanisme de transfert structuré et contrôlable permettant une édition fine tout en préservant la cohérence géométrique et la dynamique d'interaction. Les résultats rapportés indiquent que U0 dépasse GPT-Image-2.0 lors d'évaluations humaines sur la génération et le transfert de scènes incarnées, se classe premier sur le classement World Arena pour la génération vidéo incarnée, et fait passer le taux de succès hors distribution du modèle de manipulation pi_0.5 de 36,9% à 63,2% sur des tâches de manipulation réelle jugées difficiles. Le code et les checkpoints sont mis à disposition sur le site de Xiaomi Robotics.

L'enjeu principal ne se situe pas dans la démonstration visuelle mais dans l'usage de U0 comme moteur de données synthétiques pour l'entraînement de politiques robotiques. Le gain mesuré sur pi_0.5, un modèle vision-langage-action tiers développé par Physical Intelligence, est le point le plus significatif: il suggère qu'un monde fondationnel bien conçu peut générer des données d'entraînement suffisamment réalistes pour améliorer la généralisation d'un VLA existant sur des tâches de manipulation réelles, et pas seulement sur des métriques internes. C'est une piste concrète pour réduire l'écart simulation-vers-réel qui freine encore le déploiement à grande échelle des robots humanoïdes et bras manipulateurs, en offrant une alternative à la collecte coûteuse de données physiques.

Le travail part d'un constat classique dans le secteur: adapter un modèle fondationnel pré-entraîné avec des données robotiques limitées tend à dégrader les connaissances visuelles acquises lors du pré-entraînement à grande échelle. U0 cherche à préserver cette généralisation tout en l'adaptant aux contraintes des embodiments robotiques. Il se positionne face à des approches comme GR00T N2 de NVIDIA ou les modèles Pi de Physical Intelligence, dans une course où Xiaomi investit désormais explicitement la recherche en IA incarnée. Pour l'instant, la publication reste au stade recherche: code et poids sont ouverts, mais aucun déploiement produit ni pilote industriel n'est annoncé.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1TechNode

Xiaomi rend open source son modèle fondation pour l'IA incarnée, Xiaomi-Robotics-1

Xiaomi a annoncé le 5 août l'ouverture en open source de son modèle fondateur d'IA incarnée Xiaomi-Robotics-1, dévoilé en juillet comme solution « prête à l'emploi », en publiant le pipeline complet, du post-entraînement sur robot réel jusqu'au déploiement, avec le code des évaluations de référence. Le modèle a été pré-entraîné sur plus de 100 000 heures de données UMI puis post-entraîné sur plus de 10 000 heures de données cross-embodiment, collectées sur différentes plateformes robotiques. La publication comprend les liens vers le projet, le dépôt GitHub et la page Hugging Face. Cette ouverture s'inscrit dans la course aux modèles fondateurs pour la robotique, censés généraliser des compétences de manipulation sur plusieurs types de robots plutôt que nécessiter un modèle par plateforme, et elle abaisse la barrière d'entrée pour les laboratoires et intégrateurs qui veulent tester des politiques cross-embodiment sans constituer eux-mêmes des jeux de données à cette échelle. Ce choix de l'open source, plutôt qu'une simple démonstration produit, met à l'épreuve une promesse encore débattue dans le secteur : que les modèles génériques de manipulation passent réellement à l'échelle, au-delà des démonstrations sélectionnées. Le groupe chinois, connu pour son électronique grand public et ses véhicules électriques, avait déjà affiché ses ambitions robotiques avec l'humanoïde CyberOne dévoilé en 2022, et rejoint désormais la course aux modèles fondateurs, aux côtés d'autres laboratoires chinois et internationaux qui multiplient ce type d'annonces depuis un an. Il s'agit ici d'une brique logicielle mise à disposition de la communauté, sans calendrier de déploiement industriel précisé : la suite dépendra de l'adoption du modèle par des équipes tierces sur leurs propres robots, seul vrai test de sa capacité de généralisation au-delà des données d'entraînement de Xiaomi.

UELes laboratoires et intégrateurs européens peuvent librement tester ce modèle open source pour leurs propres robots, mais aucun déploiement ni partenariat français ou européen n'est mentionné.

IA physiqueActu

1 source

2Pandaily

Robotique-U0 de Xiaomi : un modèle génératif incarné à 38 milliards de paramètres unifiant quatre tâches robotiques

Xiaomi a mis en open source Xiaomi-Robotics-U0, un modèle génératif embarqué multimodal autorégressif de 38 milliards de paramètres, code et poids disponibles sur GitHub, HuggingFace et ModelScope. L'entreprise chinoise le présente comme le premier modèle génératif unifié du secteur de l'IA embarquée capable de gérer simultanément quatre tâches robotiques distinctes : la génération de scènes multi-vues à partir de descriptions textuelles (établis, cuisines, entrepôts, environnements ouverts) pour un matériel robotique donné ; le transfert de trajectoires existantes vers de nouveaux environnements en modifiant éclairage, arrière-plan, matériaux ou objets cibles tout en conservant les poses du bras et la disposition de la scène ; la génération de vidéos d'interaction robotique prolongeant des observations initiales selon des instructions données, avec généralisation zero-shot à des scénarios inédits ; et des capacités classiques de génération et d'édition d'images texte-image. Sur le benchmark WorldArena, Xiaomi revendique le meilleur score parmi 126 modèles participants. Sur robot réel, en conditions hors distribution (éclairages et arrière-plans inconnus), le taux de réussite des tâches aurait progressé de 26 % en moyenne grâce à l'entraînement sur données augmentées par U0. L'architecture d'inférence UNIS annoncée accélérerait la génération d'environ 83 fois par rapport au paradigme autorégressif brut. Ces chiffres proviennent des communications de Xiaomi et n'ont pas fait l'objet de vérification indépendante à ce stade. L'enjeu dépasse la simple démonstration technique : la rareté des données réelles reste l'un des principaux goulots d'étranglement du développement de l'IA embarquée, et un modèle capable de générer ou d'augmenter des jeux de données synthétiques, y compris pour des scénarios dangereux ou rares physiquement inaccessibles, réduit potentiellement le coût de collecte terrain pour les intégrateurs et laboratoires. Pour les décideurs B2B et les équipes robotique, cela déplace une partie de l'effort d'ingénierie de la collecte physique vers la génération contrôlée de données, à condition que le gain de performance annoncé se vérifie hors du cadre contrôlé du fabricant. C'est aussi un signal de plus que les grands acteurs chinois de l'électronique grand public investissent lourdement la pile complète de l'IA embarquée, du matériel au modèle fondation. Cette sortie s'inscrit dans la continuité du déploiement d'usines robotisées par Xiaomi et positionne le groupe comme acteur intégré sur toute la chaîne : fabrication de robots, déploiement réel et recherche en modèles fondation. Elle intervient dans un paysage déjà occupé par Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix), où la course porte désormais autant sur la disponibilité de données d'entraînement à grande échelle que sur l'architecture des modèles eux-mêmes. Aucune feuille de route de déploiement commercial ni de partenariat industriel n'a pour l'instant été précisée au-delà de la publication open source du modèle.

IA physiqueActu

1 source

3TechNode

Alibaba dévoile Qwen-Robot : trois modèles fondation pour l'IA incarnée

Alibaba a publié mardi une suite robotique composée de trois modèles fondamentaux : Qwen-RobotNav, Qwen-RobotManip et Qwen-RobotWorld. Qwen-RobotNav étend les capacités vision-langage à la robotique mobile en unifiant quatre tâches au sein d'un même framework : suivi d'instructions, navigation orientée objectif, tracking de cible et conduite autonome. Qwen-RobotManip standardise l'espace état-action et représente le mouvement de l'effecteur terminal sous forme de poses incrémentielles dans le référentiel caméra, une approche conçue pour faciliter la généralisation multi-plateforme. Ce modèle a été entraîné sur plus de 38 100 heures de données entièrement open source. Qwen-RobotWorld, le troisième composant, fonctionne comme un world model généraliste : il prédit des états futurs physiquement cohérents via une interface en langage naturel, couvrant simultanément la navigation, la conduite et la manipulation depuis un seul modèle. L'approche modulaire mais unifiée est la proposition de valeur centrale de cette suite. Un world model unique opérant sur trois domaines d'action représente une architecture qui, si elle tient ses promesses en conditions réelles, réduirait significativement les coûts d'intégration pour les équipes robotiques industrielles. L'utilisation de données entièrement open source pour Qwen-RobotManip est un signal notable dans un secteur où les datasets propriétaires constituent souvent un avantage concurrentiel défensif : Alibaba positionne ainsi Qwen-Robot davantage comme une infrastructure partagée que comme un produit fermé. Réserve importante cependant : l'annonce ne s'accompagne d'aucun benchmark public (RLBench, LIBERO, CARLA) ni de déploiement physique documenté. Il s'agit d'une publication de modèles, pas d'un produit shipé. L'équipe Qwen d'Alibaba est reconnue pour ses modèles multimodaux (Qwen2.5-VL, QwQ), mais ce lancement marque son entrée explicite dans l'embodied AI. Le terrain est disputé : Google DeepMind pousse ses dérivés de RT-2, Physical Intelligence a publié Pi-0 et Pi-0.5, Hugging Face soutient l'initiative LeRobot, et NVIDIA propose GR00T N2 comme backbone pour les robots humanoïdes partenaires. Côté chinois, Unitree, Agibot et Zhiyuan Robot accélèrent eux aussi leurs pipelines VLA (vision-language-action). La prochaine étape pour Alibaba sera de démontrer des résultats sur des plateformes matérielles réelles ; faute de quoi, Qwen-Robot restera un framework académique parmi d'autres dans une course déjà très chargée.

UEImpact indirect sur l'écosystème européen : la suite open-source d'Alibaba accentue la pression concurrentielle sur les initiatives VLA portées par des acteurs à ancrage européen comme Hugging Face (LeRobot), sans déploiement physique documenté en Europe à ce stade.

IA physiqueOpinion

1 source

4arXiv cs.RO

Tau-zéro WM : un modèle du monde vidéo-action unifié pour la manipulation robotique

Des chercheurs ont déposé le 1er juin 2026 sur arXiv (réf. 2606.01027) τ₀-WM (tau-zéro World Model), une architecture unifiée vidéo-action pour la manipulation robotique. Le modèle repose sur un backbone de diffusion vidéo partagé qui intègre simultanément apprentissage de politique, prédiction vidéo et évaluation d'actions au sein d'un même cadre prédictif. Il expose deux interfaces complémentaires : un modèle d'action vidéo qui prédit conjointement des représentations visuelles latentes futures et des séquences d'actions continues à partir d'observations multi-caméras, d'instructions en langage naturel et de l'état courant du robot ; et un simulateur vidéo conditionné sur l'action, capable de dérouler des séquences candidates en projections multi-vues tout en attribuant des scores denses de progression de tâche. L'entraînement porte sur environ 27 300 heures de données combinant téléopération réelle, interactions de style UMI (Universal Manipulation Interface, protocole de collecte de données en bimanuel développé par Stanford), vidéos égocentrées humaines, et trajectoires de succès comme d'échecs. L'intérêt principal réside dans la convergence entre politique et modèle de monde au sein d'une architecture commune. Les VLA (Vision-Language-Action models) actuels génèrent des actions sans anticiper leurs conséquences, laissant la gestion des erreurs à des modules séparés. τ₀-WM introduit un mécanisme de rectification à l'inférence : le simulateur évalue chaque séquence candidate via un score dense de progression, et les candidats jugés insuffisants sont corrigés par re-débruitage. Ce test-time scaling structuré pourrait réduire les interventions humaines sur des tâches longue durée, un enjeu clé pour les intégrateurs industriels qui peinent encore à déployer des robots autonomes sur des séquences de plus de quelques étapes. Sur les benchmarks de manipulation fine et longue séquence, les auteurs déclarent surpasser les baselines comparables, sans préciser les conditions expérimentales ni les contraintes matérielles testées. Ce travail s'inscrit dans une course engagée depuis fin 2024 entre Physical Intelligence (pi-0), NVIDIA (GR00T N2) et Figure (Helix) pour des architectures VLA à grande échelle, mais rares sont celles qui intègrent simulation interne et évaluation d'action dans un seul modèle plutôt que dans un pipeline découplé. L'usage de données UMI signale une stratégie d'agrégation multi-source qui dépasse les corpus propriétaires et pourrait favoriser la généralisation à de nouveaux environnements. Le papier reste pour l'instant un preprint non soumis à revue par les pairs : les performances annoncées restent à valider sur robot physique en conditions réelles, et aucune date de déploiement ou partenariat industriel n'est mentionné.

IA physiqueOpinion

1 source