Cosmos 3 : des modèles du monde omnimodaux pour l'IA physique

IA physique : raisonnement, modèles du monde et d'action avec NVIDIA Cosmos 3

NVIDIA a annoncé Cosmos 3, un modèle fondamental de frontière dédié à l'IA physique, conçu pour doter les robots, les véhicules autonomes et les espaces intelligents d'une capacité de compréhension du monde réel. L'architecture de Cosmos 3 repose sur trois composantes intégrées : des modèles de raisonnement physique, des modèles de monde et des modèles d'action, permettant à un système de percevoir son environnement, d'anticiper les événements à venir et de produire des séquences d'actions adaptées à une incarnation physique et à une tâche spécifiques. Ce type d'approche unifiant raisonnement, simulation et action au sein d'un seul modèle fondamental représente un changement de paradigme pour les intégrateurs robotiques. Jusqu'ici, ces trois briques étaient souvent développées séparément, ce qui générait des lacunes au niveau du transfert sim-to-real. Un modèle entraîné à raisonner sur la physique du monde avant de planifier l'action offre théoriquement une meilleure généralisation sur des tâches non vues en production, bien que les benchmarks industriels indépendants restent à confirmer. NVIDIA avait introduit la plateforme Cosmos en janvier 2025 au CES, positionnant alors ses modèles génératifs de monde comme infrastructure pour les fabricants de robots et les constructeurs automobiles. Cosmos 3 s'inscrit dans cette trajectoire d'itération rapide, face à une concurrence directe : Google DeepMind avec les modèles Gemini Robotics et RT-2, Physical Intelligence (pi) avec Pi-0, et Figure AI avec ses propres VLA. L'enjeu pour NVIDIA est de s'imposer comme couche d'infrastructure fondamentale de l'IA physique, au-delà du seul matériel GPU.

💬 Le vrai pari de NVIDIA avec Cosmos 3, c'est de s'imposer comme couche d'infrastructure logicielle de l'IA physique, au-delà du GPU. Raisonner sur la physique avant de planifier l'action, et unifier les trois briques dans un seul fondamental, c'est exactement ce qui manquait pour réduire les galères de transfert sim-to-real qui plombent les déploiements robotiques depuis des années. Sans benchmarks industriels indépendants, ça reste du déclaratif, mais la direction est la bonne.

PhysBrain 1.5 : des modèles vision-langage aux modèles fondation pour l'IA physique

PhysBrain 1.5, décrit dans une publication arXiv (2609.14973v1, soumission croisée), est un modèle unifié qui fusionne compréhension de scène, génération d'actions et prédiction d'états futurs dans un seul cadre d'apprentissage. Bâti sur un modèle vision-langage généraliste, il encode réponses textuelles, mouvements de l'effecteur terminal et cibles visuelles denses en séquences discrètes, optimisées conjointement par prédiction autorégressive du token suivant. Le pré-entraînement s'appuie entièrement sur des vidéos d'interaction humaine, sans donnée robot, via des épisodes centrés sur des tâches associant contexte sémantique et spatial au mouvement reconstruit et aux observations suivantes. L'ajustement supervisé combine ensuite démonstrations humaines, trajectoires robotiques et expérience simulée. Sur 28 benchmarks de compréhension incarnée, le modèle de 8 milliards de paramètres obtient un score moyen de 72,5, nouveau record open source, à la hauteur de modèles propriétaires comme GPT-6-Astra et Gemini 3.6 Flash, et meilleur résultat open source sur 14 des 28 benchmarks. L'enjeu pour l'industrie robotique tient à la source de supervision : pré-entraîner un modèle d'action à partir de vidéos humaines ordinaires, plutôt que de coûteuses données de téléopération robotique, attaquerait le principal goulot d'étranglement des modèles vision-langage-action (VLA) pour bras et humanoïdes. Qu'un modèle ouvert de 8B rivalise avec des systèmes propriétaires sur la compréhension intéresse les intégrateurs cherchant un déploiement local sans dépendre d'une API fermée. Réserve importante toutefois : la génération de trajectoires et la prédiction de scènes futures (RGB, profondeur, masques robot) ne reposent que sur des exemples qualitatifs, sans taux de réussite ni temps de cycle chiffrés, un écart classique entre démonstration et fiabilité de terrain. Ce travail s'inscrit dans la vague des modèles vision-langage-action qui unifient perception, langage et contrôle moteur dans un même transformeur autorégressif, aux côtés d'approches comme Pi-0, GR00T N2 ou Helix, et se positionne explicitement face aux modèles multimodaux propriétaires des grands laboratoires. Il s'agit d'une publication de recherche arXiv, pas d'un produit livré ni d'un déploiement commercial : aucune entreprise, plateforme robotique ni calendrier de disponibilité n'est précisé. La suite logique serait une évaluation quantitative des capacités d'action sur robot réel, afin de vérifier si les démonstrations qualitatives se traduisent en performances reproductibles hors laboratoire.

Riemann-1.0 : un modèle d'action du monde incarné pour l'IA physique

Un preprint publie sur arXiv (2608.27033) présente Riemann-1.0, un "World Action Model" causal et autoregressif qui unifie, dans une seule séquence, observations visuelles multi-vues, états du robot et actions spécifiques a chaque embodiment. Le modèle est pré-entraine sur plus de 200 000 heures de données hétérogènes: vidéos humaines a la première personne, démonstrations avec pinces portables et trajectoires de robots varies. Il atteint 94,3% de réussite sur RoboTwin2.0, 99,0% sur LIBERO et 62,6% sur le benchmark compositionnel long-horizon RoboCasa-365, soit 8,4 points de plus que la meilleure méthode antérieure. Sur des taches réelles de manipulation longue durée, il obtient 85,0% de réussite (SR) et 94,4% de progression (PSR), soit 15 points de plus que le meilleur système open source de référence. Le résultat notable n'est pas seulement le score, mais l'architecture: un seul modèle fait a la fois office de politique de contrôle exécutable et de simulateur du monde conditionne par l'action, la ou la plupart des approches séparent prédiction vidéo et génération d'actions. Cela alimente le débat sur le passage a l'échelle des modèles vision-langage-action, en suggérant que des sources bon marche comme la vidéo humaine peuvent compléter des données robotiques rares pour améliorer la généralisation. Pour les intégrateurs, la prudence reste de mise: ces résultats proviennent d'un preprint non relu par les pairs, obtenus sur des benchmarks contrôles et des taches réelles décrites de façon générique, sans précision sur le site de test ni sur un déploiement en production. Riemann-1.0 se positionne contre trois familles de "world models" robotiques existantes, génération conjointe d'actions et d'images, prédiction vidéo suivie d'une politique séparée, ou architectures découplées, jugées limitantes par ses auteurs face a la fragmentation entre simulation du monde et contrôle du robot. L'article ne mentionne ni organisation commerciale a l'origine du projet, ni plateforme robotique associée, ni date de pilote ou de déploiement: il se presente comme un jalon de recherche plutôt que comme un produit livre. Les suites logiques, non confirmées dans le texte, porteraient sur l'extension a davantage d'embodiments et sur des essais en conditions réelles hors laboratoire, dans la lignée des travaux parallèles menés par d'autres laboratoires sur les modèles fondation pour la manipulation robotique.

Agents omnimodaux incarnés : des compétences isolées à l'autonomie physique du quotidien

OmniAct est un framework de recherche publié le 26 juin 2026 sur arXiv (2606.27251) qui propose une architecture pour agents robotiques capables d'opérer de façon persistante sur des tâches longues dans des environnements non structurés. Le système repose sur trois couches hiérarchiques asynchrones : un planificateur sémantique multimodal qui route les actions entre domaines cyber (APIs, IoT) et physiques (manipulation, navigation), un module de mémoire adaptatif à compression événementielle garantissant une croissance sous-linéaire du contexte, et un moteur de préemption visuelle asynchrone qui referme la boucle sémantique pendant l'exécution physique. Évalué sur 40 tâches réelles à long horizon sur deux plateformes robotiques coordonnant quatre dispositifs IoT, OmniAct maintient une consommation de tokens quasi-stable en deçà de 100 000 tokens accumulés et élève des modèles open-weight à un niveau de performance comparable aux modèles propriétaires. Ce résultat adresse trois défaillances structurelles bien connues dans le domaine : les planificateurs VLM (Vision-Language Model) manquent d'un espace d'action cyber-physique unifié, les frameworks d'agents existants accumulent du contexte de façon non bornée jusqu'à dégrader la cohérence temporelle sur les longues sessions, et les politiques VLA (Vision-Language-Action) s'exécutent classiquement en boucle ouverte sans détecter leurs propres défaillances. La préemption visuelle asynchrone est l'apport le plus différenciant : le robot peut interrompre et reconfigurer une séquence en cours sans attendre sa terminaison, ce qui est précisément le comportement requis dans un déploiement industriel réel. Pour un intégrateur ou un COO industriel, la démonstration qu'une architecture bien conçue suffit à hisser des modèles open-weight au niveau propriétaire modifie le calcul économique du déploiement : moins de dépendance aux fondations coûteuses de GPT-4o ou Gemini. Ce travail s'inscrit dans une compétition dense autour des architectures pour agents embodied à long horizon. Des frameworks concurrents comme pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI) ciblent également la généralisation physique, mais restent principalement centrés sur la manipulation. OmniAct se distingue en intégrant explicitement le domaine cyber dans la boucle d'action, rapprochant l'architecture des besoins industriels où un robot interagit aussi avec des systèmes d'information et des capteurs IoT. Nuance importante : il s'agit d'un preprint arXiv, non encore évalué par les pairs, sans déploiement commercial annoncé ni divulgation des deux plateformes robotiques utilisées, ce qui limite la reproductibilité des résultats à ce stade.