Dossier NVIDIA Isaac & Cosmos

Présentation d'Arena 5.0 : un cadre de simulation ROS2 photoréaliste pour développer et évaluer la navigation sociale

Arena 5.0, la cinquième version du framework open source dédié au développement et à l'évaluation de la navigation sociale des robots, vient d'être présentée sur arXiv (2610.11220). Son apport principal est l'intégration complète de NVIDIA Isaac Gym, qui permet des simulations photoréalistes et un entraînement plus efficace. Les modules existants de la plateforme fonctionnent dans cet environnement: génération aléatoire d'environnements, outils d'évaluation, support de ROS2, intégration de planificateurs, de modèles de robots et d'API. Les auteurs ajoutent un benchmark des stratégies de navigation sociale de l'état de l'art, testées sur des mondes générés ou personnalisés et sur des scénarios de difficulté variable, avec une large gamme de métriques sociales. Ils ajoutent aussi des modules de génération de scénarios et de planification de tâches, capables de produire des situations personnalisées comme des urgences ou des opérations de secours. Le code est disponible sur le GitHub Arena-Rosnav. L'article ne donne pas de chiffres précis dans son résumé, ni sur les gains d'entraînement ni sur le nombre de planificateurs comparés. L'intérêt est d'abord méthodologique. La navigation sociale, c'est-à-dire la capacité d'un robot à évoluer parmi des humains sans les gêner ni les mettre en danger, souffre d'un manque de protocoles communs. Chaque équipe teste ses planificateurs dans ses propres simulateurs, avec ses propres métriques, ce qui rend les comparaisons peu fiables. Un banc d'essai ROS2 standardisé et photoréaliste réduit l'écart entre simulation et réalité (sim-to-real), un point critique pour les AMR et les robots de service qui partagent leurs espaces avec des personnes. Pour les intégrateurs, il offre un moyen de tester des planificateurs avant un déploiement en entrepôt, hôpital ou lieu public. Une réserve s'impose: l'amélioration de l'utilisabilité repose sur une étude utilisateur dont le résumé ne donne ni la taille d'échantillon ni les résultats chiffrés. Le photoréalisme d'un simulateur ne garantit pas non plus un transfert fiable vers le terrain. Arena 5.0 prolonge un projet académique construit sur ROS et maintenu par la communauté Arena-Rosnav, qui a produit quatre versions précédentes. Le choix d'Isaac Gym s'inscrit dans la tendance des équipes de recherche à s'appuyer sur l'écosystème NVIDIA (Isaac Sim, Isaac Lab) pour l'apprentissage par renforcement massivement parallèle. Le framework rejoint des outils comme Habitat ou iGibson, orientés navigation et interaction, ainsi que des bancs d'essai de navigation sociale plus ciblés. Son atout est l'intégration native de ROS2, standard de fait chez les industriels. La suite dépendra de son adoption: l'ajout de planificateurs par des équipes externes et son utilisation comme référence dans les publications diront s'il devient un benchmark commun ou reste un outil de laboratoire.

USDCraft : modélisation programmatique d'actifs 3D articulés, ancrée géométriquement, pour la simulation

Des chercheurs présentent USDCraft, un cadre logiciel où un grand modèle de langage (LLM) préentraîné, sans entraînement spécifique à la tâche, écrit et révise des programmes exécutables qui génèrent des objets 3D articulés prêts pour la simulation. Les sorties sont des actifs au format USD avec des propriétés physiques explicites, chargés dans Isaac Sim sans réglage manuel. Le système repose sur deux mécanismes. L'analyse de la géométrie source convertit le maillage d'origine en une description textuelle métrique, qui distingue la surface observée de l'espace inconnu. Le recontrôle géométrique itératif ré-encode chaque candidat dans la même représentation, de sorte que les écarts indiquent directement les modifications à apporter au programme. Un retour visuel et des consignes d'écriture physique complètent la boucle. Les auteurs annoncent une récupération de l'articulation supérieure à l'état de l'art sur deux benchmarks, et une validation sur des tâches de manipulation robotique « real-to-sim-to-real ». Le résumé ne chiffre ni les scores, ni les temps de génération, ni le coût en appels au modèle. Pour les équipes qui entraînent des politiques de manipulation en simulation, le goulot d'étranglement est souvent l'acquisition d'objets articulés fidèles : portes, tiroirs, charnières, avec des limites de joint et des paramètres physiques corrects. Les méthodes actuelles à base de maillages apprennent à inférer l'articulation à partir d'actifs 3D annotés, mais elles se dégradent dès que l'objet réel sort de la distribution d'entraînement ou que son maillage est incomplet ou corrompu, ce qui est fréquent après un scan. En traitant la reconstruction comme une modélisation programmatique, avec des régions non observées laissées ouvertes à la complétion plutôt que devinées, USDCraft déplace le problème vers un LLM généraliste piloté par des vérifications géométriques. Si les résultats tiennent à l'échelle, cela réduirait le travail manuel d'authoring d'actifs chez les intégrateurs et les laboratoires. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs, sans chiffres publics dans le résumé, et la preuve de transfert réel repose sur un nombre d'expériences non précisé. Le travail s'inscrit dans la course à la génération d'actifs de simulation, où les approches par apprentissage sur jeux de données annotés (reconstruction d'articulations à partir de maillages) rencontrent des limites de généralisation. L'écosystème OpenUSD et Isaac Sim de NVIDIA s'impose comme cible commune pour la simulation robotique, ce qui explique le choix du format. L'approche rejoint la tendance à utiliser les LLM comme générateurs de code pour la scène et l'objet, par opposition aux modèles de génération 3D entraînés de bout en bout. Les suites logiques seraient une publication du code et des actifs, des comparaisons directes avec les méthodes mesh-based sur des scans réels bruités, et une évaluation sur des objets plus complexes à plusieurs articulations. Aucun acteur européen n'est mentionné dans le résumé, et aucun calendrier de déploiement industriel n'est annoncé.

GATOR : reconstruction d'objets 3D générative et à base d'agents à partir de photos du quotidien

Des chercheurs de NVIDIA (laboratoire LPR) publient GATOR, un cadre de reconstruction 3D d'objets à partir d'images ordinaires, présenté sur arXiv en octobre 2026. À partir d'une ou plusieurs photos prises sans protocole particulier, le système produit un objet texturé complet et sa pose relative à la scène, y compris pour les surfaces masquées par des occultations. Un « mélangeur de modalités local » associe, avant le raisonnement multi-vues, les caractéristiques RGB, le masque de l'objet cible et les cartes de points (pointmaps), alignées au niveau des patchs. Cela permet de conserver le contexte de la scène tout en distinguant la cible de son environnement. Des adaptateurs spécifiques à chaque étape (structure, géométrie, apparence) injectent en plus des noms de catégories et des légendes textuelles. L'actif généré initialise ensuite un agent multimodal, qui affine la structure et la texture par une boucle « édition, rendu, revue » guidée par les observations. Les auteurs annoncent une bonne fidélité géométrique et visuelle sur des objets synthétiques, des tables encombrées et des scènes d'intérieur, ainsi qu'une récupération de la pose avec peu d'observations. L'intérêt pour la robotique tient surtout à ce que le résumé appelle la « préparation à la simulation ». Construire des jumeaux numériques d'une scène réelle reste un goulot d'étranglement pour l'apprentissage sim-to-real. Les environnements sont souvent modélisés à la main ou scannés avec du matériel dédié, ce qui limite le volume de données d'entraînement pour les politiques VLA et les modèles de fondation robotiques. Si une poignée de photos de smartphone suffit à produire des actifs alignés sur la scène et exploitables dans un simulateur, le coût de création d'environnements variés baisse nettement. Pour les intégrateurs, cela pourrait aider à valider des cellules de travail ou à générer des scènes de test à partir de simples captures sur site. Les auteurs évoquent aussi des comparaisons à budget de temps égal, qui visent l'efficacité plutôt que la seule qualité maximale. Le résumé ne donne cependant aucun chiffre sur les métriques, les temps de calcul ni les jeux de données. L'ampleur réelle du gain, la robustesse hors des benchmarks et la précision physique (masses, collisions, articulations) restent donc à vérifier dans l'article complet. GATOR s'inscrit dans la course aux modèles génératifs 3D, qui ont progressé rapidement avec les approches image vers 3D et les reconstructions par cartes de points à la DUSt3R. Beaucoup de ces méthodes produisent un objet isolé, sans pose fiable dans la scène, ou peinent avec les occultations. L'ajout d'une boucle agentique de relecture et de correction reflète une tendance plus large : utiliser des modèles de langage et de vision comme relecteurs pour corriger les sorties génératives. NVIDIA, déjà très présent en simulation avec Isaac Sim, Omniverse et la famille GR00T, a un intérêt évident à alimenter ses pipelines en actifs 3D produits automatiquement. Il s'agit pour l'instant d'une publication de recherche. Aucun code, calendrier d'intégration ni produit n'est annoncé dans le résumé, qui renvoie seulement à une page de projet sur le site de NVIDIA Research.

5 étapes pour créer des assets SimReady pour la robotique avec des modèles d'IA de pointe

NVIDIA a publié un guide en cinq étapes pour préparer des actifs CAD destinés à la simulation robotique, en s'appuyant sur des modèles d'IA de pointe. Le flux de travail combine les bibliothèques Omniverse, les spécifications SimReady Foundation et des « skills » agentiques maison. Il convertit la géométrie CAD en OpenUSD, puis configure et valide les matériaux, les géométries de collision, les articulations (joints) et les autres propriétés physiques avant tout test du comportement d'un robot. Il s'agit d'une documentation technique et d'une méthode, pas d'un produit chiffré. Les extraits disponibles ne donnent ni gain de temps mesuré, ni taux de réussite de la validation automatisée, ni liste de clients. L'enjeu est un goulot d'étranglement peu visible. Un fichier CAD converti en USD n'est pas encore un modèle simulable. Des collisions mal définies, des axes d'articulation erronés ou des masses incohérentes faussent l'entraînement des politiques et creusent l'écart sim-to-real. Pour les intégrateurs et les équipes de jumeaux numériques, la préparation manuelle des actifs reste un coût récurrent. Confier une partie de cette vérification à des agents, guidés par une spécification standardisée, viserait à rendre la validation reproductible. Cette promesse reste à confirmer sur des cas industriels, d'autant que l'IA générative peut produire des erreurs physiques plausibles mais fausses. Cette publication prolonge la stratégie de NVIDIA autour d'OpenUSD, d'Isaac Sim et d'Omniverse comme couche commune de simulation, face à des outils concurrents comme MuJoCo ou aux environnements propriétaires des constructeurs. Le risque est une dépendance accrue à l'écosystème NVIDIA. Les éventuelles suites, comme l'extension des spécifications SimReady ou l'adoption par des fabricants de robots, ne sont pas précisées dans le texte.

AWS lance une boîte à outils open source d'IA physique pour la robotique

AWS a lancé aujourd'hui une Physical AI Toolchain en open source, qui doit permettre aux roboticiens de passer de la collecte de données à l'entraînement, la simulation, la validation et le déploiement de modèles d'IA sur leurs robots. Elle assemble des services AWS et la pile logicielle Physical AI de NVIDIA dans un flux de développement unique, articulé autour de cinq briques : génération de données synthétiques, entraînement de modèles, simulation et validation, déploiement en périphérie (edge) et amélioration continue. AWS fournit Amazon SageMaker pour l'entraînement et AWS IoT Greengrass pour distribuer les modèles vers les appareils embarqués. NVIDIA apporte Isaac Sim, Isaac Lab, Isaac GR00T et Cosmos. Les composants peuvent être utilisés séparément ou combinés de bout en bout. Un industriel peut ainsi collecter des démonstrations d'une tâche, générer des scénarios supplémentaires de façon synthétique, entraîner ou affiner un modèle, le tester en simulation, puis le charger sur le robot physique. Les données remontées du terrain alimentent ensuite le cloud pour améliorer le modèle. Sri Elaprolu, directeur Frontier AI Science and Engineering chez AWS, parle d'un « easy button » censé épargner aux équipes la gestion de l'infrastructure. Pour les intégrateurs et les décideurs industriels, l'enjeu est le maillon manquant entre un modèle entraîné et un système fiable en conditions réelles. Aujourd'hui, chaque équipe assemble sa propre chaîne d'outils, ce qui coûte du temps et fragmente les pratiques. AWS cible aussi la rareté des données : contrairement aux LLM, il n'existe pas de corpus massif de données robotiques sur Internet, d'où le pari sur la donnée synthétique et la simulation, dont la fidélité au monde réel reste la question ouverte du sim-to-real. La toolchain est volontairement neutre vis-à-vis du matériel, ce qui la rend utilisable avec des humanoïdes, des bras ou des mobiles. À ce stade, il s'agit d'une offre d'infrastructure annoncée, sans chiffres de performance ni client de production nommé pour la chaîne complète : l'argument repose sur la promesse d'intégration plutôt que sur des résultats mesurés. Le lancement s'inscrit dans la stratégie d'AWS, qui revendique plus d'un million de robots dans les opérations d'Amazon et dit y avoir puisé des enseignements pour la toolchain. Elle ne remplace pas directement RoboMaker, la plateforme de simulation robotique dans le cloud fermée en 2025, que Sri Elaprolu présente comme un composant parmi d'autres de la pile robotique d'AWS. Les entrepôts d'Amazon restant des environnements contrôlés, il cite Telexistence, société japonaise qui déploie des humanoïdes dans des supérettes, avec plus de 300 unités selon lui et d'autres à venir. Ces lieux imposent une tolérance aux pannes plus faible et des temps de réaction plus courts. Face à NVIDIA, qui pousse sa propre pile, et aux fournisseurs cloud concurrents, AWS se positionne en couche d'orchestration plutôt qu'en constructeur. Le calendrier de déploiement et les premiers clients de la chaîne complète n'ont pas été précisés.

Adaptation de la démarche économe en énergie par apprentissage par renforcement hiérarchique pour la locomotion quadrupède sur terrains variés

Des chercheurs proposent un cadre d'apprentissage par renforcement hiérarchique (HRL) qui sépare deux niveaux de contrôle pour la locomotion des robots quadrupèdes. Une politique haute fréquence assure l'exécution stable et robuste du mouvement au niveau des articulations. Une politique basse fréquence adapte la démarche en minimisant explicitement le coût de transport (CoT), c'est-à-dire l'énergie dépensée par unité de poids et de distance parcourue. L'entraînement se fait en trois étapes sous Isaac, le simulateur de NVIDIA. Il permet un transfert direct de la simulation au réel (zero-shot, sans réglage supplémentaire). Les auteurs le valident sur un quadrupède Unitree AlienGo. En simulation, ils le comparent à des politiques monolithiques et à des architectures hiérarchiques de référence. Ils annoncent un CoT réduit sur une large plage de vitesses commandées, avec une locomotion qui reste robuste sur sol plat, sol irrégulier et pentes. Le résumé publié ne donne aucun chiffre précis, ni pourcentage de réduction, ni valeur de CoT, ni vitesse maximale. L'intérêt principal est de s'attaquer à un défaut connu des politiques entièrement apprises de bout en bout. Dans ces systèmes, la génération de la démarche, l'exécution du mouvement et l'optimisation énergétique sont étroitement imbriquées. Le résultat dépend alors fortement de la pondération des termes de récompense, ce qui rend les politiques fragiles et difficiles à ajuster. En isolant la minimisation du CoT dans un niveau dédié, l'approche rend l'efficacité énergétique plus contrôlable, sans dégrader le suivi de vitesse. La hiérarchie fait aussi émerger une adaptation automatique de la démarche : le robot passe de l'amble (pacing) à basse vitesse au trot à vitesse plus élevée. Cela rappelle les transitions de allures observées chez les animaux, sans qu'elles aient été programmées. Pour les intégrateurs, l'autonomie est un facteur limitant des quadrupèdes d'inspection industrielle. Un gain énergétique obtenu par la politique seule, sans changement matériel, serait donc précieux. Il faudra toutefois le confirmer par des mesures d'autonomie réelles. Cette publication s'inscrit dans une série de travaux sur la locomotion apprise, qui ont largement utilisé Isaac Gym et Isaac Lab pour entraîner des politiques déployées sur des plateformes Unitree. Les approches hiérarchiques existent déjà. Elles séparent en général un planificateur de démarche ou de pas d'un contrôleur bas niveau. Ici, la particularité tient à l'optimisation explicite du CoT au niveau supérieur. Les limites sont claires. Il s'agit d'un preprint arXiv (2610.10297v1) non évalué par les pairs. Le test matériel porte sur un seul robot, l'AlienGo, plateforme plus ancienne que les Go2 ou B2 actuels de Unitree. Les terrains testés restent relativement simples. La suite logique serait de valider sur des plateformes plus récentes, avec des mesures de consommation en conditions réelles. Il faudrait aussi tester des terrains plus difficiles comme les escaliers, et comparer avec les contrôleurs commerciaux.

Démo : cadre de co-simulation en boucle fermée Sionna-Isaac Sim pour une navigation robotique sensible au réseau sans fil via ROS 2

Des chercheurs de la Singapore University of Technology and Design (SUTD) présentent, dans une démonstration publiée sur arXiv, un cadre de co-simulation en temps réel qui couple NVIDIA Isaac Sim (moteur physique et de perception robotique) et NVIDIA Sionna (simulateur de liaisons radio) via ROS 2. Sionna calcule par lancer de rayons sur GPU le canal entre la station de base et le robot, sur la géométrie exacte que simule Isaac Sim, au lieu d'un modèle stochastique. Les états du canal reviennent dans la boucle de commande en temps réel : la carte de couverture est rafraîchie en environ 16 ms (environ 60 Hz). Pour la démonstration, l'équipe a construit un jumeau numérique du campus SUTD à partir d'OpenStreetMap, avec deux robots Nova Carter. Le planificateur en boucle fermée supprime les coupures de communication pour un surcoût de seulement 7,4 % sur le temps de parcours. Le trajet le plus court, pris comme référence, reste déconnecté 7,9 s sur un parcours de 81,2 s, soit environ 10 % du temps. L'enjeu concerne les robots dont la boucle de contrôle est déportée sur le réseau, en 5G privée ou en edge computing. Comme le récepteur se déplace avec le robot, la qualité de la liaison dépend de sa trajectoire. Jusqu'ici, les simulateurs traitaient l'un ou l'autre aspect. Les auteurs affirment, à leur connaissance, qu'aucun outil n'unifie nativement moteur physique et propagation spécifique au site, et que les couplages existants se limitaient à des analyses hors ligne. Pour un intégrateur de flottes d'AMR en entrepôt ou en usine, l'intérêt est de tester avant déploiement les zones d'ombre radio, au lieu de les découvrir sur site. Les chiffres demandent toutefois de la prudence : ils proviennent d'un seul scénario simulé, sur un campus, sans mesure sur du matériel réel. Un jumeau fidèle en simulation ne garantit pas la même précision face aux réflexions, aux obstacles mobiles et à la variabilité d'un site industriel. Il s'agit d'une démo de recherche, pas d'un produit livré ni d'un déploiement. Cette approche prolonge la convergence des outils NVIDIA, avec Isaac Sim pour la robotique, Omniverse pour les jumeaux numériques et Sionna pour la recherche en communications, dans la perspective de la 6G et du « network-aware robotics ». Elle s'inscrit dans le courant de la simulation avant le sim-to-real, déjà adoptée pour la perception et la manipulation, mais encore peu appliquée à la connectivité. Le sujet touche aussi les humanoïdes et les robots mobiles qui déportent une partie de l'inférence, par exemple pour les modèles VLA, vers des serveurs distants. Les prochaines étapes naturelles seraient une validation sur un banc réel, des scénarios multi-cellules et multi-robots, et une intégration avec des planificateurs plus complexes. Aucun calendrier n'est annoncé.

EmbodiedSmith : passer à l'échelle les données d'IA incarnée grâce à un cycle d'auto-amélioration récursive en simulation

Des chercheurs publient sur arXiv (2610.07969) EmbodiedSmith, un cadre de génération de données d'entraînement robotiques en simulation, fondé sur une boucle de « récursive self-improvement » (RSI). Le système unifie trois étapes habituellement séparées : la création d'assets 3D, la génération de scènes et la génération de tâches. Il fonctionne de façon autonome ou sur instructions en langage naturel. Au centre du dispositif, une boucle de raffinement pilotée par des agents : la génération de scène anticipe les besoins des tâches à venir, et la génération de tâche déclenche en retour des modifications ciblées de la scène. Le cadre prend en charge des manipulateurs mobiles, des humanoïdes et des mains dextres, ainsi que des interactions avec des objets déformables et des fluides. Les auteurs affirment que ce raffinement conjoint améliore le taux de réussite de la génération de tâches, y compris pour les tâches longues, et que des politiques entraînées sur des données plus diversifiées généralisent mieux. Le résumé ne donne ni chiffres, ni noms de robots, ni noms de modèles de politique testés. L'intérêt tient à deux verrous connus des modèles de fondation robotiques : le manque de données variées et le manque d'environnements d'évaluation fiables. Les pipelines de simulation actuels dépendent de bibliothèques d'assets et de compétences prédéfinies, et traitent la scène et la tâche comme deux problèmes disjoints, ce qui produit des tâches irréalisables ou répétitives. Si la boucle scène-tâche tient ses promesses, elle réduirait le travail manuel de conception d'environnements, poste coûteux pour les équipes qui entraînent des VLA (vision-language-action). L'extension aux mains dextres, aux fluides et aux objets déformables vise des cas où la simulation reste la plus fragile. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par des pairs, et le résumé ne dit rien de l'écart sim-to-real. Un gain de généralisation mesuré en simulation ne prouve pas un transfert sur robot physique, qui est le test décisif pour les décideurs industriels. Le travail s'inscrit dans la course à la donnée synthétique pour la robotique, où coexistent les générateurs de scènes pilotés par LLM, les environnements procéduraux et les plateformes de simulation des grands acteurs, comme Isaac Sim chez NVIDIA, qui alimente la famille GR00T. Face à la téléopération, coûteuse et lente à passer à l'échelle, la simulation générative promet de produire des volumes bien supérieurs à moindre coût. Les prochaines étapes à surveiller sont la publication du code et des benchmarks, des validations sur robots réels et une comparaison directe avec les pipelines existants. Aucun acteur européen ni calendrier de déploiement n'est mentionné dans l'annonce.

WareFly-VLA : un cadre vision-langage-action pour la navigation de drones et le suivi de personnes en entrepôt intelligent

Des chercheurs publient WareFly-VLA, un cadre et un jeu de données destinés à la navigation de drones pilotée par le langage dans les entrepôts intelligents (arXiv 2610.08526). Le corpus rassemble 507 épisodes de vol téléopérés par des humains et 8 504 transitions RGB haute résolution, collectés dans NVIDIA Isaac Sim. Chaque transition est associée à une description écrite par un humain de l'apparence du travailleur ciblé et à une commande de contrôle synchronisée à 4 degrés de liberté. Deux tâches sont couvertes, l'approche d'une cible et le suivi d'une personne, avec occlusions, recherche longue portée, variations d'altitude et encombrement. Quatre architectures VLA open source (SmolVLA, GR00T N1.7, pi0 et OpenVLA) sont comparées sur un protocole sans fuite de données au niveau de l'épisode, à deux fréquences de contrôle. Le jeu de données, les modèles de référence et le protocole d'évaluation sont publiés. Les résultats tempèrent l'enthousiasme autour des modèles vision-langage-action. Les performances chutent nettement dès que la généralisation est évaluée strictement, c'est-à-dire sur des épisodes réellement inédits. La modélisation continue des actions bat systématiquement la tokenisation discrète, ce qui va contre le choix d'OpenVLA et conforte l'approche de pi0. Sur une seule image, seul le canal avant (avancer) est appris de façon fiable, alors que latéral, altitude et rotation restent hors de portée. Enfin, les interfaces des modèles de fondation actuels, conçues pour la manipulation, la navigation au sol et les humanoïdes, se transfèrent mal aux plateformes aériennes. Pour un intégrateur qui envisage des drones d'inventaire ou d'assistance en entrepôt, le message est clair: le contrôle aérien guidé par le langage n'est pas résolu, et un VLA généraliste ne peut pas encore être déployé tel quel. Ce travail comble un vide. Les VLA ont brillé en manipulation et en navigation de robots mobiles au sol, mais aucun benchmark ne combinait actions de vol continues bas niveau, descriptions fines de cibles en langage naturel et environnements industriels réalistes. Il faut toutefois rester prudent: le jeu de données est modeste (507 épisodes), entièrement simulé, et les résultats viennent de baselines affinées sur une seule image, sans validation sur drone réel. Les annotations de pose et de difficulté, synchronisées avec la vidéo, le langage et les actions, visent aussi la recherche sur les modèles du monde. Aucun acteur français ou européen n'est cité dans l'étude. La suite logique passera par des modèles à mémoire temporelle ou multi-images, puis par des tests sim-to-real. Les équipes derrière SmolVLA, GR00T et pi_0 pourraient s'appuyer sur ce banc d'essai pour adapter leurs architectures à l'aérien.

UWB et Crazyflow : simuler à grande échelle un retour d'information dégradé pour la robotique aérienne

Crazyflow est un simulateur de drones différentiable, construit sur JAX et présenté dans un preprint arXiv (2610.08225). Grâce à la compilation JIT via XLA, la physique et le contrôle sont fusionnés dans un unique graphe de calcul différentiable. Les simulations peuvent ainsi être massivement parallélisées sur accélérateurs (GPU), sans simplifier la modélisation. Les auteurs revendiquent des gains d'un ordre de grandeur par rapport aux simulateurs de référence, et un entraînement en quelques secondes d'agents d'apprentissage par renforcement déployables. Pour montrer la modularité de l'outil, ils y ajoutent un pipeline complet de simulation Ultra-Wideband (UWB, localisation radio par mesure de distance) et de centrale inertielle (IMU), couplé à un filtre de Kalman étendu (EKF) à état complet. Selon eux, l'évaluation parallèle de contrôleurs sous retour d'état dégradé n'affecte presque pas le débit GPU. Le résumé ne donne ni facteur d'accélération chiffré ni nombre d'environnements simultanés, et les gains annoncés n'ont pas encore été vérifiés de façon indépendante. L'intérêt tient à ce que la plupart des simulateurs de drones entraînent des politiques sur un état parfaitement connu, alors que les vols réels, en intérieur notamment, reposent sur des mesures bruitées, retardées ou intermittentes. Cet écart de fidélité est une cause classique d'échec du transfert sim-to-real. Si le modèle de capteurs et l'estimateur tournent dans le même graphe compilé que la dynamique, les équipes pourront tester la robustesse d'un contrôleur à grande échelle avant tout vol, ce qui réduit les cycles d'essais sur matériel. Pour les intégrateurs de flottes en entrepôt ou en inspection de sites sans GPS, c'est un outil de validation plausible. Reste à confirmer que la fidélité du modèle UWB colle aux mesures réelles, point que le résumé n'établit pas. Le projet s'inscrit dans la vague des simulateurs accélérés écrits en JAX ou sur GPU, comme MuJoCo MJX, Brax ou Isaac Sim. Ces outils ont rendu l'apprentissage par renforcement massif accessible en robotique, notamment pour les robots à pattes. Le nom évoque la plateforme Crazyflie, nano-quadricoptère très répandu dans la recherche, ce qui suggère un public académique. Les prochaines étapes à surveiller sont la publication du code, des comparaisons chiffrées avec les simulateurs existants et surtout des essais de transfert sur drones réels sous localisation UWB. Ces éléments diront si l'outil dépasse le statut de preprint.

Réduire l'écart simulation-réel avec multipanda_ros2 : un framework ROS2 temps réel pour systèmes multimanuels

Des chercheurs publient multipandaros2, une architecture open source ROS2 pour piloter plusieurs robots Franka Robotics depuis un seul processus. Le framework s'appuie sur ros2control et expose des interfaces ROS2 natives pour un nombre quelconque de bras. Il maintient une boucle de contrôle en couple à 1 kHz, fréquence indispensable au temps réel et minimum exigé par les normes de sécurité. Il introduit aussi un patron de conception « controllet-feature », qui ramène le délai de commutation entre contrôleurs à 2 ms ou moins. Côté simulation, l'équipe intègre un jumeau MuJoCo haute fidélité. Elle l'évalue avec des métriques quantitatives de précision cinématique et de cohérence dynamique (couples, forces, erreurs de contrôle). Elle montre enfin qu'une identification des paramètres inertiels sur le robot réel améliore nettement la précision des forces et des couples simulés. Le code est publié, mais le résumé ne donne ni liste de tâches détaillée ni chiffres d'amélioration. L'intérêt est surtout infrastructurel. Le sim-to-real reste un point de blocage pour la manipulation riche en contacts, en particulier à deux bras. Les politiques apprises, de type VLA ou apprentissage par renforcement, ne valent que par la fidélité des couples et des forces simulés. Un cadre qui quantifie l'écart sur les couples, et pas seulement sur les trajectoires, rend le benchmarking reproductible. La commutation de contrôleurs en 2 ms permet d'enchaîner des phases de contrôle en impédance, en force ou en position sans rupture, ce qui compte pour l'assemblage ou la manipulation d'objets partagés entre deux bras. Pour un intégrateur, l'unification de plusieurs Franka dans un seul processus allège le déploiement de cellules multi-robots. Il faut toutefois rester prudent : il s'agit d'un outil de recherche validé sur des plateformes de laboratoire, pas d'une preuve de déploiement industriel, et l'ampleur de la réduction de l'écart sim-to-real n'est pas chiffrée dans le résumé. Le projet s'inscrit dans la lignée de franka_ros et de libfranka, dont le support ROS2 est resté fragmentaire, surtout pour le multi-robot. L'équipe indique prolonger des approches issues de la robotique souple vers les tâches rigides à deux bras. Le Franka (Franka Robotics, société munichoise) reste la plateforme de référence des laboratoires européens et américains. D'autres cadres s'adressent au même besoin : MoveIt 2 pour la planification, Isaac Sim ou MuJoCo Playground pour la simulation, et LeRobot pour les données et les politiques. La suite logique est l'adoption par la communauté, puis des validations sur des tâches de contact plus exigeantes. Cette version 2 de l'article remplace la précédente sur arXiv.

RoboCompiler : compilation native par graphes des robots à chaînes fermées pour une modélisation, un contrôle et une simulation cohérents

RoboCompiler, un framework publié sur arXiv (2609.35717, version 2), propose de compiler un graphe canonique de mécanisme en une interface mécanique partagée pour les robots à chaînes fermées. Le système part des corps, articulations, repères, inerties et ports d'actionneurs, puis construit les chemins de fermeture et les jacobiennes résiduelles analytiques. Il assemble ensuite les configurations admissibles par continuation et correction avec contrôle du rang. Un « relèvement tangent » convertit des vitesses indépendantes en mouvement du robot complet et des tâches. Des cartes appariées aux ports d'actionneurs préservent le travail virtuel. Une correction de courbure des contraintes étend la réduction aux accélérations et à la dynamique projetée de corps rigides, y compris les modes à base flottante et à appui. L'évaluation couvre une excavatrice industrielle, le Unitree Go2, le Franka Panda, Kangaroo et une plateforme de Stewart à six chaînes UPS. Sur Kangaroo, la compilation réduit de 96,7 % le temps d'évaluation des résidus et jacobiennes, et de 66,8 % le temps mural d'un rollout en boucle fermée, dynamique et commande étant maintenues identiques. L'enjeu est très concret pour quiconque intègre des robots à mécanismes parallèles ou à actionnement couplé. Ces architectures sont fréquentes en robotique humanoïde et à pattes (chevilles à bielles, genoux à quatre barres, actionneurs linéaires couplés), mais leurs modèles de configuration, de force et de dynamique sont souvent reconstruits séparément pour la commande et pour la simulation. Les écarts de fermeture ou d'actionnement qui en résultent alimentent le fossé sim-to-real et coûtent du temps d'ingénierie. Un modèle unique, dont le contrôleur et le simulateur héritent, réduit cette source d'incohérence. Les gains de 96,7 % et 66,8 % sont mesurés sur un seul robot, dans un cadre où le reste du pipeline est figé. Ils ne disent donc rien de la performance sur d'autres mécanismes ni sur matériel réel. Ce travail s'inscrit dans un problème ancien. Les logiciels de dynamique comme Pinocchio, utilisé ici comme référence indépendante, traitent surtout des arbres cinématiques, et les boucles fermées exigent des contraintes ajoutées à la main. Les validations combinent une dynamique contrainte haute précision, Pinocchio, MuJoCo et Isaac Sim/PhysX, ce qui montre une réutilisation du modèle sous contact natif dans plusieurs moteurs. Les résultats sont présentés en simulation et en calcul, sans déploiement industriel annoncé. Les prochaines étapes probables sont une diffusion en code ouvert, des essais sur robot physique et une intégration aux chaînes de commande des humanoïdes, où la concurrence se joue aussi sur la robustesse des modèles.

Skild AI utilise l'IA physique de NVIDIA pour apprendre de nouvelles tâches aux robots à partir d'une seule vidéo

Skild AI a lancé la semaine dernière S1, un modèle de fondation robotique capable d'apprendre une tâche inédite à partir d'une seule vidéo de démonstration, sans réentraînement ni mise à jour de ses poids, une méthode dite d'apprentissage "en contexte". Entraîné sur l'infrastructure NVIDIA (simulation Isaac Lab, modèles de monde Cosmos), S1 interprète l'intention, les objets et la séquence montrés, puis les transpose en actions pour le robot présent, même hors de ses données d'entraînement. Il exécute des tâches de jusqu'à dix minutes, rempotage de plantes, préparation de pancakes, café filtre, assemblage de kits, en enchaînant des dizaines d'étapes de manipulation. Lors d'un test de rempotage, onze minutes ont suffi entre l'enregistrement de la démonstration et l'exécution autonome sur le robot. Skild annonce 66% de réussite par étape sur des tâches multi-étapes nouvelles, contre 9% pour un système comparable non identifié, soit un facteur sept, et estime qu'une seule vidéo équivaut à environ 380 exemples d'entraînement manuels, soit 50 à 100 heures de collecte. Cofondée par Deepak Pathak, la startup revendique un taux de revenu annualisé de 100 millions de dollars dix mois après son premier déploiement commercial, avec plus de 60 partenariats en logistique, inspection, sécurité, restauration et industrie manufacturière. L'enjeu pour l'industrie est de sortir de la reprogrammation systématique: chaque changement de produit, de process ou de disposition de ligne impose d'ordinaire une nouvelle collecte de données et un nouvel entraînement, un frein connu à l'adoption des robots sur des sites qui évoluent en permanence. Si ces résultats se confirment hors des tests internes de Skild, cela rapprocherait les modèles vision-langage-action d'un usage industriel réel plutôt que d'une démonstration de laboratoire, avec un argument concret face à des modèles concurrents comme Pi-0 de Physical Intelligence, GR00T N2 ou Helix. Les chiffres avancés (66% contre 9%, équivalence à 380 exemples) restent toutefois des mesures internes, sans protocole indépendant ni identification du système comparé, à lire comme une tendance plutôt qu'une preuve définitive. Le déploiement le plus tangible reste celui mené avec Foxconn: Skild et NVIDIA font tourner le "Skild Brain" sur des bras manipulateurs bimanuels pour l'assemblage de précision de systèmes NVIDIA Blackwell, un robot posant une busbar et un bloc de fin de course puis vissant 16 vis tout en s'adaptant aux aléas. S1 s'inscrit dans une collaboration plus large entre Skild et NVIDIA, couvrant génération de données synthétiques, entraînement, simulation et déploiement en conditions réelles, illustrant la stratégie de NVIDIA consistant à fournir l'infrastructure de toute la chaîne robotique plutôt qu'à concurrencer directement les fabricants de robots. Skild revendique plus de 60 partenariats noués en dix mois, signe d'une commercialisation rapide dans un secteur où beaucoup d'acteurs en sont encore au stade du pilote. Ni le calendrier d'extension du déploiement chez Foxconn ni l'ouverture de S1 à d'autres intégrateurs ne sont précisés, et les vidéos diffusées sur le blog de NVIDIA relèvent de la démonstration commerciale plutôt que d'un rapport technique indépendant, dans une tendance de fond où les modèles de fondation robotiques, entraînés sur des données vidéo et simulées à grande échelle, cherchent à remplacer la programmation tâche par tâche qui limite depuis des décennies la flexibilité des robots industriels.

BinWalker : conception et évaluation sur le terrain d'un robot quadrupède manipulateur pour la collecte durable de déchets

Des chercheurs du laboratoire DLSLab de l'Istituto Italiano di Tecnologia (IIT) ont présenté BinWalker, une plateforme robotique quadrupède équipée d'un bras manipulateur et d'un conteneur embarqué, conçue pour la collecte autonome de déchets en extérieur. Décrit dans un article publié sur arXiv (référence 2603.10529, version révisée), le système combine la mobilité de la locomotion à pattes avec un module de manipulation permettant de détecter, saisir et stocker des détritus tout en évoluant sur des terrains irréguliers comme les zones côtières, les parcs ou les bas-côtés végétalisés. Les essais ont été menés en conditions réelles extérieures, avec des évaluations sur le terrain destinées à valider l'intégration de la perception, de la locomotion et de la manipulation sur une même plateforme. Le code du projet, nommé trash-collection-isaaclab, a été rendu public sur le dépôt GitHub de l'équipe iit-DLSLab, ce qui suggère un entraînement appuyé sur l'environnement de simulation Isaac Lab de NVIDIA. L'article ne fournit toutefois aucun chiffre précis de charge utile, de degrés de liberté du bras, de temps de cycle ou de volumes traités, restant centré sur une démonstration de faisabilité plutôt que sur des métriques de performance industrielle. Ce travail illustre une tendance de fond dans la robotique de terrain: le recours à des plateformes quadrupèdes, plus aptes que les robots à roues ou les AMR classiques à franchir obstacles, pentes et sols meubles, pour des tâches de service extérieur jusqu'ici réservées à la main-d'œuvre humaine. La collecte de déchets sauvages, aujourd'hui manuelle, coûteuse et chronophage, représente un usage potentiel pour les municipalités, gestionnaires de parcs et opérateurs de nettoyage côtier, mais qui bute sur l'accessibilité des sites. En associant locomotion à pattes et manipulation embarquée sur une seule plateforme, BinWalker teste concrètement la viabilité d'une chaîne complète perception-navigation-préhension en environnement non structuré, un défi encore mal résolu malgré les progrès des modèles vision-langage-action. Pour les intégrateurs, l'intérêt tient moins à un produit prêt à déployer qu'à la preuve que l'architecture quadrupède plus bras reste praticable sur un segment environnemental à faible marge, généralement délaissé au profit d'applications logistiques ou d'inspection industrielle plus rémunératrices. Le projet s'inscrit dans les travaux du DLSLab de l'IIT, laboratoire italien spécialisé dans la locomotion dynamique des robots à pattes, qui publie régulièrement en accès libre, comme en témoigne la mise à disposition du code sur GitHub. BinWalker se positionne sur un créneau distinct des grandes plateformes humanoïdes commerciales telles que Figure 03 ou Optimus, ou des systèmes pilotés par des modèles comme Pi-0, GR00T N2 ou Helix, en misant sur une architecture quadrupède spécialisée plutôt que sur la polyvalence humanoïde générale. Aucun acteur français ou européen du secteur, comme Wandercraft ou Enchanted Tools, n'apparaît dans cette publication, qui reste un travail de recherche académique sans partenariat industriel ni pilote annoncé avec une municipalité. Les suites évoquées portent sur l'amélioration de la robustesse du système en conditions réelles variées, plutôt que sur un calendrier de commercialisation.

BWM : un simulateur de monde haute-fidélité à faible coût pour l'apprentissage robotique

Boundless World Model (BWM) est un simulateur de monde open source, présenté fin juillet dans une prépublication arXiv, conçu pour l'apprentissage de la manipulation robotique. Le système est un modèle de monde conditionné par l'action : il combine un guidage par l'observation initiale, un historique visuel dynamique et un conditionnement temporellement aligné sur les actions du robot pour prédire, de façon autorégressive et avec état, les observations futures découlant d'une séquence de commandes. Les données d'entraînement sont construites par rejeu de trajectoires, échantillonnage de clips qui se chevauchent et enrichissement des observations initiales. Sur le benchmark WorldArena, BWM se classe premier toutes catégories confondues, en tête du Track 1 et des deux applications du Track 2, avec des validations complémentaires sur robots physiques. L'ensemble du code d'entraînement et d'inférence, les poids du modèle et les interfaces de génération de données et d'évaluation de politiques sont publiés en accès libre. L'intérêt pratique tient à deux usages distincts que le papier documente. D'abord comme moteur de données : BWM génère des rollouts alignés sur l'action pour augmenter les jeux de données d'apprentissage par imitation, un poste de dépense généralement coûteux en téléopération réelle. Ensuite comme évaluateur de politiques en boucle fermée, capable d'anticiper des échecs avant tout passage sur matériel physique et de classer plusieurs politiques candidates sans risque. Cette approche répond directement à une limite connue des simulateurs physiques classiques, qui exigent une construction et un calibrage d'assets coûteux tout en conservant un écart sim-to-real, et à celle des générateurs vidéo génériques, qui manquent de contrôle fin sur la réponse aux actions du robot. Un simulateur combinant fidélité visuelle et contrôlabilité par l'action, à faible coût, constituerait une brique utile pour les équipes qui manquent de données réelles denses. Le papier s'inscrit dans une tendance de recherche récente qui cherche à remplacer ou compléter les moteurs physiques (type MuJoCo ou Isaac Sim) par des modèles de monde appris, à la manière des approches vidéo-générative appliquées à la robotique. La victoire revendiquée au WorldArena Challenge reste toutefois à confirmer par une adoption indépendante : les métriques de classement d'un benchmark récent et la portabilité réelle vers des politiques de production restent les points à surveiller dans les prochains mois, notamment via les retours de la communauté sur l'écosystème open source publié.

RAPT : détection de dérive et diagnostic de défaillance par prédiction de modèle pour le déploiement sim-vers-réel d'humanoïdes

Des chercheurs présentent RAPT (Recurrent Anomaly Probabilistic Trajectory Model), un moniteur de déploiement léger et auto-supervisé fonctionnant à 50 Hz, conçu pour détecter en temps réel les états hors distribution (OOD) lorsqu'une politique de contrôle apprise en simulation est transférée sur un robot humanoïde réel. Le système apprend le comportement d'exécution nominal à partir de données de simulation à grande échelle, puis produit en ligne des signaux de déviation prédictive calibrés, dimension par dimension, permettant de localiser précisément quand et où l'exécution réelle s'écarte du comportement attendu. Pour le diagnostic post-hoc, RAPT combine saillance temporelle, résumés cinématiques articulaires et raisonnement sémantique par LLM afin de classifier les causes probables d'échec en mode zero-shot. En simulation, sur quatre tâches Isaac Lab, RAPT améliore le taux de vrais positifs (TPR) de 37% par rapport à la meilleure référence existante, à un taux de faux positifs au niveau épisode limité à 0,5%. Sur matériel réel, il atteint 89% de TPR sur 78 essais, avec moins de faux positifs que les approches concurrentes compatibles haute fréquence, et 75% de précision de diagnostic sémantique sur 21 catégories d'échecs, sur un sous-ensemble de cas OOD jugés difficiles. L'enjeu dépasse la simple détection d'anomalie: c'est le problème du "silent failure" après transfert sim-to-real qui est visé, ces politiques qui semblent robustes en simulation mais entrent en territoire inconnu sur le robot réel sans que rien ne le signale, avec un risque direct de casse matérielle. Pour les intégrateurs et équipes R&D qui déploient des politiques VLA ou apprises par renforcement sur humanoïdes ou bras robotiques, un moniteur capable de tenir la cadence du contrôle temps réel tout en gardant un taux de fausses alertes très bas comble un manque concret entre recherche en simulation et fiabilité opérationnelle sur le terrain. RAPT s'inscrit dans la lignée des travaux sur la détection d'anomalies pour systèmes robotiques appris, un domaine où la plupart des détecteurs existants échouent soit sur la fréquence de fonctionnement, soit sur le taux de faux positifs, soit sur l'interprétabilité du diagnostic. Le papier, publié sur arXiv en version 2, met à disposition code, site projet et vidéos de démonstration, ouvrant la voie à une adoption par d'autres équipes travaillant sur le déploiement sécurisé de politiques apprises en simulation.

IA incarnée : locomotion des quadrupèdes par apprentissage par renforcement (sim-vers-réel dans Isaac Sim)

Une équipe de recherche présente un nouveau framework d'apprentissage par renforcement (RL) pour la locomotion de robots quadrupèdes, entraîné avec Isaac Sim et son framework compagnon Isaac Lab, les outils de simulation nouvelle génération de Nvidia. La particularité de l'approche est d'obtenir un transfert "zero-shot" du simulateur vers le robot physique, c'est-à-dire une politique de contrôle qui fonctionne directement sur le matériel réel sans réentraînement ni ajustement supplémentaire. Le système gère le contrôle corps entier (whole-body control) et a été validé expérimentalement sur le Unitree Go1, un quadrupède commercial largement utilisé en recherche. Les résultats montrent des performances de suivi de vitesse comparables à celles du contrôleur intégré d'origine du robot, tout en offrant une meilleure capacité de récupération face à de fortes perturbations externes. Le robot atteint des vitesses linéaires de 2,0 m/s et des vitesses angulaires de 1,8 rad/s. Les travaux sont publiés en preprint sur arXiv (2607.18135v1). L'enjeu central de ces travaux est l'écart sim-to-real, ce fossé de performance qui survient lorsqu'une politique entraînée en simulation échoue une fois déployée sur du matériel réel, faute de correspondre exactement à la physique, aux frottements ou aux latences du monde physique. Démontrer un transfert direct et robuste, avec en prime une meilleure résilience aux chocs qu'un contrôleur classique, renforce l'argument selon lequel le RL en simulation peut désormais produire des contrôleurs de locomotion fiables sans les cycles coûteux d'essais sur robot réel. Pour les équipes d'intégration robotique, cela réduit le temps et le risque associés au déploiement de nouveaux comportements locomoteurs, un point clé pour des usages industriels comme l'inspection ou la logistique en environnement accidenté. Le travail s'inscrit dans la transition des outils Nvidia pour la robotique, Isaac Sim et Isaac Lab succédant à l'ancien Isaac Gym, alors que la firme positionne sa pile de simulation aussi bien pour les quadrupèdes que pour les humanoïdes via ses initiatives GR00T. La communauté RL pour la locomotion inclut des acteurs comme l'ETH Zurich, ANYbotics ou Boston Dynamics, avec qui ces résultats sur Go1 offrent un point de comparaison direct. Les auteurs ouvrent la voie à une extension de la méthode vers d'autres plateformes robotiques.

NVIDIA explique comment évaluer les politiques robotiques polyvalentes en conditions réelles

NVIDIA a publié un billet technique détaillant les limites actuelles des méthodes d'évaluation des modèles fondation pour la robotique généraliste, ainsi que RoboLab, sa plateforme de benchmarking en simulation censée y répondre. L'entreprise identifie quatre failles structurelles dans les protocoles de test existants. D'abord, un chevauchement du domaine visuel entre entraînement et évaluation : quand un modèle est affiné puis testé dans le même environnement simulé, un bon score ne prouve que sa mémorisation du décor, pas sa capacité de généralisation. Les approches dites real2sim, qui reconstruisent des scènes photoréalistes à partir d'images réelles via inpainting ou Gaussian splatting, corrigent partiellement ce biais mais exigent souvent plus d'une heure de préparation par scène, ce qui rend les tests à grande échelle peu praticables. Ensuite, la plupart des benchmarks reposent sur un jeu de tâches figé, vite saturé : lorsque tous les modèles dépassent 90% de réussite sur le même test, les chiffres perdent leur pouvoir discriminant. NVIDIA pointe aussi un déficit de diagnostic, un simple score de succès binaire ne dit rien sur la cause d'un échec (confusion de couleur, formulation de l'instruction, décalage de caméra). Enfin, l'entreprise soulève un problème de fiabilité statistique : un taux de succès mesuré sur un petit nombre d'essais peut tromper. Exemple donné, une politique affichant 90% de réussite sur seulement 70 rollouts a, selon la méthode de Clopper-Pearson pour calculer un intervalle de confiance binomial exact, un intervalle de confiance à 95% qui s'étend sur 15,4 points de pourcentage, un écart énorme pour un chiffre présenté comme une performance unique. L'exemple illustratif porte sur la politique pi-0.5 de Physical Intelligence testée sur une tâche de tri d'objets ("poser la tasse à mesurer orange et la tasse bleue en dehors de l'assiette"). Pour les intégrateurs et décideurs B2B qui doivent choisir entre plusieurs modèles vision-language-action (VLA) pour équiper des bras ou des humanoïdes, ce travail est une mise en garde directe contre les chiffres de communiqués de presse. Un score de succès affiché sans intervalle de confiance ni contrôle du chevauchement visuel peut masquer un simple surapprentissage plutôt qu'une réelle capacité de généralisation en conditions réelles. Cela renforce l'hypothèse, déjà répandue dans le secteur, d'un écart persistant entre démonstrations et déploiement effectif, et invite à exiger des fournisseurs des protocoles d'évaluation reproductibles plutôt que des vidéos sélectionnées. Cette initiative s'inscrit dans l'effort plus large de NVIDIA autour des fondations robotiques, aux côtés de ses plateformes Isaac Sim et Isaac Lab, dans un secteur où rivalisent des laboratoires comme Physical Intelligence (pi-0, pi-0.5), Google DeepMind (Gemini Robotics) ou Figure AI. À mesure que les modèles VLA généralistes se multiplient, la question de la mesure standardisée devient centrale pour départager annonces marketing et progrès réels, et RoboLab se positionne comme une tentative de fournir un cadre commun avant que le marché ne soit inondé de comparatifs invérifiables.

EVIS : un plugin de caméra événementielle ancré dans la physique pour NVIDIA Isaac Sim

Des chercheurs du SpikeLab de l'université Johns Hopkins ont publié EVIS, un plugin de caméra événementielle physiquement fondé pour le simulateur NVIDIA Isaac Sim, décrit dans un article déposé sur arXiv (référence 2607.08098) et accompagné d'un dépôt de code ouvert sur GitHub (spikelab-jhu/isaac-sim-event-camera-plugin). L'outil génère des flux d'événements haute fréquence et entièrement annotés directement à l'intérieur du moteur physique d'Isaac Sim, en s'appuyant sur un modèle de contraste log-intensité fidèle au fonctionnement réel des capteurs événementiels, avec mise à jour asynchrone de référence pixel par pixel. Le plugin migre depuis une caméra RGB standard avec peu de modifications et s'intègre à n'importe quelle scène Isaac Sim ou Isaac Lab, héritant ainsi de la physique du simulateur et d'une vérité terrain parfaite image par image. Une option d'interpolation permet de ne rendre que des images clés éparses puis de synthétiser les images intermédiaires par déformation bidirectionnelle par vecteurs de mouvement, rendant possible une génération en temps réel sur un seul GPU. Du bruit capteur et du flou de mouvement optionnels réduisent encore l'écart avec des caméras réelles. L'enjeu est concret pour la robotique événementielle: les caméras à événements offrent une résolution temporelle de l'ordre de la microseconde, une latence très faible et une large plage dynamique, des atouts pour la perception rapide et le contrôle en boucle fermée. Mais les données labellisées pour un robot et une scène donnés restent rares et coûteuses à collecter, ce qui freine le développement d'algorithmes de perception et de contrôle basés sur ces capteurs. En générant des flux directement exploitables par des réseaux événementiels pré-entraînés, EVIS réduit ce goulot d'étranglement et s'attaque frontalement au problème classique du fossé simulation-réel. Le projet s'inscrit dans l'écosystème Isaac Sim, largement utilisé par les laboratoires de robotique et les équipes d'apprentissage par renforcement pour l'entraînement en simulation avant déploiement physique. En rendant la simulation événementielle native et configurable au sein d'un outil déjà répandu, les auteurs visent à accélérer les cycles de recherche sur des tâches de perception et de contrôle à haute vitesse, sans attendre la constitution coûteuse de jeux de données réels capteur par capteur.

NVIDIA étend LeRobot (open source) avec des outils IA humanoïde pour accélérer le développement des robots

NVIDIA et Hugging Face élargissent leur collaboration autour de LeRobot, la plateforme robotique open source de Hugging Face, avec l'ajout de deux nouveaux outils. Le premier est NVIDIA Isaac GR00T 1.7, présenté par NVIDIA comme son premier modèle de fondation robotique vision-langage-action (VLA) ouvert et commercialement exploitable, conçu pour simplifier le post-entraînement et le déploiement sur différents designs de robots. Le second est NVIDIA Isaac Teleop, un framework open source permettant de collecter des données d'entraînement de haute qualité via des démonstrations humaines avec des dispositifs de contrôle externes, dans un format standardisé et partageable au sein de l'écosystème LeRobot. Un troisième modèle, Cosmos 3, dédié à la génération de données synthétiques et à la simulation d'environnements, sera intégré ultérieurement. Ces annonces s'appuient sur des briques déjà disponibles sur LeRobot, dont un jeu de données ouvert de plus de 350 000 trajectoires robotiques réelles et simulées et 57 millions d'exemples de préhension, ainsi que les outils de simulation Isaac Sim et Isaac Lab, l'environnement Isaac Lab-Arena pour l'entraînement de politiques, et l'intégration du calculateur embarqué Jetson Thor sur le robot humanoïde Reachy 2. NVIDIA a par ailleurs récemment lancé Halos for Robotics, une plateforme de sécurité complète associant matériel, logiciel, capteurs et outils de validation pour les robots autonomes évoluant aux côtés d'humains. Pour l'industrie robotique, l'enjeu affiché est de reproduire pour la robotique la dynamique d'ouverture qui a accéléré le développement en IA logicielle, où le partage de modèles et de jeux de données a fait baisser les coûts d'entrée. NVIDIA met en avant la connexion entre sa communauté de plus de trois millions de développeurs robotiques et les seize millions de développeurs IA de Hugging Face, dans le but de standardiser un flux de travail encore fragmenté, entre collecte de données coûteuse, simulation, puissance de calcul et validation. Si ces chiffres de communauté restent des éléments de communication à prendre avec prudence, l'initiative traduit une tendance de fond: la bascule des modèles VLA de la démonstration marketing vers des briques réutilisables et déployables par des tiers, un test concret de la promesse d'un "sim-to-real" et d'une généralisation multi-robots qui reste à prouver à grande échelle. L'initiative prolonge le partenariat déjà engagé entre les deux entreprises autour de LeRobot et des outils de simulation NVIDIA Isaac, dans un secteur où les modèles fondation pour la robotique se multiplient face à des approches concurrentes comme Pi-0 ou GR00T N2. Les prochaines étapes attendues concernent l'arrivée effective de Cosmos 3 sur la plateforme et l'élargissement du catalogue de robots et de tâches supportés via Isaac Teleop et le jeu de données partagé.

NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot

NVIDIA et Hugging Face annoncent l'intégration d'Isaac GR00T 1.7 et du framework Isaac TeleOp dans LeRobot, la bibliothèque open-source de robotique de Hugging Face. Isaac GR00T 1.7 est présenté comme le premier modèle de fondation robotique open-source et commercialement exploitable, une architecture vision-langage-action (VLA) permettant de post-entraîner et déployer des politiques de contrôle sur des robots humanoïdes réels. Isaac TeleOp est un framework de collecte de données par téléopération, qui capture des démonstrations humaines depuis des dispositifs externes dans des formats standardisés et interopérables, facilitant le partage de jeux de données au sein de la communauté. Les deux entreprises annoncent également l'arrivée prochaine de NVIDIA Cosmos 3, un modèle de monde frontière pour l'IA physique, sans donner de date précise. LeRobot compte déjà plus de 15 millions de téléchargements pour son jeu de données ouvert, qui regroupe plus de 350 000 trajectoires réelles et simulées ainsi que 57 millions de préhensions ("grasps"), en complément des frameworks de simulation Isaac Sim et Isaac Lab, dont Isaac Lab-Arena, désormais référencé dans le LeRobot Environment Hub. Cette annonce illustre la tentative de NVIDIA de reproduire, dans la robotique, la dynamique qui a fait le succès de l'IA générative open-source: mutualiser modèles, données et outils pour accélérer l'innovation collective plutôt que de la laisser fragmentée entre acteurs isolés. Pour les intégrateurs et développeurs robotique, l'enjeu concret est l'accès à un pipeline standardisé bout-en-bout, de la collecte de données jusqu'au déploiement, sans avoir à recomposer des briques propriétaires coûteuses. Le rapprochement entre les 3 millions de développeurs robotique de NVIDIA et les 16 millions d'utilisateurs IA de Hugging Face vise à fluidifier le passage entre recherche en IA générale et applications physiques. Toutefois, l'ampleur réelle de l'adoption d'Isaac GR00T 1.7 sur des déploiements industriels reste à démontrer: l'annonce reste pour l'instant centrée sur la disponibilité des outils et des frameworks, pas sur des cas d'usage chiffrés en production, et la mention de Cosmos 3 relève encore de la feuille de route plutôt que d'un produit livré. Ce partenariat s'inscrit dans la continuité de la stratégie NVIDIA autour de sa plateforme Isaac dédiée à la robotique et à l'IA physique, engagée depuis plusieurs années à travers Isaac Sim et Isaac Lab pour la simulation, puis étendue à des modèles de fondation comme GR00T. Hugging Face, de son côté, a positionné LeRobot comme l'équivalent robotique de ses bibliothèques Transformers pour le NLP, avec pour ambition de devenir le hub de référence pour les datasets et modèles robotiques ouverts. Sur le plan concurrentiel, cette annonce se situe face aux approches propriétaires de modèles VLA développés par d'autres laboratoires, à l'image de Pi-0 (Physical Intelligence) ou GR00T N2 concurrencés indirectement par des architectures fermées comme Helix (Figure AI). Thomas Wolf, cofondateur et directeur scientifique de Hugging Face, présente cette intégration comme une étape pour ancrer un cycle collaboratif ouvert dans la robotique, avec Cosmos 3 comme prochaine brique pour générer et simuler des données lorsque la collecte réelle est trop coûteuse ou limitée.

NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot pour la communauté robotique ouverte

NVIDIA et Hugging Face annoncent l'intégration du modèle NVIDIA Isaac GR00T 1.7 et du framework NVIDIA Isaac Teleop dans LeRobot, la bibliothèque open source de Hugging Face pour la robotique, avec l'arrivée prochaine de NVIDIA Cosmos 3, un modèle monde pour l'IA physique. Isaac Teleop capture des démonstrations humaines via des dispositifs externes dans des formats standardisés, directement dans LeRobot, pour constituer et partager des jeux de données. Isaac GR00T 1.7, présenté par NVIDIA comme le premier modèle fondation robotique open source et commercialement exploitable, facilite le post-entraînement et le déploiement via les workflows LeRobot sur de nouvelles morphologies de robots, avec des benchmarks publiés. Ces briques s'appuient sur des ressources déjà connectées à LeRobot: le plus grand jeu de données open source d'IA physique, téléchargé plus de 15 millions de fois, avec plus de 350 000 trajectoires réelles et simulées et 57 millions de prises (grasps); les frameworks de simulation Isaac Sim et Isaac Lab; Isaac Lab-Arena, intégré au LeRobot Environment Hub pour prototyper des environnements et entraîner des politiques généralistes comme GR00T, Pi ou SmolVLA; et l'intégration de Jetson Thor avec le robot humanoïde open source Reachy 2 pour déployer des modèles VLA (vision-langage-action). Thomas Wolf, cofondateur et chief science officer de Hugging Face, décrit cette collaboration comme un moyen de faire passer la recherche avancée à un stade où la communauté peut l'étudier, l'adapter et la faire évoluer. Pour les intégrateurs et équipes R&D, l'enjeu est de standardiser un pipeline jusque-là fragmenté, collecte de données, entraînement, évaluation, déploiement, en connectant les 3 millions de développeurs robotique de NVIDIA aux 16 millions de builders IA de Hugging Face. Cela réduit le coût d'entrée pour tester des modèles VLA sur du matériel réel sans dépendre d'une pile propriétaire fermée. La mise en avant du caractère "commercialement viable" de GR00T 1.7 tranche avec des modèles concurrents (Pi de Physical Intelligence, Helix de Figure) souvent montrés en démonstration mais rarement publiés en open source avec benchmarks vérifiables. Coupler cela à un futur modèle monde comme Cosmos 3, censé générer des données synthétiques quand les données réelles sont trop chères ou rares à collecter, répond directement à l'un des goulots d'étranglement les plus documentés du secteur humanoïde. Cette annonce prolonge un partenariat plus ancien entre NVIDIA et Hugging Face autour de LeRobot, devenu une référence pour le partage ouvert de données et de politiques robotiques. Elle s'inscrit dans la stratégie de verticalisation physical AI de NVIDIA, de la simulation (Isaac Sim, Isaac Lab) au calcul embarqué (Jetson Thor) en passant par les modèles fondation et, prochainement, les modèles monde. Elle positionne NVIDIA face à des acteurs misant sur des piles intégrées fermées, comme Figure ou Physical Intelligence, en jouant la carte de l'infrastructure ouverte et mutualisée. Aucun acteur français n'apparaît directement, mais Reachy 2 est développé par Pollen Robotics, racheté par Hugging Face, ce qui donne une visibilité indirecte à cet acteur français dans l'écosystème. Les prochaines étapes annoncées restent pour l'instant limitées à la sortie de Cosmos 3 dans LeRobot, sans calendrier de déploiement industriel précisé.

RoboDojo : un benchmark unifié simulation-réel pour évaluer les politiques de manipulation robotique généralistes

Une équipe de chercheurs présente RoboDojo, un banc d'essai unifié combinant simulation et monde réel pour évaluer les politiques génératives de manipulation robotique, celles capables d'exécuter des tâches variées à partir d'instructions en langage naturel. Le système comprend 42 tâches en simulation et 18 tâches en conditions réelles, couvrant des capacités complémentaires. Le volet simulation mesure cinq dimensions : la généralisation, la mémoire, la précision, l'exécution de tâches longues, et la compréhension d'instructions en vocabulaire ouvert. Le volet réel expose les politiques aux difficultés concrètes du déploiement physique. La plateforme s'appuie sur Isaac Sim pour la simulation parallèle à grande échelle, et sur RoboDojo-RealEval, un système d'évaluation réelle accessible à distance via le cloud, avec matériel standardisé, réinitialisation automatisée des scènes et protocole reproductible. Trente politiques ont été intégrées via XPolicyLab et testées sur ce banc d'essai, donnant lieu à un classement public consultable sur robodojo-benchmark.com. L'initiative répond à un problème structurel du secteur : la prolifération de politiques génératives de manipulation (VLA) ces deux dernières années s'est faite sans étalon de mesure commun, chaque laboratoire publiant ses propres métriques sur ses propres tâches. Les évaluations en simulation seule ignorent les aléas physiques du réel (éclairage, frottements, imprécisions de préhension), tandis que les tests réels restent coûteux, lents et rarement reproductibles d'un labo à l'autre. En forçant une comparaison directe entre simulation et déploiement physique sur les mêmes politiques, RoboDojo permet de quantifier l'écart entre performance démontrée et robustesse réelle, un point sensible pour tout intégrateur ou décideur industriel cherchant à choisir une politique de contrôle avant un déploiement en usine ou en entrepôt. Le projet s'inscrit dans une dynamique où plusieurs équipes de recherche ont développé des systèmes de contrôle génératifs concurrents sans cadre d'évaluation partagé. En proposant à la fois l'infrastructure logicielle (XPolicyLab) et le protocole de test standardisé, RoboDojo vise à devenir une référence commune, avec un classement public appelé à s'enrichir au fur et à mesure que de nouvelles politiques y seront soumises.

Luxonis boucle une levée de série A pour développer sa couche de perception dédiée à l'IA physique

Luxonis, société basée à Denver et fondée en 2019, a bouclé une levée de série A de 14 millions de dollars menée par Denali Growth Partners, avec la participation de Taiwania Capital. L'entreprise, qui a démarré via une campagne Kickstarter réussie, revendique aujourd'hui plusieurs milliers de clients, dont plus de 60 entreprises du Fortune 500 et 17 des 30 valeurs du Dow Jones, parmi lesquelles la société agricole FARM-ING. Luxonis produit les caméras OAK, qui combinent plusieurs capteurs de vision et du calcul embarqué dans un seul boîtier, ainsi que le kit logiciel open source DepthAI, dont le SDK a franchi les 6 millions de téléchargements après une mise à jour en avril. Son écosystème de perception cloud OAK4, lancé en décembre 2025, vient d'être complété par la caméra modulaire OAK4-CS, destinée à l'inspection de codes-barres sur lignes de convoyage, à la microscopie et à d'autres usages industriels. Le mois dernier, la société a annoncé la prise en charge officielle de ses caméras dans NVIDIA Isaac Sim, ainsi qu'un déploiement OAK4 possible en USB-C seul ou en PoE+. Le PDG Bradley Dillon a indiqué que ce tour de table, le premier institutionnel de la société après plus de sept ans de développement porté par des proches et des investisseurs individuels, doit accélérer la croissance commerciale et la production. Cette levée illustre la montée en puissance des fournisseurs de composants pour l'IA physique, un segment charnière entre la robotique et l'automatisation industrielle. Plutôt que de vendre des robots complets, Luxonis se positionne comme fournisseur de la couche de perception, capteurs, calcul embarqué et logiciel, que les intégrateurs assemblent ensuite selon leurs besoins. Pour les décideurs B2B, cette approche modulaire réduit la barrière à l'entrée dans la vision robotique, un domaine encore dominé par des solutions propriétaires coûteuses. La traction commerciale revendiquée, avec une base client s'étendant des particuliers aux grands groupes industriels, suggère que la demande pour une perception visuelle embarquée standardisée dépasse désormais les cas d'usage de niche pour toucher l'automatisation de production à grande échelle. Les fonds serviront à étendre les capacités de la chaîne d'approvisionnement, développer de nouvelles architectures d'IA en périphérie (edge AI) et renforcer les équipes de R&D, de vente et de support technique. Luxonis prévoit de lancer de nouveaux appareils à prix plus accessibles et dans des formats variés, ciblant l'agriculture, la robotique avancée, la défense, l'automatisation industrielle, les machines lourdes, le medtech et la logistique d'entrepôt. La stratégie affichée par la société mise sur une combinaison entre ingénierie IA d'Europe centrale et orientale, capacités de fabrication à Taïwan et commercialisation aux États-Unis, une répartition géographique que Taiwania Capital a explicitement saluée comme un atout pour répondre aux besoins d'automatisation complexe des entreprises.

Jaiveer Singh aide les robots et les développeurs à progresser plus rapidement

Jaiveer Singh, ingénieur logiciel chez NVIDIA, dirige l'équipe responsable d'Isaac ROS (Robot Operating System), une pile logicielle open source construite sur le framework ROS 2 et accélérée par les bibliothèques CUDA de NVIDIA. Isaac ROS fournit aux développeurs un ensemble de modules pour la perception, la détection d'objets, la cartographie (SLAM), la détection de collision et la planification de mouvements. La plateforme est compatible avec les robots mobiles autonomes (AMR), les systèmes de manipulation et les humanoïdes, et peut s'exécuter sur des postes de travail, sur le DGX Spark (le supercalculateur IA personnel de NVIDIA) ainsi que sur les systèmes embarqués Jetson. Le projet a débuté comme un projet de stage de Singh, alors étudiant en génie électrique, informatique et gestion à l'Université de Californie Berkeley, avec une question simple : publier des bibliothèques GPU open source pour la robotique aurait-il de la valeur ? La réponse s'est avérée positive, et Isaac ROS est depuis devenu un composant central de l'écosystème robotique NVIDIA. L'importance d'Isaac ROS pour l'industrie tient à sa modularité et à son positionnement comme couche d'intégration entre l'IA générative et le déploiement physique. Contrairement à l'ancien Isaac SDK, la version ROS se présente, selon Singh lui-même, comme "un ensemble de briques LEGO" : les développeurs assemblent les modules selon leurs besoins et les combinent avec du code ROS communautaire existant. Pour un intégrateur ou un OEM qui cherche à passer de la démonstration au déploiement série, cette approche réduit la friction d'adoption. Elle répond aussi à une préoccupation structurelle du secteur : la pérennité de la pile logicielle. Un startup qui construit sur un système fermé doit faire confiance au fait que ce système correspondra toujours à ses besoins dans deux ou trois ans, une promesse difficile à tenir dans un marché qui se recompose chaque trimestre. L'open source apporte ici une garantie d'auditabilité et de continuité que les systèmes propriétaires peinent à offrir. NVIDIA s'est positionné sur la robotique bien avant que le secteur devienne un sujet grand public, et Isaac ROS s'inscrit dans cette continuité stratégique. La plateforme évolue aujourd'hui pour répondre aux exigences des humanoïdes, qui requièrent une stack logicielle de bout en bout capable de gérer des agents IA, de la simulation (Isaac Sim) au déploiement edge sur Jetson. Les concurrents directs sur la couche middleware incluent ROS 2 non-accéléré utilisé seul, mais aussi les environnements propriétaires de Boston Dynamics, Agility Robotics ou Figure AI, qui développent leurs propres stacks internes. NVIDIA joue ici un rôle transversal d'infrastructure partagée, moins visible qu'un robot humanoïde en vidéo, mais potentiellement plus déterminant pour la cadence industrielle du secteur. Les prochaines étapes annoncées portent sur le renforcement du support aux agents IA et aux systèmes humanoïdes, deux segments en forte croissance depuis 2024.

WoVR : des modèles du monde comme simulateurs fiables pour l'entraînement post-déploiement des politiques VLA par renforcement

Des chercheurs ont publié sur arXiv (référence 2602.13977v2) un framework nommé WoVR, conçu pour entraîner via du reinforcement learning (RL) des politiques de type Vision-Language-Action (VLA) sans recourir à des milliers d'heures d'interaction physique réelle. Le principe : substituer le robot réel par un modèle du monde appris, c'est-à-dire un modèle vidéo conditionné par les actions qui prédit le comportement de l'environnement. WoVR articule trois mécanismes distincts : un modèle vidéo action-conditionné à stabilité contrôlée, une stratégie baptisée Keyframe-Initialized Rollouts qui réinitialise les trajectoires imaginées à partir d'images-clés pour limiter l'accumulation d'erreurs sur l'horizon, et une co-évolution conjointe du modèle du monde et de la politique pour maintenir leur cohérence dans le temps. Les expériences rapportées montrent des gains sur le benchmark LIBERO et des améliorations mesurées sur plusieurs plateformes robotiques physiques. Ce travail s'attaque à un verrou central du post-entraînement des VLA : le RL promet d'aller au-delà de l'imitation learning, mais ses besoins en données d'interaction rendent son application directe sur robot physique quasi prohibitive. La contribution de WoVR est de montrer qu'un modèle du monde imparfait peut néanmoins servir de simulateur RL fiable, à condition de contrôler explicitement ses hallucinations plutôt que de les ignorer. C'est un signal positif pour la thèse que le sim-to-real, appliqué non au niveau du rendu physique mais au niveau de la prédiction vidéo apprise, peut débloquer l'optimisation de politiques à grande échelle. La nuance importante : les résultats sont publiés sous forme de papier de recherche, les démonstrations sont disponibles sur wovr-corl.github.io, mais aucun déploiement industriel n'est revendiqué. WoVR s'inscrit dans une vague de recherche qui cherche à reproduire pour la robotique ce que le RL a accompli pour les grands modèles de langage. Les VLA comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA ont montré des capacités impressionnantes en imitation, mais leur amélioration par RL reste un problème ouvert. D'autres approches concurrentes misent sur des simulateurs physiques classiques (Isaac Lab, MuJoCo) ou sur du RL directement en conditions réelles, avec des cycles de collecte longs et coûteux. WoVR propose une troisième voie via les world models vidéo, dans la lignée des travaux de type DIAMOND ou DreamerV3 appliqués à la robotique. La soumission cible CORL, conférence de référence du domaine, ce qui suggère une prochaine validation par les pairs et potentiellement une intégration dans les pipelines d'entraînement open-source des équipes académiques et industrielles dès 2026.

MobileManiBench : simplifier la vérification des modèles pour la manipulation mobile

Une équipe de chercheurs a publié MobileManiBench, un benchmark à grande échelle destiné à évaluer les modèles de type VLA (Vision-Language-Action) sur des tâches de manipulation robotique mobile, avant tout déploiement réel. Le système repose sur NVIDIA Isaac Sim et un pipeline de génération automatique par apprentissage par renforcement, qui produit des trajectoires annotées incluant instructions en langage naturel, images RGB-profondeur-segmentation multi-vues, et états synchronisés objet/robot. Le dataset résultant comprend 300 000 trajectoires, couvrant 630 objets répartis en 20 catégories, 5 compétences motrices (ouvrir, fermer, tirer, pousser, saisir), plus de 100 tâches distinctes exécutées dans 100 scènes réalistes. Deux plateformes mobiles sont représentées, un robot à pince parallèle et un robot à main dextère, chacun équipé de deux caméras synchronisées (tête et poignet droit). Le code, les datasets et les modèles sont publiés en open-source. L'enjeu central que MobileManiBench cherche à résoudre est le goulot d'étranglement des données de téléopération : les VLA actuels, dont pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, sont entraînés quasi-exclusivement sur des scènes de table statiques collectées par des opérateurs humains, ce qui limite leur généralisation à des environnements mobiles et encombrés. Un framework de vérification en simulation avant déploiement réel permettrait aux équipes R&D de filtrer les architectures non viables sans mobiliser des flottes de robots physiques ni des heures de téléopération coûteuses. La génération automatique à l'échelle de 300K trajectoires diversifiées ouvre également la voie à des études contrôlées sur l'efficacité des données et la généralisation, deux variables critiques pour les intégrateurs industriels qui évaluent le coût réel d'adoption d'un VLA. Cette publication s'inscrit dans un mouvement plus large de la communauté robotique vers les approches sim-to-real, portées notamment par NVIDIA (Isaac Lab, Isaac Sim) et des labos comme Stanford, CMU et le LAAS-CNRS côté français. La manipulation mobile reste plus difficile que la manipulation sur table fixe en raison de la complexité des coordinations base-bras et de la variabilité des angles de caméra, problèmes que MobileManiBench cherche précisément à circonscrire. Les résultats comparatifs publiés sur plusieurs VLA représentatifs fournissent une base de référence utile, même si les benchmarks en simulation pure sous-estiment souvent l'écart sim-to-real : les métriques annoncées devront être validées en conditions physiques pour devenir opérationnellement significatives.

SimFoundry : génération modulaire et automatisée de scènes pour l'apprentissage et l'évaluation de politiques

Des chercheurs du laboratoire GEAR de NVIDIA ont publié SimFoundry sur arXiv (identifiant 2606.28276), un pipeline modulaire et automatisé permettant de reconstruire des scènes de simulation directement depuis une vidéo du monde réel, sans annotation manuelle. Le système génère des jumeaux numériques sim-ready, puis en dérive automatiquement des "cousins numériques": des variantes de la scène originale qui préservent les affordances manipulatoires tout en modifiant objets, arrangements ou tâches. Testé sur sept tâches de manipulation (multi-étapes, objets articulés, bimane) et cinq architectures de policies distinctes, SimFoundry atteint une corrélation de Pearson de 0,911 entre évaluation en simulation et performance réelle, avec un mean maximum ranking violation de 0,018. En transfert zéro-shot vers le monde réel, les cousins d'objets apportent +17% de taux de succès, les cousins de scènes +21%, et les cousins de tâches +40%. Ces résultats s'attaquent directement au sim-to-real gap, l'écart structurel qui rend les benchmarks de simulation peu fiables pour prédire les performances physiques. Avec une corrélation de 0,911, les équipes R&D peuvent comparer des architectures de policies en simulation sans mobiliser de temps robot, ce qui réduit significativement le coût d'évaluation. Le concept de cousins numériques va plus loin que l'augmentation de données classique: en préservant les affordances, les variantes restent exploitables pour l'apprentissage sans dériver vers des distributions hors domaine. Pour un intégrateur de cellules robotiques ou un décideur industriel, le gain concret est une accélération du cycle développement-évaluation, à condition que la reconstruction vidéo reste robuste hors des environnements contrôlés présentés dans le papier. SimFoundry s'inscrit dans la stratégie robotique large de NVIDIA, qui développe en parallèle la plateforme Isaac Sim et le modèle de fondation humanoïde GR00T N2. Le laboratoire GEAR, dédié à la généralisation des policies d'agents incarnés, positionne cette approche sim-centric face aux alternatives data-centric: Physical Intelligence (Pi-0, issu des travaux de Sergey Levine) mise sur des volumes massifs de démonstrations réelles, tandis que Google DeepMind avance avec ses propres pipelines de simulation. Dans l'écosystème des simulateurs robotiques (Sapien, RoboSuite, Genesis), SimFoundry se distingue par son entrée vidéo sans annotation. Le papier, disponible en prépublication sur arXiv, ne précise pas de calendrier de mise à disposition du code ni d'intégration dans un produit commercial.

NavIsaacLab : génération de foules réalistes par apprentissage robotique parallèle pour évaluer la navigation consciente des humains

Une équipe de chercheurs présente NavIsaacLab, un framework de simulation GPU-parallèle dédié à l'entraînement et à l'évaluation de politiques de navigation robotique en présence d'humains, publié le 26 juin 2026 (arXiv:2606.26265). Construit sur Isaac Lab, la plateforme de simulation robotique de NVIDIA, le système combine rendu photo-réaliste et simulation physique en temps réel pour générer des environnements piétons denses et variés. La distinction technique centrale réside dans son moteur de comportement piéton : plutôt que des règles codées à la main, NavIsaacLab s'appuie sur un modèle de diffusion de trajectoires couplé à un contrôleur d'apprentissage adversariel du mouvement, produisant des animations humaines physiquement plausibles et contrôlables à la demande. La plateforme fournit au robot des retours visuels 3D complets, contrairement aux benchmarks existants qui supposent généralement une observation parfaite de l'environnement. L'enjeu industriel est direct : la navigation humain-consciente reste l'un des verrous majeurs au déploiement des robots mobiles autonomes (AMR) dans des espaces partagés, entrepôts, hôpitaux, aéroports. Les données de simulation actuellement disponibles souffrent d'un double défaut : des comportements piétons irréalistes issus de règles statiques, et une absence de signal sensoriel bruité, creusant un sim-to-real gap difficile à combler lors du passage en environnement réel. En générant des foules physiquement cohérentes dans une variété de scènes cross-scale, NavIsaacLab vise à fournir un benchmark standardisé pour comparer les algorithmes état de l'art dans des conditions proches du réel, une lacune que la communauté robotique signale depuis plusieurs années. Le framework s'inscrit dans l'écosystème NVIDIA Isaac, qui regroupe Isaac Sim, Isaac ROS et Isaac Lab, consolidant la position de NVIDIA comme fournisseur d'infrastructure de simulation robotique. Les approches concurrentes incluent Habitat 3.0 de Meta AI pour la navigation sociale en intérieur, CARLA pour le trafic autonome et divers simulateurs basés sur SMPL pour les mouvements humains, mais peu combinent rendu photo-réaliste, physique GPU-accélérée et comportement piéton appris de manière unifiée. L'article ne mentionne ni partenaires industriels ni timeline de déploiement : il s'agit pour l'heure d'une contribution de recherche, sans produit commercialisé. Les suites naturelles concerneraient l'intégration de politiques VLA (Vision-Language-Action) et la validation sur robots physiques dans des environnements réels densément peuplés.

TurboMPC : commande prédictive par modèle rapide, évolutive et différentiable sur GPU

Le Toyota Research Institute (TRI) a publié le 24 juin 2026 TurboMPC, un solveur MPC (commande prédictive par modèle) différentiable fonctionnant entièrement sur GPU. Implémenté en JAX-CUDA, il combine programmation quadratique séquentielle (SQP), solveur interne ADMM et différentiation implicite, tout en supportant contraintes d'inégalité sur états et contrôles, intégrateurs implicites, coûts couplés temporellement et variables de slack. Les gains de performance atteignent jusqu'à 15x par rapport aux solveurs CPU différentiables de référence et jusqu'à 58x face aux meilleurs solveurs GPU existants. Validé en simulation sur planification contrainte, imitation learning pour humanoïde et apprentissage par renforcement à fonction de coût neuronale, TurboMPC a également été testé sur un véhicule réel en conduite à temps minimal. L'optimisation bayésienne des paramètres MPC, rendue possible par le traitement par lots sur GPU, y produit des vitesses nettement supérieures au réglage manuel. Le solveur tient jusqu'à 8 000 points de trajectoire sans perdre le contrôle du véhicule. Le code est mis en open source sur GitHub (ToyotaResearchInstitute/turbompc). L'apport central est la réconciliation entre pipelines GPU d'apprentissage profond et solveurs MPC traditionnellement CPU-centric, une friction qui forçait des transferts mémoire coûteux et une hétérogénéité matérielle pénalisante en production. En restant entièrement sur GPU et en étant différentiable de bout en bout, TurboMPC s'intègre directement dans des boucles d'entraînement par gradient, ce qui valide à grande échelle l'hypothèse des "differentiable MPC" longtemps discutée dans la littérature. La démonstration sur imitation learning humanoïde est particulièrement significative: elle montre que des formulations MPC expressives peuvent rivaliser avec les approches purement apprises pour des robots à haute dimensionnalité, sans abandonner les garanties de planification. TRI, branche recherche de Toyota dédiée à la robotique et aux véhicules autonomes, publie face à des alternatives établies comme Crocoddyl du LAAS-CNRS (Toulouse, France), ALTRO (Stanford/CMU) et Theseus (Meta AI), tous majoritairement CPU-centric ou partiellement GPU. La présence de Crocoddyl dans ce paysage concurrentiel donne une visibilité directe au laboratoire toulousain, dont les travaux seront mis en compétition par ces nouveaux benchmarks. La mise en open source facilite l'intégration dans des simulateurs parallèles comme Isaac Lab ou Genesis. Les prochaines étapes probables incluent des évaluations sur plateformes humanoïdes réelles et une adoption dans des pipelines robotiques industriels.

Une entreprise américaine dévoile R-Noid, un robot humanoïde pour les usines, hôtels et entrepôts

Robot.com, société américaine, a annoncé le lancement commercial de R-Noid, un robot humanoïde destiné aux environnements industriels, logistiques, hospitaliers et de restauration. Proposé selon un modèle Robot-as-a-Service (RaaS), le système serait déployable en huit à douze semaines, de l'évaluation initiale du site jusqu'à l'opération autonome. R-Noid mesure 1,7 mètre, pèse 90 kilogrammes, et embarque deux bras à 7 degrés de liberté (7-DOF) capables de manipuler des charges allant jusqu'à 4 kilogrammes chacun, complétés par un torse articulé à 4-DOF offrant une portée verticale de 0 à 1,9 mètre. Sa base mobile holonome permet des déplacements omnidirectionnels sans modification des infrastructures existantes. Au lancement, le robot couvre 19 tâches réparties en cinq catégories : Restaurant Assistant, Packer, Picker, Folder et Host, comprenant notamment le montage de cartons, le picking en entrepôt, le transfert de pièces plastiques sur lignes de production, le support en cuisine et le pliage de linge. L'autonomie annoncée est d'environ trois heures sur batterie, avec la possibilité de fonctionner en continu branché au secteur, et une architecture d'effecteurs terminaux modulaire permet de changer d'outil selon la tâche. Ce qui distingue techniquement R-Noid, c'est l'empilement logiciel retenu. La manipulation est pilotée par pi-0.7, le modèle vision-langage-action (VLA) développé par Physical Intelligence, dont les travaux sur les politiques généralisées font référence dans la communauté robotique. La navigation et l'autonomie terrain reposent sur les Foundation Field Models (FFM) de FieldAI, conçus pour opérer sans cartographie préalable dans des environnements dynamiques. L'inférence embarquée est assurée par des modules NVIDIA Jetson, et la validation pré-déploiement passe par NVIDIA Isaac Sim. Ce choix d'assembler trois couches tierces spécialisées plutôt que de développer une stack propriétaire reflète une tendance croissante chez les intégrateurs humanoïdes. Reste que le RaaS humanoïde n'a pas encore fait ses preuves à l'échelle industrielle : l'annonce ne mentionne ni clients nommés ni volumes déployés, ce qui la place davantage du côté du lancement commercial que du déploiement réel en production. Robot.com s'inscrit dans une vague d'acteurs cherchant à industrialiser l'humanoïde en contournant la difficulté du hardware par un modèle de service. Ses concurrents directs incluent Figure AI avec le Figure 03 déployé chez BMW, Agility Robotics présent chez Amazon, 1X Technologies et Apptronik, tous positionnés sur les marchés industriels et logistiques. Du côté européen, Wandercraft développe Atalante X pour la rééducation médicale, et la française Enchanted Tools positionne Miroka sur l'hospitalité, segment également ciblé par la catégorie Host de R-Noid. Aucune tarification n'est communiquée. Les prochaines étapes seront déterminantes : Robot.com devra démontrer que ses délais de déploiement de huit à douze semaines tiennent en conditions réelles, et que pi-0.7 maintient ses performances hors des environnements contrôlés où les VLA ont jusqu'ici surtout été validés.

Comment Intrinsic élimine la programmation manuelle des robots

Intrinsic, filiale d'Alphabet spécialisée en robotique industrielle, a présenté à l'Automate 2026 une cellule robotique modulaire baptisée "Intrinsic Intelligence Cell", reposant sur son système d'exploitation maison IntrinsicOS. La démonstration met en scène un bras FANUC réalisant de l'assemblage électronique sans aucune programmation robot traditionnelle : l'opérateur configure les tâches par glisser-déposer, tandis que la plateforme gère automatiquement la perception, la planification de mouvement et les opérations de préhension et d'insertion de pièces. Intrinsic collabore avec deux intégrateurs CNC, Trinity Automation et MartinSystems, pour embarquer ces capacités dans leurs offres de prochaine génération. La présentation intervient quelques mois avant le lancement d'un pilote industriel d'envergure avec Foxconn, dont la date exacte n'a pas été précisée au-delà de "fin 2025". Par ailleurs, dans le cadre de son "AI for Industry Challenge" co-organisé avec Open Robotics, la société a réuni plus de 5 000 inscrits répartis en 1 600 équipes issues de 115 pays, avec une enveloppe de prix de 180 000 dollars. Le défi cible l'un des problèmes les plus résistants de l'assemblage électronique : la manipulation dextre de câbles et de connecteurs. Huit équipes ont jusqu'ici atteint des scores quasi-parfaits lors de la phase de simulation (Gazebo, MuJoCo de Google DeepMind, NVIDIA Isaac Sim). L'approche d'Intrinsic s'attaque à un verrou structurel du marché : la programmation robot reste aujourd'hui un frein majeur à l'adoption dans les ateliers à production variable ("high mix, low volume"), où reprogrammer un bras pour chaque référence représente un coût prohibitif. En proposant une reconfiguration instantanée des outils et des process via des "skills" basés sur l'IA, la plateforme ouvre potentiellement l'automatisation aux sous-traitants de taille moyenne et aux ateliers d'usinage qui ne disposent pas d'équipes de roboticiens. La composition du challenge est également révélatrice : seulement 14 % des participants viennent du secteur robotique, tandis que 93 % sont développeurs Python et 47 % travaillent en IA/ML. Cela signale un afflux de compétences logicielles vers la robotique industrielle, et valide l'hypothèse selon laquelle les prochaines avancées en manipulation viendront davantage du software que du hardware. Intrinsic a été fondée en 2021 à partir de ressources internes d'Alphabet, absorbant notamment des équipes issues de X Development. La société a mis plusieurs années à structurer sa pile logicielle autour de ROS 2 avant de la commercialiser. Sur ce segment des cellules robotiques modulaires pilotées par IA, elle se positionne face à des acteurs comme Covariant (rachetée par Amazon), Machina Labs ou Viam, ainsi que face aux offres propriétaires des grands intégrateurs (KUKA, ABB, FANUC lui-même). Le pilote Foxconn constituera le premier test à l'échelle réelle d'IntrinsicOS dans un environnement de production de masse, et ses résultats conditionneront probablement la crédibilité commerciale de la plateforme au-delà des démonstrations salon.

TaCauchy : un framework FEM extensible pour la simulation tactile basée sur la vision

Une équipe de chercheurs a publié TaCauchy, un cadre de simulation par éléments finis (FEM) conçu pour les capteurs tactiles à vision, intégré directement dans Isaac Sim, la plateforme de simulation GPU d'NVIDIA. Basé sur le solveur UIPC (Unified Incremental Potential Contact), TaCauchy calcule des tenseurs de contrainte de Cauchy à partir de lois constitutives hyperélastiques, puis projette ces contraintes sur les surfaces de contact pour obtenir les forces de traction et les distributions de pression. Il prend en charge trois capteurs courants, GelSight Mini, DIGIT et 9DTact, via une interface modulaire permettant une intégration rapide par simple configuration. Sur le plan des performances, le framework atteint 33,40 FPS en environnement unique et 555 FPS de débit agrégé sur 60 environnements parallèles, avec un overhead d'extraction des contraintes inférieur à 1 ms. La validation physique montre un SSIM supérieur à 0,93 sur une plage de forces allant de 1,26 N à 4,73 N. L'enjeu principal est le fossé sim-to-real qui pénalise l'entraînement par renforcement des politiques de manipulation tactile. Les approches existantes recourent généralement à des estimations empiriques des champs de contraintes, ce qui introduit des biais difficiles à corriger une fois déployé sur robot réel. TaCauchy propose à la place une vérité terrain mécanique dérivée des premiers principes physiques, ce qui représente un changement de paradigme pour les ingénieurs qui cherchent à entraîner des politiques de préhension fine sans collecter massivement de données réelles. Le débit de 555 FPS en parallèle rend cette précision physique compatible avec les pipelines d'apprentissage par renforcement à grande échelle. Les capteurs tactiles à vision de type GelSight ont émergé comme une alternative économique aux capteurs de force-couple classiques, mais leur simulation restait un goulot d'étranglement dans les environnements GPU-parallèles comme Isaac Lab ou Orbit. TaCauchy s'inscrit dans une dynamique plus large de "physiques différentiables" qui cherchent à remplacer les proxies heuristiques par des modèles rigoureux directement différenciables. Du côté concurrentiel, des travaux comme Taxim ou DigiTac ont proposé des approches optiques ou basées sur des réseaux de neurones pour la simulation GelSight, mais sans calcul de champ de contraintes FEM intégré à un environnement GPU. La prochaine étape probable pour TaCauchy sera l'intégration avec des politiques de type diffusion ou VLA (Vision-Language-Action) pour des tâches d'assemblage ou de manipulation déformable.

RSLCPP : simulations déterministes avec ROS 2

Une équipe de l'Université Technique de Munich (TUM) publie RSLCPP, une bibliothèque open-source en C++ conçue pour rendre les simulations robotiques sous ROS 2 entièrement déterministes. La contribution, présentée dans un article révisé sur arXiv (arXiv:2601.07052v2), s'attaque à un problème structurel de ROS : son architecture asynchrone et multi-processus rend les résultats de simulation non reproductibles d'une machine à l'autre, voire d'une exécution à l'autre sur le même matériel. L'équipe démontre que RSLCPP produit des résultats bit-à-bit identiques sur plusieurs architectures CPU, validés sur un benchmark synthétique et sur un système robotique réel. La bibliothèque est disponible en open-source sur GitHub (TUMFTM/rslcpp). Le problème que résout RSLCPP est fondamental pour quiconque utilise ROS 2 en simulation : lorsque les temps de calcul et les latences de communication varient, l'ordre d'exécution des callbacks n'est pas garanti, ce qui compromet la reproductibilité des résultats. Pour le benchmarking scientifique et l'intégration continue (CI/CD), où la répétabilité est essentielle, cela constitue un frein réel. RSLCPP impose un ordonnancement déterministe des callbacks en combinant les nœuds ROS existants dans une routine de simulation séquentielle, sans nécessiter de modification du code source. Ce dernier point est décisif : les équipes peuvent instrumenter leurs stacks ROS existantes sans refactoring, ce qui abaisse significativement le coût d'adoption. ROS 2, maintenu par Open Robotics, est devenu le standard de facto en robotique académique et industrielle. La non-reproductibilité des simulations est un problème connu depuis des années dans la communauté, que des simulateurs comme Gazebo ou Isaac Sim de NVIDIA ont partiellement adressé via leurs propres mécanismes internes. RSLCPP se distingue en opérant directement au niveau de l'exécuteur ROS 2, rendant l'approche indépendante du simulateur physique sous-jacent et donc plus portable. La prochaine étape logique serait l'intégration dans des pipelines CI robotiques pour valider des comportements algorithmiques sans variabilité matérielle, un besoin croissant à mesure que les équipes industrielles adoptent des pratiques DevOps pour le développement robotique.

TactSpace : apprendre un espace latent partagé enrichi par la physique pour le transfert sim-vers-réel tactile

Une équipe de recherche a publié sur arXiv (identifiant 2606.18959) TactSpace, un cadre d'apprentissage de représentations multi-modales conçu pour résoudre l'un des verrous majeurs de la manipulation robotique : le transfert sim-to-real des capteurs tactiles. Le problème est structurel : les simulateurs actuels sont incapables de reproduire fidèlement la mécanique de déformation et de transduction des capteurs tactiles physiques, rendant inutilisables en conditions réelles les politiques entraînées en simulation. TactSpace contourne ce problème en alignant des modalités tactiles hétérogènes dans un espace latent partagé, sans jamais avoir besoin de simuler le signal brut du capteur. Des encodeurs spécifiques à chaque modalité projettent des observations aussi différentes que la profondeur de pénétration simulée et la capacitance mesurée sur un capteur réel dans un embedding commun. L'entraînement combine des objectifs de reconstruction croisée et d'alignement contrastif. Évalué sur trois tâches, identification de formes d'indenteur, prédiction de force et reconstruction géométrique, le système entraîné exclusivement en simulation transfère directement sur des mesures réelles sans fine-tuning : zéro-shot. Les gains mesurés atteignent 16,7 % de réduction d'erreur en prédiction de force et 45,8 % en reconstruction de forme par rapport aux baselines. Ces résultats adressent un goulot d'étranglement critique pour l'ensemble de la robotique de manipulation dextre. Le tactile est indispensable pour les tâches d'assemblage fin, de tri délicat ou de manipulation d'objets déformables, segments où les bras industriels classiques butent faute de retour de contact fiable. Jusqu'ici, la difficulté à simuler correctement les capteurs tactiles forçait soit à collecter massivement des données réelles, coûteuses et lentes, soit à se passer du tactile. TactSpace propose une troisième voie : accepter que simulation et réalité restent physiquement dissemblables, et apprendre malgré tout des représentations invariantes aux modalités mais riches en information de contact. La publication accompagne le code d'une implémentation Warp-based du simulateur tactile pénalité intégrée à Isaac Lab, la plateforme de simulation physique de NVIDIA, ce qui ouvre la génération de données tactiles scalable à la communauté. Le contexte de cette recherche s'inscrit dans une effervescence autour des capteurs tactiles à haute résolution, portée notamment par GelSight (MIT, aujourd'hui GelSight Inc.), DIGIT (Meta AI) et les capteurs capacitifs embarqués dans plusieurs plateformes humanoïdes. Isaac Lab, qui sert de base à ce travail, est devenu un standard de facto pour l'entraînement de politiques robotiques en simulation, utilisé par Figure, 1X et Agility entre autres. TactSpace reste à ce stade un preprint non évalué par les pairs, sans déploiement annoncé sur plateforme physique commerciale. Les prochaines étapes naturelles seraient une validation sur des tâches de manipulation réelles bout-en-bout et une intégration dans des pipelines Vision-Language-Action (VLA) où le retour tactile pourrait renforcer la robustesse en conditions industrielles.

DataLadder : une chaîne d'outils d'interconversion par simulation pour la pyramide de données de l'IA incarnée

Une équipe associée à JD Cloud publie DataLadder (arXiv:2606.16776, juin 2026), un pipeline de conversion bidirectionnel entre robots réels, simulation et démonstrations humaines, conçu pour scaler la génération de données d'entraînement et l'évaluation de politiques robotiques généralistes. L'outil repose sur deux flux complémentaires via le simulateur JoySim. Le premier, Robot vers Simulation vers Human, reconstruit des tâches réelles de rangement sur table en jumeaux numériques calibrés, puis mobilise des retours humains pour affiner la naturalité des trajectoires simulées, permettant une évaluation reproductible sans mobiliser de robot physique en continu. Le second, Human vers Simulation vers Robot, projette des démonstrations humaines filmées en vue égocentrique dans JoySim, les confronte aux contraintes physiques du robot cible, et en extrait trajectoires, annotations et observations visuelles directement utilisables en entraînement. Les modules de reconstruction, rendu et augmentation de réalisme sont exposés en services cloud sur JD Cloud. Ce travail adresse une asymétrie bien documentée : les données issues de robots réels restent la source la plus fiable, mais leur collecte est lente et coûteuse, tandis que la simulation seule souffre du sim-to-real gap. DataLadder introduit un filtre de cohérence physique dans la boucle de conversion human-to-robot, ce qui dépasse les approches de retargeting naïves. Pour les équipes développant des architectures VLA (vision-language-action), cette infrastructure pourrait réduire significativement la dépendance aux démos téléopérées, dont le coût est souvent estimé à plusieurs milliers de dollars par heure de collecte. L'accessibilité via API cloud simplifie également le déploiement pour des équipes sans cluster de simulation dédié. DataLadder s'inscrit dans la course au "data flywheel" pour robots généralistes, lancée par RT-2 (Google DeepMind, 2023) et accélérée par des politiques comme pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). JD.com, conglomérat e-commerce chinois opérant une large flotte logistique autonome, a un intérêt direct à industrialiser cette chaîne pour ses propres lignes de tri et de picking. Aucun benchmark comparatif avec les simulateurs concurrents Isaac Lab (NVIDIA) ou MuJoCo Playground (DeepMind) n'est fourni dans ce preprint, ce qui rend les affirmations de performance difficiles à évaluer pour l'instant. La prochaine étape attendue serait une validation quantitative sur des benchmarks standardisés de manipulation comme LIBERO ou MetaWorld.

Piloter l'apprentissage par renforcement génératif vers un contrôleur robotique stable

Des chercheurs ont publié fin juin 2026 sur arXiv (2606.16572) SteerGenPO, un cadre d'apprentissage par renforcement en espace latent destiné à transformer une politique générative entraînée, basée sur la diffusion ou les flux normalisants, en un contrôleur robotique déterministe et stable. Le système a été évalué sur six benchmarks Isaac Lab d'NVIDIA et sur une tâche de locomotion avec le robot humanoïde Unitree G1, avec des résultats supérieurs aux baselines RL classiques et génératives selon les auteurs. Il s'agit d'une publication académique en pré-impression, sans déploiement industriel annoncé ni validation terrain au-delà du G1. Le verrou technique adressé est connu : les politiques de diffusion accumulent des variations d'action à chaque pas de temps, ce qui dégrade la stabilité sur des systèmes robotiques à haute dimensionnalité. SteerGenPO sépare architecturalement exploration et contrôle : l'échantillonnage stochastique reste actif à l'entraînement pour diversifier les proposals d'actions, mais au déploiement, un acteur latent appris prédit une entrée déterministe et dépendante de l'état qui pilote la politique générative sans bruit résiduel. Pour les intégrateurs, la proposition n'exige pas de réentraîner la politique depuis zéro : elle greffe un mécanisme de pilotage sur un checkpoint pré-entraîné existant, ce qui ouvre la voie à l'exploitation de modèles fondation tout en garantissant la reproductibilité des trajectoires en production. Ce travail s'inscrit dans la compétition intense autour des politiques génératives en robotique. Physical Intelligence avec Pi-0 (2024) et NVIDIA avec GR00T N2 (2025) ont validé l'approche VLA-diffusion en environnements contrôlés, mais les questions sur la robustesse à l'inférence longue restent ouvertes. Boston Dynamics, Agility Robotics et Figure AI privilégient des pipelines de contrôle plus classiques pour la fiabilité en production. SteerGenPO propose une voie médiane : capitaliser sur la richesse exploratoire des modèles génératifs sans en subir l'instabilité au déploiement. Aucune timeline, partenariat industriel ni essai terrain n'est mentionné dans le préprint ; les prochaines validations naturelles porteraient sur la manipulation dextère et des tests sim-to-real approfondis.

Du numérique au physique : des agents numériques comme coachs autonomes de l'intelligence physique

Des chercheurs ont publié EmboCoach-Bench, un benchmark évaluant la capacité d'agents LLM à automatiser l'ingénierie de politiques pour systèmes robotiques incarnés. Présenté sur arXiv (arXiv:2501.21570), le cadre couvre 32 tâches conçues par des experts en apprentissage par renforcement (RL) et apprentissage par imitation (IL), avec le code exécutable comme interface universelle entre l'agent et l'environnement de simulation. Plutôt que de générer des solutions statiques, les agents opèrent en boucle fermée: ils proposent du code, l'exécutent dans le simulateur, analysent le retour d'environnement, puis itèrent pour corriger et optimiser. Les tâches couvrent des aspects allant de la conception de fonctions de récompense informées par la physique aux architectures de politiques avancées, notamment les diffusion policies. Les résultats quantitatifs méritent attention: les agents autonomes ont surpassé les baselines conçues manuellement par des humains de 26,5% en taux de succès moyen, contestant l'hypothèse selon laquelle l'expertise humaine en reward shaping serait difficilement substituable pour les politiques incarnées. Deuxième enseignement: le workflow agentique avec retour d'environnement réduit substantiellement l'écart de performance entre modèles open-source et propriétaires, ce qui suggère que la boucle de feedback itératif est plus déterminante que le modèle sous-jacent. Enfin, les agents démontrent une capacité de self-correction sur des cas pathologiques d'ingénierie, récupérant des tâches en quasi-échec total via un débogage itératif en simulation. Pour les équipes robotiques, cela représente une voie potentielle pour réduire le temps ingénieur consacré au tuning manuel des hyperparamètres et à la conception artisanale de fonctions de récompense. Ce travail s'inscrit dans une tendance plus large: l'application des workflows agentiques LLM, prouvés dans l'automatisation logicielle et la découverte scientifique, au domaine de l'IA incarnée. Le goulot d'étranglement identifié, à savoir la supervision manuelle intensive pour le réglage des simulations, est un problème structurel bien connu des équipes travaillant sur Optimus (Tesla), GR00T N2 (NVIDIA) ou les systèmes de Figure AI. La contribution différenciante d'EmboCoach-Bench est de proposer un cadre d'évaluation standardisé pour mesurer ce que les agents LLM peuvent réellement automatiser, plutôt que des démos ciblées. Les extensions naturelles incluent l'intégration à des backends hétérogènes (Isaac Lab, MuJoCo, Genesis) et la validation sim-to-real pour confirmer si ces gains en simulation se transfèrent aux systèmes physiques, ce qui reste le test décisif pour une adoption industrielle.

L'architecture du critique est cruciale : critiques doubles ou unifiés pour la loco-manipulation des humanoïdes

Une étude publiée sur arXiv le 11 juin 2026 (réf. 2606.11891) présente une comparaison rigoureuse de deux architectures de critique en apprentissage par renforcement multi-objectifs pour robots humanoïdes : un critique unifié (un seul réseau estimant la valeur combinée de tous les objectifs) contre des critiques duaux (deux réseaux distincts, chacun associé à un signal de récompense séparé, l'un pour la locomotion, l'autre pour la manipulation). Les expériences ont été conduites sur le Unitree G1, un humanoïde à 23 degrés de liberté actifs, dans le simulateur NVIDIA Isaac Lab, via un curriculum séquentiel de 13 niveaux progressant de l'atteinte stationnaire jusqu'à la marche avec des cibles à orientation variable. Résultat : les politiques entraînées avec critiques duaux atteignent leurs cibles 3,5 fois plus vite (6,5 pas de simulation contre 22,6), affichent un débit deux fois supérieur (14,3 contre 7,0 atteintes validées pour 1 000 pas), et un taux de réussite validé de 65,2 % contre 53,8 % pour le critique unifié. Ce que l'étude démontre, c'est que le choix de l'architecture du critique est un levier de conception primaire, souvent négligé, dont l'impact surpasse celui du reward engineering. Fait notable : l'ajout de mécanismes anti-gaming, conçus pour empêcher la politique d'exploiter les failles de la fonction de récompense, ne produit aucun gain au-delà du changement architectural seul (60,9 % contre 65,2 %). L'implication la plus immédiate concerne le fine-tuning RL de politiques pré-entraînées par imitation : lorsqu'on affine un modèle de manipulation déjà appris (style Pi-0 ou GR00T N2), un critique unifié risque de supprimer les comportements acquis par interférence des gradients de locomotion. Pour les équipes qui cherchent à spécialiser des modèles de fondation robotiques par RL, cette mise en garde est directement opérationnelle. Le Unitree G1, vendu autour de 16 000 dollars, est devenu un banc de test standard pour la recherche en humanoïde abordable, face aux plateformes de Figure AI, Agility Robotics ou 1X Technologies qui opèrent sur des gammes de prix bien supérieures. NVIDIA Isaac Lab, successeur d'Isaac Gym, s'est imposé comme l'environnement de référence pour l'entraînement sim-to-real. La question du découplage locomotion/manipulation en RL multi-objectifs est au coeur de plusieurs groupes de recherche (Stanford, CMU, ETH Zurich), et les résultats de cette étude, issus d'un cadre contrôlé et reproductible, offrent une base solide pour orienter les choix d'architecture avant tout entraînement coûteux sur robot réel.

Démarrage par modèle VLA pour l'apprentissage par renforcement des agents robotiques

Des chercheurs proposent VLAJS (Vision-Language-Action Jump-Starting), une méthode publiée sur arXiv (réf. 2604.13733v2) visant à accélérer l'apprentissage par renforcement (RL) en manipulation robotique. Le principe repose sur l'utilisation d'un modèle VLA comme guide transitoire en début d'entraînement, sans imitation stricte ni démonstrations humaines. VLAJS augmente l'algorithme PPO (Proximal Policy Optimization) d'une régularisation directionnelle qui aligne progressivement les actions de l'agent RL avec les suggestions du VLA, avant d'annuler cette contrainte à mesure que l'agent gagne en compétence. La méthode a été évaluée sur six tâches simulées (levée d'objet, pick-and-place, réorientation et insertion de cheville, poking, pushing), dont un sous-ensemble validé sur un bras Franka Panda réel. Elle réduit de plus de 50 % le nombre d'interactions d'entraînement nécessaires par rapport à PPO seul ou aux baselines de distillation, et démontre un transfert sim-to-real zero-shot robuste face à des encombrements, variations d'objets et perturbations externes. Ce résultat répond à une tension structurelle bien connue du domaine: les modèles VLA comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) excellent dans le raisonnement à l'échelle de la tâche grâce à leur préentraînement multimodal massif, mais restent trop lents pour le contrôle en boucle fermée à haute fréquence. Inversement, le RL classique assure cette précision mais explore de façon inefficace sur des tâches longues avec récompenses éparses. VLAJS prouve qu'un VLA peut être utile sans être interrogé en continu, réduisant potentiellement les coûts d'entraînement pour des applications de manipulation industrielle et validant l'hypothèse qu'un modèle généraliste peut servir d'amorce dans des pipelines RL orientés production. VLAJS émerge dans un contexte de convergence entre fondations VLA et contrôle temps-réel, où Physical Intelligence (Pi-0), NVIDIA (GR00T N2) et Google DeepMind (RT-2) s'affrontent sur la généralisation pendant que le RL pur domine en précision. Cette contribution reste académique: validée sur le Franka Panda à 7 degrés de liberté, elle n'est pas encore un produit déployé ni industrialisé, et la réduction de 50 % des interactions porte sur des tâches relativement courtes en simulation. Les suites naturelles incluent l'extension à des morphologies plus complexes (humanoïdes, systèmes bimanuels) et l'intégration dans des frameworks d'entraînement open-source comme Isaac Lab ou ManiSkill.

NVIDIA et LG Group construisent une usine IA pour entraîner des robots et alimenter la mobilité du futur

NVIDIA et le groupe sud-coréen LG ont annoncé lors du Computex 2026 un partenariat stratégique multisectoriel visant à construire un écosystème d'intelligence artificielle physique couvrant la robotique industrielle, les robots domestiques, la mobilité autonome et les infrastructures de calcul. La collaboration mobilise plusieurs entités du conglomérat LG : LG Electronics, LG CNS, LG Innotek, LG Uplus et LG Energy Solution, chacune apportant un périmètre spécifique. Concrètement, LG prévoit de déployer NVIDIA Isaac Sim et Isaac Lab dans ses workflows robotique pour entraîner ses robots domestiques en environnements virtuels avant tout déploiement physique, et d'explorer le modèle de fondation GR00T pour renforcer leurs capacités de raisonnement. LG Electronics construit par ailleurs ce qu'il appelle une "data factory pour l'IA physique", utilisant les world models NVIDIA Cosmos pour générer des datasets synthétiques destinés à la robotique et à l'automatisation industrielle. Sur le volet infrastructure, LG Uplus s'engage à construire des centres de données à grande échelle compatibles avec les dernières générations de GPU NVIDIA, LG Electronics travaillera sur des technologies de refroidissement liquide alignées avec la plateforme NVIDIA DSX, et LG Energy Solution évalue des architectures d'alimentation en courant continu 800 volts pour les installations nouvelle génération. L'intérêt de ce partenariat pour les décideurs industriels tient moins à l'annonce elle-même qu'à ce qu'elle révèle sur la maturité du cycle de développement robotique. L'adoption d'Isaac Sim comme environnement d'entraînement primaire signale que le sim-to-real gap, longtemps le principal obstacle au déploiement à grande échelle, est considéré comme suffisamment maîtrisé pour structurer une chaîne industrielle dessus. La création d'une data factory synthétique répond à l'un des goulots d'étranglement les plus critiques du secteur : la rareté des données labellisées de qualité pour entraîner des VLA (Vision-Language-Action models). Pour les intégrateurs et les COO industriels, le message est que les outils de simulation et les modèles de fondation convergent vers une stack unifiée, ce qui devrait réduire les coûts et délais de portage de nouvelles applications robotiques. Il convient toutefois de noter que l'annonce reste au stade de la feuille de route : aucun chiffre de déploiement, aucun timeline de livraison ni prix n'ont été communiqués. Le contexte de ce rapprochement est celui d'une course mondiale à l'IA physique dans laquelle NVIDIA cherche à s'imposer comme couche d'infrastructure universelle face à des concurrents comme Boston Dynamics Atlas (désormais intégré chez Hyundai), Figure AI avec son modèle Helix, ou encore Physical Intelligence (pi-0) côté recherche. LG, de son côté, investit depuis plusieurs années dans la robotique de service avec ses robots CLOi, sans avoir encore atteint une adoption commerciale significative. Le groupe fait aussi face à la pression de concurrents coréens comme Samsung, qui développe ses propres robots domestiques avec Ballie. Les prochaines étapes annoncées incluent l'intégration des technologies NVIDIA DRIVE dans les systèmes ADAS de LG Electronics pour les véhicules définis par logiciel, et le déploiement de la plateforme d'automatisation industrielle de LG CNS enrichie de briques NVIDIA. La concrétisation de ces engagements sur les 12 à 24 prochains mois sera le véritable indicateur de la profondeur du partenariat.

💬 Le truc intéressant, c'est pas le deal NVIDIA-LG, c'est ce qu'il révèle : le sim-to-real gap est maintenant considéré comme suffisamment sous contrôle pour construire une filière industrielle dessus. Isaac Sim comme environnement d'entraînement primaire dans une data factory à l'échelle d'un conglomérat coréen, ça signale un vrai changement de maturité, pas juste un POC de plus. Sur le papier, du moins, parce qu'aucun chiffre ni calendrier n'a filtré.

RLWRLD et Nvidia lancent DexBench pour standardiser la dextérité des robots humanoïdes

RLWRLD, une startup spécialisée en IA physique, a annoncé en partenariat avec Nvidia le lancement de DexBench, un benchmark universel destiné à standardiser l'évaluation des capacités de dextérité des robots humanoïdes. L'initiative repose sur trois axes : DexBench en tant que référentiel d'évaluation commun, un standard de données pour l'entraînement à la manipulation dextre, et une intégration native aux frameworks open-source Nvidia Isaac Lab et Isaac Lab-Arena. Aucune date de disponibilité publique ni métriques de performance n'ont été communiquées à ce stade -- il s'agit d'une annonce de feuille de route, pas d'un produit shipped. L'absence de standard commun pour mesurer la dextérité est l'un des obstacles majeurs à la comparaison objective entre systèmes humanoïdes. Sans référentiel partagé, chaque constructeur publie ses propres métriques dans des conditions contrôlées, ce qui rend les comparaisons entre Figure 03, Optimus, Unitree ou 1X quasi impossibles pour les intégrateurs industriels. DexBench vise à combler ce vide en établissant des protocoles reproductibles, ce qui pourrait accélérer la qualification de robots pour des tâches d'assemblage ou de picking en milieu non structuré. RLWRLD s'inscrit dans un écosystème naissant autour des fondations de simulation Nvidia, qui positionne Isaac Lab comme infrastructure commune pour le sim-to-real dans la robotique humanoïde. Des acteurs comme Physical Intelligence (Pi-0), Agility Robotics ou Boston Dynamics s'appuient également sur des pipelines de simulation propriétaires. Le choix de standardiser via un framework open Nvidia plutôt qu'un consortium neutre (comme ROS 2 ou IEEE) est un pari sur l'adoption par l'écosystème Jetson/Omniverse -- une dynamique à surveiller face aux initiatives concurrentes en Europe.

RAM : la portée de l'apprentissage robotique au-delà des morphologies

Une équipe de chercheurs a publié en juin 2026, via arXiv (arXiv:2606.09108), un modèle de réseau de neurones baptisé RAM (Reachability Across Morphologies), conçu pour prédire l'espace de travail atteignable d'un bras robotique en temps quasi nul. Là où les méthodes traditionnelles d'échantillonnage ou de grilles voxels opèrent à l'échelle de la milliseconde ou plus, RAM atteint un score F1 de 86 % avec un temps d'inférence réduit de trois ordres de grandeur par rapport à la baseline, soit une exécution à l'échelle de la nanoseconde. Le modèle a été entraîné sur un jeu de données de 3×10^10 échantillons, générés exclusivement à partir de la cinématique directe. Sa caractéristique centrale : il est conditionné par la morphologie du robot, lui permettant de généraliser à des configurations inédites sans réentraînement, tout en intégrant nativement la détection des auto-collisions. L'enjeu opérationnel est direct. Le calcul du workspace atteignable intervient à chaque étape du cycle de vie d'un robot, conception morphologique, planification de trajectoire, placement en cellule d'intégration. Les méthodes disponibles à ce jour sont soit lentes, soit figées sur une morphologie unique, rendant l'exploration du design-space coûteuse en calcul. RAM étant différentiable, il peut s'insérer dans des boucles d'optimisation par gradient : les auteurs rapportent des accélérations d'un ordre de grandeur pour l'optimisation morphologique et de deux ordres pour la trajectoire. Pour un intégrateur ou un OEM, cela ouvre la voie à un co-design robot-cellule significativement plus rapide. Les représentations neurales implicites (NRI), popularisées par les NeRF pour la reconstruction 3D, s'imposent progressivement en robotique depuis 2023 pour encoder des fonctions géométriques complexes. RAM applique cette logique à la cinématique, en concurrence directe avec les cartes de joignabilité sur grille (précises mais lourdes) et les surrogates appris à morphologie fixe. Aucun acteur commercial n'est cité dans la publication ; la contribution reste académique, accompagnée d'un site de démonstration. Les suites naturelles seraient l'intégration dans des pipelines de CAO robotique ou des plateformes de simulation telles qu'Isaac Lab ou MuJoCo.

Apprentissage de politiques par simulation pour la loco-manipulation des robots humanoïdes

Une équipe de chercheurs a publié le 9 juin 2026 sur arXiv (2606.08278) SIMPLE, un banc de test de simulation unifié pour l'apprentissage et l'évaluation de politiques de contrôle de robots humanoïdes. La plateforme couple la simulation de dynamique de contact de MuJoCo avec le rendu photoréaliste d'IsaacSim, et propose 60 tâches de loco-manipulation plein corps, 50 scènes d'intérieur et plus de 1 000 assets d'objets. Pour la collecte de données, deux pipelines sont intégrés : génération automatisée de trajectoires par planification de mouvement, et interface de téléopération VR à faible latence. Les auteurs y benchmarkent plusieurs familles de politiques humanoïdes : réseaux d'imitation légers, grands modèles vision-langage-action (VLA) et les récents modèles d'action du monde (WAM, World Action Models). Les expériences démontrent, selon les auteurs, un transfert zero-shot vers des robots humanoïdes physiques dans des configurations similaires. L'enjeu central est un goulot d'étranglement d'évaluation : les modèles fondationnels humanoïdes progressent plus vite que les protocoles pour les tester. Les benchmarks existants se concentrent sur la robotique de table ou les robots à roues, sans couvrir la loco-manipulation plein corps, compétence clé pour les humanoïdes déployés en environnement industriel ou domestique. Si la corrélation sim-to-real revendiquée dans l'article se confirme à plus grande échelle, elle légitime le recours massif à la simulation pour entraîner des politiques de contrôle, réduisant drastiquement les coûts de collecte de données en conditions réelles. C'est précisément le pari industriel de Physical Intelligence avec pi-0, et de Figure AI avec Figure 02 : remplacer les démos téléopérées coûteuses par des pipelines simulés reproductibles. La fragmentation des benchmarks est un problème structurel en robotique humanoïde : chaque laboratoire publie sur ses propres protocoles, rendant toute comparaison inter-équipes difficile. Des initiatives comme HumanoidBench, RoboVerse ou Isaac Lab ont tenté d'y répondre, mais sans couvrir la chaîne complète loco-manipulation avec rendu photoréaliste et pipelines de données intégrés. SIMPLE se positionne à cette intersection. Les équipes de Google DeepMind (GR00T N2, Helix), Agility Robotics (Digit) et Boston Dynamics sont directement concernées. Ce preprint arXiv n'est pas encore évalué par les pairs ; l'adoption par la communauté dépendra de la disponibilité publique du code et des assets, non encore confirmée.

QuadVerse : un cadre intégré alignant réalité visuelle et physique pour la simulation quadrupède

Une équipe de recherche a publié début juin 2026 QuadVerse, un cadre de simulation intégré pour robots quadrupèdes conçu pour résoudre simultanément les décalages visuels, physiques et d'actionneur qui constituent le sim-to-real gap. La méthode repose sur une reconstruction de scènes par 3D Gaussian Splatting (3DGS) à partir de vidéos RGB ordinaires : ces scènes servent de substrat de calibration commun à toute la pipeline. Les maillages géométriques extraits permettent un rendu photoréaliste en vue ego, une détection de collisions, et une initialisation de priors de friction spatialement variables, affinés par une recherche bayésienne sur des trajectoires réelles. Un compensateur de dynamique résiduelle est ensuite entraîné en rejouant ces trajectoires sur le terrain calibré, séparant les erreurs de contact dues au relief des non-idéalités propres aux actionneurs. Les expériences rapportées montrent une amélioration de la qualité de reconstruction et du suivi de locomotion par rapport aux baselines, ainsi qu'un déploiement zero-shot d'une politique de navigation visuelle sans aucune collecte de données terrain spécifique à la tâche. Ce que QuadVerse apporte concrètement, c'est une approche unifiée du sim-to-real : là où la majorité des travaux traitent le gap visuel ou dynamique de façon indépendante, ce framework les calibre conjointement à partir du même substrat de scène reconstruite. L'accumulation et la propagation des erreurs individuelles dans l'évolution d'état du robot sont explicitement prises en compte, un problème souvent sous-estimé dans les pipelines existants. Le résultat le plus opérationnel est le déploiement zero-shot : une politique entraînée entièrement en simulation peut être transférée sur un robot réel sans rollout terrain supplémentaire, ce qui réduit le coût d'adaptation à de nouveaux environnements. Pour les intégrateurs qui cherchent à accélérer les cycles de validation, c'est un levier potentiellement significatif. Il faut néanmoins souligner que l'article est un preprint arXiv (v2 déposé en juin 2026), les expériences sont conduites en environnement contrôlé, et aucune validation industrielle à grande échelle n'est encore documentée. Le sim-to-real gap est l'un des problèmes centraux de la robotique apprenante depuis plusieurs années. Des équipes comme ETH Zurich (ANYmal), Agility Robotics ou Boston Dynamics ont montré que les politiques de locomotion peuvent franchir ce gap, mais souvent au prix d'une randomisation de domaine intensive ou d'une adaptation en conditions réelles coûteuse. La technique de 3D Gaussian Splatting, popularisée en 2023, est de plus en plus mobilisée dans des pipelines robotiques pour sa capacité à produire des représentations photoréalistes différentiables. QuadVerse s'inscrit dans un courant actif incluant des travaux comparables autour de NeRF-to-Real et les simulateurs hybrides de Nvidia Isaac Lab. La prochaine étape logique serait une validation sur des plateformes commerciales standardisées comme l'Unitree Go2 ou l'ANYmal-D en environnements non structurés, et une éventuelle extension aux politiques de manipulation pour robots à pattes équipés de bras.

NVIDIA et LG Group bâtissent une usine d'IA pour développer l'IA physique, la mobilité et l'infrastructure IA

NVIDIA et LG Group ont annoncé la construction d'une infrastructure conjointe qualifiée d'"AI factory", destinée à accélérer les activités du conglomérat coréen dans quatre domaines: la robotique, la conduite autonome, les technologies de centres de données et les services cloud GPU. L'infrastructure couvrira l'intégralité du cycle, de l'entraînement à la simulation et au déploiement, en reliant génération de données, simulation robotique et jumeaux numériques dans un workflow unifié. Du côté robotique, LG Electronics intègre les frameworks NVIDIA Isaac Sim et Isaac Lab dans le développement de CLoiD, son robot domestique conçu pour les tâches d'intérieur, et explore l'adoption du modèle de fondation GR00T, un VLA (vision-language-action model) destiné à lui conférer un raisonnement de type humanoïde. LG Electronics développe également une data factory d'IA physique pour fournir des données d'entraînement aux entreprises coréennes et mondiales, en s'appuyant sur NVIDIA Cosmos pour la génération de données synthétiques. LG Innotek prépare des solutions de capteurs optiques optimisées pour les environnements GPU NVIDIA, tandis que LG CNS intègre Isaac, Cosmos et GR00T dans sa plateforme industrielle PhysicalWorks pour accélérer l'automatisation logistique et manufacturière. Sur le volet infrastructure, les deux groupes approfondissent leur collaboration autour du refroidissement des AI factories, incluant des unités de distribution de refroidissement (CDU), des plaques froides et un design modulaire préfabriqué, le tout aligné sur la plateforme NVIDIA DSX. Ce partenariat illustre la verticalisation des stacks d'IA physique, du modèle de fondation jusqu'au déploiement industriel. LG apporte des données de fabrication issues de sites mondiaux, une expertise optique via Innotek et des capacités d'intégration SI via CNS, là où NVIDIA fournit la couche logicielle et les accélérateurs. L'annonce de la data factory mérite une attention particulière: LG se positionne comme fournisseur de données d'entraînement pour l'industrie robotique, une ressource devenue critique face au défi du sim-to-real. Il convient cependant de souligner que CLoiD et l'intégration GR00T restent au stade de l'exploration déclarée, non d'un produit expédié, et qu'aucune métrique de déploiement industriel ni de volumétrie de production n'est communiquée. Ce rapprochement s'inscrit dans la stratégie NVIDIA d'expansion de l'écosystème Isaac et GR00T auprès des industriels asiatiques, après des partenariats similaires avec Foxconn et Hyundai. LG entre ainsi en compétition directe avec Samsung et SK dans la course des conglomérats coréens à intégrer l'IA physique dans leur portefeuille. Dans le segment des robots de service, CLoiD sera en concurrence indirecte avec Figure 03, Tesla Optimus Gen 3, 1X NEO et Sanctuary AI Phoenix, tous en déploiements pilotes chez des industriels. Côté infrastructure AI factory, Dell, HPE et Lenovo sont également partenaires certifiés NVIDIA DSX, ce qui relativise toute exclusivité de l'accord. Aucune date de livraison ni volume de déploiement n'est précisé dans l'annonce: il s'agit pour l'instant d'un cadre de coopération stratégique, pas d'un contrat de déploiement signé.

NVIDIA et Doosan Group s'associent pour développer l'IA physique et les infrastructures d'usines IA

NVIDIA et le conglomérat sud-coréen Doosan Group ont annoncé en juin 2026 un élargissement de leur collaboration couvrant quatre entités du groupe : Doosan Robotics, Doosan Bobcat, Doosan Enerbility et Doosan Corporation Electro-Materials BG. Côté robotique, Doosan Robotics intègre la pile physique AI de NVIDIA, dont Isaac Sim et Isaac Lab pour la simulation, les modèles de fondation Cosmos pour la génération de monde physique, le moteur de physique open source Newton, et le SoC embarqué Jetson Thor. L'objectif est de faire évoluer leur plateforme "Agentic Robot OS" -- présentée comme une couche logicielle unifiant perception, raisonnement, simulation, apprentissage et inférence on-device -- pour des tâches industrielles concrètes comme la dépalettisation et le ponçage, ainsi que pour de nouveaux facteurs de forme incluant des bras doubles et des plateformes humanoïdes. Doosan Bobcat, spécialisé dans les engins compacts (construction, agriculture, manutention), entend de son côté exploiter les mêmes technologies pour développer des world models spécialisés. Enfin, Doosan Enerbility explore l'alimentation des AI factories NVIDIA via turbines à gaz, vapeur, réacteurs modulaires de petite taille (SMR) et piles à combustible hydrogène, pendant que Doosan Electro-Materials fournit des copper clad laminates (CCL) haute performance pour les PCB des accélérateurs et serveurs IA compatibles NVIDIA MGX. Il faut lire cette annonce pour ce qu'elle est : un accord de collaboration, pas un déploiement. Aucun chiffre de production, de cycle time, ni de volume shipment n'est communiqué. Cela dit, la structure de l'accord est stratégiquement cohérente. Doosan couvre plusieurs couches de la chaîne de valeur de l'infrastructure IA simultanément : hardware embarqué (Jetson Thor sur cobots), logiciel de simulation (Isaac Lab), matériaux de base pour data centers (CCL), et production d'énergie pour alimenter ces mêmes data centers. Pour les intégrateurs industriels, le signal le plus concret est le passage revendiqué de Doosan Robotics d'un fournisseur de bras articulés vers une entreprise "AI-first full-stack" -- une ambition que partagent Universal Robots, Fanuc et Yaskawa, mais que peu ont encore matérialisée à l'échelle. L'intégration sim-to-real via Cosmos et Newton suggère une volonté de réduire le demo-to-reality gap qui plombe encore de nombreuses démonstrations de manipulation complexe. Doosan Group, fondé en Corée du Sud en 1896 et désormais actif dans l'énergie, l'industrie lourde et la robotique, a acquis Bobcat en 2007 et structuré Doosan Robotics en unité autonome cotée en 2023. Sur le terrain de la robotique collaborative, ses concurrents directs incluent Universal Robots (acquis par Teradyne), FANUC, ABB et Techman Robot, tous en train d'intégrer des couches IA similaires. Sur le segment humanoïde, auquel Doosan fait désormais référence explicitement, la concurrence est plus intense encore : Figure (qui déploie chez BMW), Agility Robotics (Amazon), 1X, Apptronik et Tesla Optimus avancent tous sur des timelines industrielles. NVIDIA, de son côté, capitalise sur cette annonce pour consolider son positionnement de "système d'exploitation de la robotique physique", après des accords similaires avec Boston Dynamics, Foxconn et Intrinsic (Alphabet). Les prochaines étapes mentionnées restent vagues : des cas d'usage de référence sont "en cours de développement", sans date ni client annoncés.

Des chercheurs chinois revendiquent une percée dans l'entraînement de robots domestiques grâce à des maisons générées par IA

Des chercheurs chinois d'Ace Robotics, une start-up soutenue par une société d'intelligence artificielle cotée à Hong Kong, ont présenté Kairos-HomeWorld, un framework capable de générer des environnements domestiques simulés à partir de simples prompts textuels. L'objectif affiché est de pallier le manque chronique de données d'entraînement pour les robots domestiques : contrairement aux environnements industriels, les intérieurs résidentiels varient infiniment en layout, éclairage, mobilier et désordre, ce qui rend la collecte de données réelles coûteuse et peu généralisable. Kairos-HomeWorld prétend produire des scènes cohérentes, précises géométriquement et directement exploitables dans des simulateurs physiques. Si les résultats se confirment à l'échelle, l'enjeu est considérable pour l'ensemble de la filière robotique domestique. La génération synthétique d'environnements de training est l'un des verrous majeurs du sim-to-real gap : entraîner un robot sur des données trop homogènes ou trop irréalistes produit des comportements fragiles hors simulateur. Un framework capable de diversifier automatiquement et massivement les scènes d'entraînement pourrait accélérer le déploiement d'assistants domestiques en réduisant le besoin de démonstrations humaines ou de téléopération. Les termes "world's first" utilisés dans la communication officielle appellent toutefois à la prudence, aucune comparaison indépendante n'étant disponible à ce stade. La course à la donnée synthétique pour la robotique s'intensifie : Nvidia propose Isaac Sim et Isaac Lab, Google DeepMind travaille sur des pipelines de génération de scènes pour ses robots, et Physical Intelligence (Pi) utilise des environnements simulés pour entraîner ses VLA (vision-language-action models). Ace Robotics entre sur ce terrain avec une approche centrée sur le résidentiel, segment encore peu adressé par les grandes plateformes américaines. Les prochaines étapes à surveiller : publication d'un benchmark de transfert sim-to-real, ouverture du framework à des partenaires intégrateurs, et résultats sur du matériel robotique réel.