Dossier NVIDIA GR00T

Ce qui compte pour la modélisation du monde dans les modèles vision-langage-action (VLA)

Une équipe de chercheurs publie sur arXiv (2610.19825) une étude systématique visant à déterminer ce qui compte réellement lorsqu'on intègre un modèle du monde dans un modèle Vision-Langage-Action (VLA), c'est-à-dire une politique robotique qui convertit images et instructions textuelles en actions. Les auteurs classent les approches existantes en quatre paradigmes: Implicit Future Alignment, Explicit Future Query, MoT Future Expert (un expert dédié au futur, découplé de la politique, dans une architecture de type Mixture-of-Transformers) et External World Predictor. Chacun est réimplémenté dans un cadre unifié, puis évalué avec plusieurs représentations du monde et plusieurs architectures de politique. Les tests couvrent des scénarios in-domain, hors distribution (OOD), à long horizon, dynamiques, few-shot et en conditions réelles. Les résultats chiffrés détaillés figurent sur la page projet, que les auteurs accompagnent de vidéos de démonstration. Quatre conclusions se dégagent. L'efficacité d'une représentation du monde dépend du paradigme, mais les représentations sémantiques 2D apportent des gains robustes dans tous les cas. Aucun paradigme ne domine partout, même si le MoT Future Expert offre de bonnes performances globales, surtout en robustesse OOD. Le modèle du monde profite systématiquement aux politiques bâties sur des VLM standards, tandis que les conceptions découplées s'accordent mieux avec des VLA déjà pré-entraînés. Enfin, par rapport à des références limitées à la prédiction d'actions, le modèle du monde améliore les résultats dans plusieurs configurations, avec des gains notables sur les tâches longues et dynamiques. L'intérêt pour l'industrie tient à la clarification d'un champ où les publications comparaient des méthodes qui différaient à la fois par la représentation, le mode d'intégration et le backbone, ce qui rendait les attributions de gains peu fiables. Pour les équipes qui développent des VLA, le message est pragmatique: prédire des features sémantiques 2D du futur est un choix peu risqué, et une architecture découplée permet de greffer un modèle du monde sur un VLA existant sans tout réentraîner. Les gains sur les tâches longues et dynamiques correspondent précisément aux limites des politiques purement réactives en environnement industriel. Il faut toutefois rester prudent: il s'agit d'un banc d'essai académique, sans chiffres de déploiement ni de cadence, et la validation en conditions réelles reste vraisemblablement limitée en échelle. Ce travail s'inscrit dans la montée des modèles du monde dans la robotique fondationnelle, où des acteurs comme NVIDIA (GR00T), Physical Intelligence (Pi-0) ou Figure (Helix) cherchent à dépasser le simple mappage observation-action. Les choix d'architecture restent encore peu consensuels. La suite logique consiste à tester ces paradigmes à plus grande échelle, avec des VLA pré-entraînés sur de très grands corpus et sur des plateformes variées. Aucun calendrier de pilote n'est annoncé, s'agissant d'une contribution de recherche.

Accélérer l'inférence des VLA grâce à une exécution guidée par les perturbations

Des chercheurs proposent PICES (Perturbation-Informed Chunk and Execution Horizon Selection), une méthode sans entraînement qui accélère l'inférence des modèles vision-langage-action (VLA) à découpage d'actions. Ces modèles prédisent des séquences d'actions futures, appelées chunks. Avec l'exécution à horizon fixe, le robot n'exécute qu'un préfixe de longueur constante avant de rappeler la politique, et le reste du chunk est jeté. PICES choisit, au sein d'un même appel, le chunk à exécuter et le nombre d'actions à jouer avant le prochain appel. L'expert d'actions génère un lot de chunks à partir de plusieurs bruits initiaux et de leurs versions localement perturbées, avec les mêmes caractéristiques de conditionnement. L'écart entre chaque action nominale et son homologue perturbée sert à fixer un horizon d'exécution propre à chaque candidat, puis à retenir un chunk nominal. Les tests couvrent des benchmarks en simulation et des tâches de manipulation réelles. Ils annoncent jusqu'à 2,3 fois moins de temps d'inférence (mesuré en temps réel) sur Jetson Orin et Jetson Thor, par rapport aux références à horizon fixe, avec un taux de réussite amélioré. Le résumé ne donne ni les modèles de base, ni les tâches, ni les gains de réussite chiffrés. L'inférence d'un VLA est coûteuse sur le matériel embarqué, et c'est un frein concret au déploiement. Un horizon court permet des corrections précises mais multiplie les appels, tandis qu'un horizon long amortit le coût au prix de la réactivité. PICES vise à adapter cet arbitrage à chaque situation. L'intérêt pour les intégrateurs tient à trois points. La méthode ne demande aucun réentraînement, donc elle peut s'appliquer à des politiques déjà en place. Elle cible les plateformes Jetson Orin et Thor, très répandues dans la robotique embarquée. Et elle utilise un seul passage batché, ce qui limite le surcoût. Il faut tout de même nuancer. Le « jusqu'à 2,3x » est un maximum, probablement obtenu dans le cas le plus favorable. Le gain moyen, la variance entre tâches et la robustesse hors benchmark restent à vérifier dans l'article complet. Il s'agit d'une preuve de concept académique, pas d'un produit livré ni d'un déploiement industriel. Ce travail s'inscrit dans la course à l'efficacité des VLA à flow matching ou diffusion, comme Pi-0 ou GR00T, dont la fréquence de décision reste limitée sur des puces embarquées. Les approches rivales passent par la distillation, la quantification, la mise en cache ou l'exécution asynchrone, avec ou sans « temporal ensembling ». PICES a l'avantage de s'y combiner sans modifier les poids. La suite logique serait une validation sur plus de modèles, sur des tâches à contacts riches et sur des cycles de production réels, avec des mesures de latence de bout en bout et pas seulement du temps d'inférence de la politique.

Post-entraînement, finetuning et pilotage : guide pratique pour constituer des données d'entraînement

Une étude déposée sur arXiv en octobre 2026 (2610.19143, première version) compare de façon systématique les méthodes d'adaptation des modèles Vision-Language-Action (VLA) selon le type de données disponibles. Les scénarios testés sont les données on-policy ou off-policy, l'adaptation hors ligne ou en ligne, et les trajectoires optimales ou sous-optimales. L'évaluation couvre des tâches simulées du benchmark LIBERO et des tâches réelles sur un bras Franka. Hors ligne, quand des données d'échec existent, le « steering » par critique surpasse le fine-tuning supervisé. Ce steering consiste à utiliser une fonction de valeur pour orienter ou filtrer les actions du modèle, sans réentraîner ses poids. En revanche, les techniques d'offline RL pour entraîner ces critiques ne font pas mieux que de simples estimations Monte-Carlo. En ligne, le steering demande nettement moins d'échantillons que les méthodes de fine-tuning par policy gradient, mais son plafond de performance reste inférieur à celui d'un fine-tuning complet. Les VLA transfèrent bien d'une tâche à l'autre en zero-shot, mais la fiabilité exigée en production passe par une adaptation. Le choix de la méthode se faisait jusqu'ici surtout à l'intuition. Pour un intégrateur, l'étude donne trois repères. Les logs d'échec, souvent jetés, ont une vraie valeur d'entraînement. Une approche Monte-Carlo simple suffit pour le critique. Et il faut arbitrer entre un steering rapide et économe en données et un fine-tuning complet, plus coûteux mais plus performant à terme. Les limites sont nettes. Le résumé ne donne aucun chiffre de gain, le banc d'essai est un bras unique en simulation et en laboratoire, et rien n'est mesuré en temps de cycle, en cadence ou en conditions d'atelier. La transposition aux humanoïdes ou aux cellules industrielles n'est pas démontrée. Depuis les premiers VLA, la littérature a multiplié les recettes de post-training : fine-tuning supervisé, RL en ligne, guidage par fonction de valeur. Les acteurs industriels comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) travaillent sur ces mêmes questions d'adaptation, mais publient rarement des comparaisons contrôlées. Ce travail, présenté comme un guide pratique, comble en partie ce vide. Il s'agit d'un preprint non évalué par les pairs, sans pilote ni déploiement annoncé. La suite logique serait une validation sur d'autres plateformes, des tâches plus longues et des volumes de données réalistes.

Retour sur la bonne voie : amélioration de la politique au déploiement par planification avec un modèle du monde

Des chercheurs proposent un cadre de supervision et d'intervention qui améliore une politique visuomotrice pendant son déploiement, sans la réentraîner ni modifier son architecture (arXiv 2610.19579). La méthode n'exige qu'un accès « boîte noire » à la politique, c'est-à-dire la possibilité de l'interroger sans toucher à ses poids. À partir d'un nombre limité de déroulés (rollouts) étiquetés de la politique nominale, l'équipe apprend une valeur de « liveness », conditionnée par la politique, qui mesure sa progression vers l'achèvement de la tâche. Elle entraîne aussi un modèle du monde latent compact, qui s'appuie sur ces mêmes déroulés et sur des données de jeu (play data). Pendant l'exécution, la valeur de liveness surveille en continu le comportement. Si elle détecte une perte de progression, un planificateur à horizon court cherche dans le modèle du monde des actions correctrices, en utilisant cette même valeur comme objectif, puis rend la main à la politique nominale. L'évaluation porte sur la suite de tâches LIBERO-Goal et sur un bras Franka Panda réel. Les politiques nominales sont le modèle vision-langage-action π0.5 et une diffusion policy. Les auteurs annoncent des gains significatifs de taux de réussite, compatibles avec un contrôle en temps réel. Le résumé ne donne aucun chiffre précis (taux avant et après, latence du planificateur, nombre de déroulés étiquetés), ce qui empêche de juger l'ampleur réelle de l'amélioration. L'enjeu est pratique. Les politiques actuelles échouent en production de façons qu'elles ne détectent pas et dont elles ne savent pas se relever. Les corriger passe aujourd'hui par davantage de données, un réentraînement ou une refonte de l'architecture, trois leviers coûteux, surtout pour un intégrateur qui utilise un modèle de fondation fourni par un tiers. Une couche externe qui détecte le blocage et propose une correction, sans accès aux poids, répond directement à cette contrainte. Elle suggère aussi que l'écart entre démonstration et fiabilité industrielle peut se réduire par de la supervision à l'exécution plutôt que par un modèle toujours plus gros. Plusieurs réserves s'imposent. Il s'agit d'un travail académique, sans déploiement client. Le banc d'essai LIBERO-Goal est de l'ordre de la simulation, et la validation réelle se limite à un seul bras. Il reste aussi à voir comment la méthode se comporte sur des tâches longues, ou lorsque le modèle du monde s'écarte de la réalité. Ce travail s'inscrit dans un courant qui cherche à fiabiliser les VLA après leur entraînement. Ce courant comprend l'apprentissage par renforcement sur robot réel, les détecteurs d'échec à l'exécution et les approches fondées sur des modèles du monde, utilisés comme simulateurs ou comme planificateurs. π0.5, de Physical Intelligence, est devenu une référence ouverte pour ces expériences, tout comme les diffusion policies pour la manipulation. Les grands acteurs de l'humanoïde, dont Figure avec Helix, Tesla avec Optimus et NVIDIA avec la famille GR00T, misent surtout sur l'échelle des données et l'entraînement. Une couche de récupération qui s'ajoute à ces politiques suivrait une logique différente. Les prochaines étapes à surveiller sont la publication de résultats chiffrés détaillés, des tests sur davantage de plateformes et de tâches de longue durée, et la mesure du coût de calcul du planificateur sur du matériel embarqué. Une vidéo et des résultats complémentaires sont annoncés sur le site du projet.

EarlyCommit : engagement calibré mot par mot pour des robots qui agissent avant la fin de la phrase

EarlyCommit, un outil open source décrit dans un preprint arXiv (2610.20531), permet à un robot de s'engager sur l'objet visé pendant que la consigne vocale est encore en cours, au lieu d'attendre la fin de la phrase. Après chaque mot reconnu, un encodeur de texte affiné (fine-tuned) attribue un score à chaque objet de la scène. Le robot agit quand la probabilité calibrée du meilleur candidat atteint un seuil tau fixé par l'utilisateur, 1 - tau correspondant au risque accepté de se tromper d'objet. Sinon, il attend ou pose une question. L'outil comprend un front-end de reconnaissance vocale en flux continu, un générateur de scènes et de consignes avec vérité terrain exacte mot à mot, ainsi que des scripts d'entraînement, de calibration et d'évaluation. Sur des consignes contenant des mots absents de l'entraînement, il s'engage correctement 1,6 à 2 fois plus souvent qu'une simple recherche de mots-clés. À tau = 0,9, il a raison au moins 92 % du temps quand il s'engage, pour 31 à 35 ms par mot sur des GPU grand public. L'intérêt tient à la latence perçue dans l'interaction humain-robot. Dans un atelier, un entrepôt ou une cuisine, le délai entre la fin d'un ordre et le début du geste pèse sur la fluidité du travail collaboratif, et un robot qui anticipe comme un auditeur humain peut réduire ce délai. L'approche a aussi un mérite de conception: le seuil de risque est explicite et réglable, ce qui permet à un intégrateur de choisir entre prudence et réactivité selon le coût d'une erreur, par exemple plus strict pour un objet fragile ou dangereux. Le budget de 31 à 35 ms par mot reste compatible avec le temps réel sur du matériel courant. Les résultats viennent toutefois d'un générateur synthétique de scènes et de consignes, et rien n'indique des tests sur robot physique, en environnement bruité ou avec des locuteurs variés. Le gain annoncé est relatif à une base de comparaison simple (mots-clés), pas à un système de langage-vision-action complet. Le taux d'erreur résiduel d'au moins 8 % à tau = 0,9 rappelle aussi que l'engagement précoce reste un pari. Ce travail s'inscrit dans le mouvement qui fait passer le langage naturel de commande ponctuelle à interface continue pour les robots. Les modèles vision-langage-action (VLA) récents, comme Pi-0, Helix ou GR00T, traitent en général la consigne complète avant d'agir, et les systèmes de dialogue incrémental existent surtout en recherche. EarlyCommit occupe un créneau plus étroit, la désambiguïsation d'objets, et pourrait s'intégrer comme couche en amont d'un planificateur existant. Les suites logiques sont une validation sur des robots réels, des tests avec de la parole spontanée et des scènes encombrées, et une comparaison avec des modèles de langage plus grands. La publication du code facilitera cette reproduction.

FACT : un modèle fondation multimodal force-action-trajectoire pour la dextérité du robot à partir de l'humain

FACT (Force-Action-Track), un modèle de fondation robotique décrit dans un preprint arXiv (2610.19155), vise un des angles morts de la manipulation dextre: l'absence de mesures de force dans la plupart des jeux de données de démonstrations humaines. Les auteurs introduisent EgoForce, un jeu de données tactile humain à grande échelle qui capture des gestes riches en interaction, combiné à des démonstrations robot pour le pré-entraînement. L'architecture est en cascade et repose sur deux composants entraînés conjointement. Un planificateur grossier guidé par les tracks prédit simultanément les actions, la vidéo future et des trajectoires visuelles de points (tracks). Un raffineur force-action prédit ensuite la force future et corrige l'action grossière, de sorte que force anticipée et action se façonnent mutuellement. L'évaluation porte sur dix tâches exigeant coordination fine et retour d'effort, dont l'usage d'outils, les instruments de musique et des procédures de laboratoire de précision. Avec seulement 10 trajectoires robot et 90 trajectoires humaines pour le fine-tuning, FACT dépasse les deux références testées, avec des gains de taux de réussite allant jusqu'à 60 points face à T-Rex. L'intérêt tient à la question de l'échelle. Collecter des données robot par téléopération reste coûteux et lent, alors que les démonstrations humaines sont bien moins chères, mais elles manquaient jusqu'ici de la dimension force, pourtant décisive pour visser, presser, pipeter ou jouer d'un instrument. Les ablations indiquent que la supervision de force dans les données humaines de pré-entraînement est déterminante pour la performance robot après fine-tuning, tandis que la prédiction de tracks visuels et de force future améliore l'exécution dextre. Les expériences faisant varier le ratio humain/robot suggèrent que FACT apprend des démonstrations humaines presque aussi efficacement que de démonstrations robot. Si cela se confirme, c'est un argument en faveur de pipelines où l'essentiel des données vient d'opérateurs équipés de capteurs plutôt que de flottes de robots. Les réserves sont classiques: il s'agit d'un résultat de laboratoire sur dix tâches, avec peu de détails dans le résumé sur le matériel, le nombre d'essais ou la solidité des deux références, et le chiffre de 60 points est un maximum, non une moyenne. Ce travail s'inscrit dans la course aux modèles vision-langage-action (VLA) et aux approches de co-entraînement humain-robot, où des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) misent surtout sur la vision et la proprioception, la force restant le plus souvent absente. Le transfert entre morphologies via la vidéo future et les tracks relève d'une piste déjà explorée, que FACT complète par une couche tactile. Reste à voir si EgoForce sera publié et si les résultats se reproduiront hors du laboratoire d'origine, sur d'autres mains robotiques et en environnement industriel. Aucun déploiement ni calendrier commercial n'est annoncé: il s'agit d'une contribution de recherche.

PACER : apprentissage de politiques VLA sensibles au processus à partir de corrections humaines pour le démontage robotisé

Des chercheurs présentent PACER (Process-Aware Correction and Evidence Reweighting), un cadre d'apprentissage pour le démontage robotisé de produits en fin de vie, publié sur arXiv. Il est évalué sur le démontage de cartes mères avec un bras UR5e, sur cinq classes de composants. La tâche testée est l'approche du composant puis sa remise (« approach-and-handoff »). Sur un benchmark de validation tenu à l'écart de l'entraînement, PACER réussit 87 essais sur 100, contre 54 sur 100 pour la politique VLA (vision-langage-action) de référence simplement affinée par fine-tuning supervisé (SFT). Le principe est de réutiliser deux sources d'expérience : les déploiements de la politique elle-même, qui enregistrent ses tentatives d'approche, et les corrections humaines, qui montrent comment récupérer après une erreur. Chaque segment d'actions (« action chunk ») est pondéré dans la fonction de perte supervisée native selon la progression vers la cible, la source de la trace et son résultat. Le framework entraîne une politique par réglage de pondération, puis retient celle qui obtient le meilleur score en validation. L'enjeu est pratique pour les intégrateurs du recyclage et du reconditionnement. Le démontage doit absorber la variabilité des produits, respecter des séquences de prérequis et approcher les composants avec précision pour une manipulation riche en contacts. Les données de démontage sont rares et coûteuses, et le SFT seul ne couvre pas les décalages de distribution liés à l'environnement ou à l'incertitude sur le produit. L'intérêt de PACER est de ne pas modifier la fonction de perte ni d'ajouter une phase d'apprentissage par renforcement : il repondère des données déjà collectées, ce qui limite le coût d'intégration. Le gain de 33 points est net, mais il reste à nuancer. Il provient d'un seul article, sur un seul bras, une seule famille de produits et une tâche limitée à l'approche et à la remise, sans démontage complet. La sélection finale sur validation conserve aussi la meilleure politique parmi plusieurs entraînées, ce qui peut flatter le chiffre. Aucune donnée n'est fournie dans le résumé sur les temps de cycle, le nombre de corrections nécessaires ni la robustesse face à des cartes inconnues. Ces travaux s'inscrivent dans la montée des politiques VLA affinées sur peu de démonstrations, comme Pi-0 ou GR00T, dont le point faible reste la généralisation hors distribution en environnement industriel. L'apprentissage à partir de corrections humaines, de type DAgger ou « human-in-the-loop », existait déjà, mais PACER y ajoute une pondération tenant compte du processus. La suite logique sera la validation sur des produits plus variés, des séquences complètes de démontage et un test hors laboratoire. À ce stade, il s'agit d'un résultat de recherche et non d'un produit déployé, et aucun partenaire industriel ni calendrier de pilote n'est annoncé.

Apprentissage collectif pour une manipulation robotique unifiée par adaptation prédictive de la dynamique

Des chercheurs proposent PACE, un cadre d'apprentissage collectif en deux étapes pour entraîner une politique unique de manipulation cartésienne, pilotée par l'état (et non par la vision), sur des robots aux morphologies différentes. Dans la première étape, une couche de représentation est pré-entraînée sur des trajectoires hors ligne pour extraire le contexte de la tâche à partir des données agrégées de plusieurs robots. Dans la seconde, une couche de décision est dotée d'un adaptateur de dynamique prédictive: on force l'état latent à prédire les transitions futures, ce qui ancre la politique dans le comportement réel du robot qui exécute l'action. L'inférence reste en temps réel, sans planification en ligne. En simulation, PACE atteint plus de 93 % de succès global et 89 % sur des robots simulés hors distribution dynamique, évalués en zero-shot. Les références restent nettement derrière: 82 % pour un Transformer en clonage comportemental et 66 % pour une politique de diffusion. Un déploiement sur un robot KUKA physique valide la faisabilité de la chaîne complète en transfert sim-to-real zero-shot. Le problème visé est concret pour quiconque veut mutualiser des données entre plusieurs bras robotiques. Une même commande cartésienne se traduit par des comportements de transition différents selon l'embodiment (cinématique, inerties, limites d'actionneurs). Une agrégation naïve moyenne alors des modes d'action incompatibles, d'où une ambiguïté de stratégie et un effondrement des performances sur les robots dont la dynamique s'écarte de la norme. Les résultats suggèrent que séparer l'intention dans l'espace de la tâche de la dynamique propre au robot peut limiter ce phénomène, ce qui intéresserait les intégrateurs gérant des parcs hétérogènes et voulant éviter un réentraînement par machine. Il faut toutefois rester prudent: les chiffres viennent essentiellement de simulation, la validation physique se limite à un seul robot KUKA, et le résumé ne donne ni nombre de tâches, ni cadence, ni taux de réussite en conditions réelles. Ce travail s'inscrit dans la course aux politiques généralistes multi-embodiments, portée par les modèles vision-langage-action comme Pi-0 ou GR00T, et par les approches de diffusion et de Transformers utilisées ici comme références. PACE prend un angle différent: une politique légère, basée sur l'état, centrée sur la robustesse face aux dynamiques atypiques plutôt que sur la généralité sémantique. Il s'agit d'une prépublication arXiv (v1), non évaluée par des pairs, sans produit ni pilote industriel annoncé. Les suites logiques seraient des tests sur davantage de robots physiques, l'intégration de la perception et une comparaison directe avec les grands modèles de fondation robotiques.

λ₀ : passage à l'échelle des données égocentriques humaines en milieu ouvert pour la loco-manipulation des robots humanoïdes

Une équipe de chercheurs publie λ0 (lambda-zéro), un modèle fondation pour la loco-manipulation de robots humanoïdes (manipulation combinée à la locomotion, corps entier), accompagné de HumanVerse, un jeu de données de 500 heures de vidéo égocentrique. Ces vidéos, tournées en environnements ouverts, sont synchronisées avec les mouvements du corps et des mains. Le pipeline aligne les points de vue de caméra et l'apparence des bras humains sur ceux du robot. Il affine ensuite hors ligne les références de mouvement et les entrées du contrôleur, afin de réduire les erreurs de l'effecteur terminal tout en préservant la coordination du corps entier. Les auteurs l'ont validé par un transfert zero-shot sur un Unitree G1, sur des tâches de manipulation corps entier et de loco-manipulation longue portée, sans aucune démonstration robot sur la tâche cible. Pour λ0, ces données humaines alignées servent de supervision en mi-entraînement. Le modèle atteint 90,0 % de réussite sur le benchmark SIMPLE et 62,5 % sur l'ensemble des tâches réelles de loco-manipulation. Les auteurs précisent que plus on ajoute de données humaines corps entier, plus la progression sur les tâches aval s'améliore. L'intérêt tient au coût de la donnée. Les démonstrations robot par téléopération restent chères et lentes à collecter, et ce goulot limite les modèles vision-langage-action (VLA) actuels. Les corpus humains égocentriques existants omettent souvent la locomotion et la posture, donc l'essentiel de ce qui distingue un humanoïde d'un bras monté sur une base fixe. Montrer qu'une supervision humaine corps entier se transfère, et que la performance croît avec le volume, plaide pour un régime de passage à l'échelle comparable à celui du texte et de l'image. Il faut toutefois lire les chiffres avec prudence. Un taux de 62,5 % en conditions réelles reste loin d'un seuil de déploiement industriel. Le détail des tâches, le nombre d'essais et la comparaison avec des modèles de référence ne figurent pas dans le résumé. Enfin, toutes les validations semblent reposer sur un seul robot, le G1, plateforme de recherche bon marché. Ce travail s'inscrit dans une tendance déjà visible chez les grands acteurs. Les modèles comme Pi-0 de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure misent sur des mélanges de données robot, de simulation et de vidéo humaine, et Tesla vise lui aussi l'apprentissage à partir de vidéos pour Optimus. La spécificité de λ0 est de coupler explicitement perception égocentrique, posture et locomotion, puis de corriger les écarts de morphologie par un traitement hors ligne. Il s'agit ici d'une publication de recherche (arXiv), sans produit ni déploiement commercial annoncé. Les prochaines étapes à surveiller sont la publication éventuelle des données et du code, la reproduction sur d'autres morphologies que le G1, et la confrontation à des tâches industrielles longues.

AdaRSI : auto-amélioration récursive à la demande pour les agents incarnés

Des chercheurs proposent AdaRSI, un cadre d'auto-amélioration récursive (RSI) « à la demande » pour agents incarnés, décrit dans un preprint arXiv (2610.20474). Le point de départ est connu: les modèles vision-langage-action (VLA) préentraînés échouent souvent en cours de route sur des tâches longues et inédites. Un agent de codage commence par améliorer les compétences et le « harnais » (le code qui orchestre l'exécuteur). Il attribue ensuite les échecs persistants en rejouant les sous-étapes défaillantes depuis des états sauvegardés. Il n'affine alors que les sous-étapes qui restent peu fiables, avec des démonstrations qu'il collecte lui-même et l'expérience accumulée sur les tâches précédentes. Testé sur les 50 tâches cibles de RoboCasa365, avec GR00T N1.5 comme exécuteur et sans aucune démonstration humaine, AdaRSI améliore le VLA sur les trois suites. Le taux de réussite sur les tâches composites inédites passe de 4,6 % à 13,8 %. Face à un affinage systématique de toutes les sous-étapes, il obtient un succès légèrement supérieur avec 28 % du temps GPU et 22 % des démonstrations auto-collectées. L'affinage sans harnais utilise davantage de données pour un gain bien moindre. L'intérêt tient à la question posée: à quel moment un système qui s'améliore seul doit-il toucher aux poids de son exécuteur? Les méthodes existantes tranchent par principe. Soit elles ne retouchent que le harnais et ne peuvent donc pas ajouter un mouvement manquant. Soit elles entraînent sur chaque échec sans distinguer un mauvais appel d'une vraie limite de capacité. Séparer ces deux causes réduit nettement le coût d'adaptation, ce qui compte pour tout intégrateur qui devrait spécialiser un VLA sur un site sans équipe de téléopération. Il faut toutefois relativiser. 13,8 % de réussite reste très bas pour un usage industriel. Le résultat est obtenu en simulation, sur un benchmark de cuisines domestiques, et rien n'indique encore un transfert vers le monde réel. Le gain en efficacité (28 % du GPU, 22 % des données) est en revanche le résultat le plus solide, car il est mesuré face à une base de comparaison directe. Le texte ne précise pas la variance entre tâches ni le coût de l'agent de codage lui-même. Ce travail s'inscrit dans la vague de l'auto-amélioration récursive appliquée à la robotique, qui transpose aux corps physiques ce que les agents de codage font déjà pour le logiciel. Il s'appuie sur GR00T N1.5, le modèle de fondation de NVIDIA pour humanoïdes, et sur RoboCasa, benchmark de manipulation domestique en simulation. Les approches concurrentes cherchent à réduire la dépendance aux démonstrations humaines, que ce soit par données synthétiques, apprentissage par renforcement ou boucles de correction autonomes. Il s'agit d'un preprint, sans revue par les pairs, et aucun code ni déploiement physique n'est annoncé dans le résumé. La suite logique serait une validation sur robot réel et sur des exécuteurs plus récents, comme GR00T N2 ou Pi-0, pour vérifier que l'attribution des échecs tient hors simulation.

Vers des robots à base d'agents : modèle, données, environnement et harnais

Une équipe de chercheurs publie sur arXiv (référence 2610.20442) une revue de littérature qui tente de structurer ce qu'elle appelle les « robots agentiques ». Le texte est un survol académique, sans nouveau robot, sans benchmark inédit ni déploiement chiffré. Il définit un robot agentique comme un système où un agent raisonne sur des instructions humaines, interagit avec son environnement, corrige seul ses erreurs d'exécution et ajuste dynamiquement sa stratégie. Les auteurs retracent d'abord le passage des politiques robotiques aux systèmes agentiques, en passant par les modèles vision-langage-action (VLA), les modèles du monde et les « world-action models ». Ils classent ensuite la littérature existante en dix-sept catégories, réparties sur quatre domaines fonctionnels : le modèle, la donnée, l'environnement et le « harness », c'est-à-dire la couche qui organise les capacités du robot pour son utilisation. Ils couvrent aussi la façon dont les agents orientent l'apprentissage et les décisions, collectent et curent les données robotiques, construisent mondes, tâches et tests pour l'entraînement et l'évaluation, et se terminent sur les défis ouverts. L'intérêt est surtout de cadrage. Les modèles de fondation ne se limitent plus à prédire des actions bas niveau : ils sont mobilisés pour piloter toute la chaîne, de la collecte de données à l'entraînement, à la planification et à l'exécution. Pour un intégrateur ou un décideur industriel, cela signale que la valeur se déplace du seul modèle de contrôle vers l'orchestration autour de lui : génération automatique de scénarios de simulation, curation des démonstrations, évaluation continue, reprise sur erreur. C'est aussi un aveu implicite : ces travaux sont aujourd'hui peu reliés entre eux, et les chercheurs n'ont pas de vision commune pour assembler ces fonctions en un système complet. Le survol ne prouve rien sur la fiabilité de ces approches en production. Il ne contredit ni ne confirme l'écart entre démonstration et réalité, et aucune métrique comparative n'est avancée dans le résumé. Ce travail s'inscrit dans la montée en puissance des VLA et des modèles du monde, popularisés par des acteurs comme Physical Intelligence avec Pi-0, NVIDIA avec GR00T ou Figure avec Helix, et dans la vague des agents à base de LLM issue du logiciel. La taxonomie en quatre domaines servira surtout de grille de lecture pour situer les prochains travaux, et le terme « agentique » reste en partie un label de positionnement dont la définition n'est pas encore stabilisée. Les auteurs annoncent une discussion des directions futures, sans calendrier ni pilote industriel. Le texte est une préversion (v1) non évaluée par les pairs, à lire comme une cartographie du champ et non comme une validation de ses résultats.

Adaptation de modèles vision-langage-action (VLA) à partir d'une seule démonstration vidéo humaine

CapPro, un cadre de travail décrit dans un preprint arXiv (2610.19746), permet à une politique VLA (vision-language-action, modèle qui traduit images et instructions en actions robotiques) préentraînée de s'adapter à une tâche de manipulation jamais vue à partir d'une seule vidéo de démonstration humaine. Le système repose sur deux modules. Le premier construit une représentation compacte de la vidéo par sélection apprise de tokens visuels, et apprend des représentations de requête liées à la tâche grâce à une supervision par légendes de phases. Le second injecte cette vidéo compacte et ces représentations dans le contexte de conditionnement d'action de la politique VLA, en préservant pour l'essentiel son générateur d'actions d'origine. Aucune démonstration robot sur la tâche cible ni aucun réglage fin spécifique n'est requis. Selon les auteurs, CapPro améliore la performance moyenne sur des groupes de tâches cibles inédites, tout en maintenant des résultats comparables sur les tâches sources. Le résumé ne fournit ni taux de succès chiffrés, ni nom du VLA de base, ni plateforme robotique. L'enjeu est celui du coût d'adaptation, l'un des principaux freins au déploiement des VLA. Aujourd'hui, faire exécuter une nouvelle tâche à un modèle généraliste suppose en général de collecter des démonstrations téléopérées puis de relancer un entraînement, deux postes coûteux en main-d'œuvre et en calcul. Remplacer cela par une vidéo filmée d'un opérateur humain, sans équipement robotique, rendrait la mise en service de nouvelles tâches bien plus accessible pour un intégrateur ou un industriel. Un point mérite attention: la vidéo sert de guide d'exécution et non de trajectoire à imiter, ce qui évite le problème d'alignement entre morphologie humaine et robotique. Il faut toutefois rester prudent. L'évaluation décrite concerne des groupes de tâches « inédits » dont la proximité avec l'entraînement n'est pas précisée, et un gain moyen peut masquer de fortes disparités selon les tâches. Aucun résultat en environnement industriel réel n'est mentionné. Ces travaux s'inscrivent dans la recherche sur l'adaptation des VLA, après la montée en puissance de modèles entraînés sur de vastes jeux de données robotiques, comme Pi-0, GR00T ou Helix, dont la généralisation hors distribution reste limitée. Des approches concurrentes exploitent déjà les vidéos humaines, soit en préentraînement, soit via le retargeting de trajectoires, soit par du fine-tuning léger. CapPro se distingue en visant l'adaptation à l'inférence, sans mise à jour des poids. Reste à voir si la méthode tient face à des tâches longues, des objets inconnus ou des vidéos prises dans des conditions imparfaites, et si le code et les benchmarks seront publiés pour permettre une reproduction indépendante.

ACRO : orchestration des déploiements d'acteur-critique

Des chercheurs proposent ACRO (Actor-Critic Rollout Orchestration), une couche d'orchestration qui décide, pour une politique VLA (vision-language-action) figée, quand poursuivre une tentative et quand intervenir. Un Critic, appris à partir de rollouts de la politique, estime les chances de succès. Il détermine le moment de l'intervention et choisit un point de reprise le long de la trajectoire déjà exécutée. Un mécanisme de « Trajectory Retraction » raccourcit le chemin parcouru pour ramener le robot à ce point, où le même VLA repart d'une observation fraîche. ACRO privilégie les reprises prometteuses, physiquement faisables et laissant assez de temps pour finir la tâche. L'évaluation porte sur GR00T N1.7 et π0.5, dans SimplerEnv, RoboCasa et en manipulation sur robot réel. À budget d'exécution physique identique, mouvements de retour compris, le taux de succès gagne 10,4, 7,3 et 21,7 points de pourcentage, respectivement. Le système réussit aussi davantage de tâches quand le budget augmente. Il s'agit d'un travail de recherche publié sur arXiv (2610.19677), sans produit ni déploiement industriel. L'intérêt tient à la méthode. L'amélioration ne vient ni d'un réentraînement ni d'un modèle plus grand, mais d'un contrôle de l'exécution autour d'une politique inchangée. Cela suggère qu'une part des échecs des VLA vient de trajectoires qui dérivent, pas d'un manque de compétence. Pour un intégrateur, cela ouvre une voie de fiabilisation compatible avec des modèles tiers. Le budget compte retours inclus, ce qui répond à une critique fréquente : ne pas masquer le coût réel des reprises en temps et en mouvement. Le gain le plus net, 21,7 points, vient du robot réel, mais le résumé ne donne ni le nombre de tâches ni le nombre d'essais, ni les taux de base. Sa robustesse statistique reste donc à vérifier. Les gains plus modestes en simulation rappellent aussi que l'écart entre benchmark et atelier n'est pas résolu. Le contexte est celui d'un secteur où les VLA généralistes, comme la famille GR00T de NVIDIA et la série π de Physical Intelligence, progressent surtout par des modèles et des données plus grands. En parallèle, une littérature sur le « test-time compute » et la récupération d'erreurs cherche à tirer plus de performance de politiques existantes. ACRO s'y inscrit en traitant la décision de reprise comme un problème de contrôle appris. Le Critic dépend toutefois de rollouts de la politique ciblée, et sa généralisation à d'autres tâches ou d'autres robots n'est pas démontrée. La page du projet est publiée. Les prochaines étapes à surveiller sont des tests sur des tâches longues et des manipulations moins réversibles, où revenir en arrière est plus coûteux ou impossible.

Coordi-pi : une représentation d'actions des deux mains tenant compte de la coordination pour la manipulation dextre bimanuelle

Des chercheurs proposent Coordi-π, une nouvelle représentation des actions pour les politiques VLA (vision-language-action) appliquées à la manipulation dextre bimanuelle, décrite dans un preprint arXiv (2610.19753). Les politiques bimanuelles existantes concatènent, à chaque pas de contrôle, les actions bras-main droite et gauche dans un seul vecteur, ce qui laisse les interactions entre les deux mains implicites. Coordi-π fait autrement. Chaque côté (bras plus main) devient un token d'action distinct, et les tokens sont organisés en une séquence entrelacée où les deux côtés apparaissent explicitement. Un embedding d'identité de main apprenable distingue la droite de la gauche. Un codage positionnel rotatif (RoPE) factorisé sépare la position dans la séquence du pas de contrôle. Les deux actions d'un même pas partagent ainsi une coordonnée temporelle, tout en gardant des positions distinctes dans la séquence. Sur les cinq tâches bimanuelles dextres du benchmark DexJoCo, Coordi-π dépasse π0.5, la référence de Physical Intelligence. Le taux de succès moyen passe de 31,9 % à 51,3 % en configuration rand-obj, et de 18,3 % à 32,3 % en configuration rand-full. Les auteurs annoncent aussi des résultats supérieurs à π0.5 sur quatre tâches réelles, sans en donner les chiffres dans le résumé. L'intérêt est d'abord méthodologique. La manipulation bimanuelle avec mains dextres multiplie les degrés de liberté, et le goulot d'étranglement n'est plus seulement la perception ou le langage, mais la façon dont la politique modélise la coordination entre les deux côtés. Ce travail suggère qu'un choix de structuration des actions, sans changement de backbone, peut apporter un gain notable. Il faut toutefois relativiser. Les taux de succès restent modestes en valeur absolue, autour de 51 % et 32 %, ce qui est loin d'un niveau exploitable en production. Les résultats sont obtenus en simulation sur un benchmark précis, et la version rand-full, plus difficile, montre que la généralisation reste fragile. Les essais réels ne sont pas chiffrés dans le résumé. Pour un intégrateur ou un décideur industriel, cela relève de la recherche, pas d'un produit livrable. Le contexte est celui de la course aux modèles VLA généralistes, où la famille π de Physical Intelligence sert de référence ouverte. Les acteurs de l'humanoïde développent des architectures concurrentes, comme Helix chez Figure ou GR00T chez NVIDIA, avec des mains à nombreux degrés de liberté. Le passage de la pince à la main dextre bimanuelle est l'un des verrous les plus cités. Les prochaines étapes à surveiller sont la publication des détails des essais réels, la disponibilité du code, et la reproduction des résultats sur d'autres benchmarks et matériels. C'est ce qui dira si la représentation entrelacée tient hors de DexJoCo.

Robota-Embed : des embeddings VLA unifiés pour l'apprentissage en contexte et l'évolution des robots

Des chercheurs présentent Robota-Embed, un modèle d'embedding vision-langage-action (VLA) qui encode conjointement la tâche, l'étape d'exécution et la suite attendue du mouvement, aussi bien dans les requêtes décrivant l'état courant que dans les continuations futures enregistrées. Un entraînement de type « prédictive retrieval » aligne ces deux extrémités, de sorte qu'une continuation historique peut servir de contexte à l'inférence. Le corpus compte 1 695 684 ancres d'entraînement nettoyées, issues de plusieurs sources. Le benchmark associé, Robota-Embed-Bench, comprend 4 000 requêtes et une galerie partagée de 8 000 entrées. Le modèle atteint 47,33 % de R@1 au niveau du clip et 81,77 % au niveau de l'épisode, soit 22,09 et 33,47 points de plus que Gemini Embedding 2, qui ignore les actions. Retirer l'action native dégrade davantage la recherche que retirer la vision. Deux applications sont testées. Embed2ICL conditionne une politique avec l'expérience récupérée, sans entraînement ou avec. Le taux de succès passe de 47,0 % à 56,3 % dans DROID-Sim et de 86,4 % à 92,8 % sur le sous-ensemble difficile de LIBERO. Les auteurs annoncent aussi une meilleure progression de tâche sur robots réels, sans donner de chiffres dans le résumé. Embed2Evolve utilise le retour d'exécution pour enrichir une mémoire propre à chaque tâche autour d'une politique GPT-6 Astra figée. Sur cinq tâches ManiSkill, il atteint 68 % de succès, contre 24 % pour GPT-6 Astra en usage direct et 33 % pour un harnais optimisé avec Omni-Embed-Nemotron-3B selon le même protocole. Face à ce dernier, il consomme environ 79,5 % de tokens de politique en moins par essai de test. L'intérêt tient à l'idée que l'action est le signal décisif pour retrouver une expérience utile. Les embeddings généralistes, centrés sur l'image et le texte, passent à côté de ce que le robot s'apprête à faire. Pour les intégrateurs, la perspective est de déployer des politiques généralistes figées et de les adapter par une mémoire locale, sans réentraînement. Cela réduirait le coût d'adaptation par site ou par tâche. La baisse de tokens compte aussi si un grand modèle pilote le robot, car elle touche la latence et le coût d'inférence. Il faut toutefois rester prudent. Le gain le plus net vient de ManiSkill, un environnement simulé avec seulement cinq tâches. Les progrès sur robots réels ne sont pas quantifiés ici. Les +9,3 points sur DROID-Sim et +6,4 sur LIBERO sont réels mais modestes. Un R@1 de 47 % au niveau du clip montre aussi que la récupération reste loin d'être résolue. Il s'agit d'un preprint arXiv (2610.19495v1) qui n'a pas été évalué par des pairs. Aucun déploiement industriel n'est annoncé. Ce travail s'inscrit dans la montée des modèles VLA, comme Pi-0, GR00T ou Helix, et dans l'essor de l'apprentissage en contexte pour la robotique. Jusqu'ici, la récupération d'expérience reposait surtout sur des embeddings multimodaux sans action, d'où la comparaison avec Gemini Embedding 2 et Omni-Embed-Nemotron-3B. Les auteurs se disent les premiers à encoder conjointement les trois modalités, une revendication qui reste à confirmer. La suite logique serait de tester l'approche sur des manipulations réelles à plus grande échelle et sur d'autres politiques que GPT-6 Astra. Il faudra aussi voir si les gains tiennent quand la mémoire s'agrandit et que les tâches se diversifient. Les auteurs ne mentionnent ni code ni jeux de données publics dans ce résumé.

Robot-WATCHDOG : détection des défaillances par une représentation en graphe centrée sur les objets

Robot-WATCHDOG, un cadre d'apprentissage auto-supervisé publié sur arXiv par une équipe liée au CEA-List, s'attaque à la détection d'échecs en temps réel pour les politiques robotiques apprises. Le système représente chaque scène de manipulation sous forme de graphe spatio-temporel centré sur les objets, puis propose deux scores de défaillance complémentaires. Le premier, TPC (Trajectory Projection and Correlation), est une mesure non paramétrique qui évalue l'écart géométrique par rapport aux trajectoires nominales ainsi que la cohérence relationnelle entre objets. Le second, GnnT, combine un réseau d'attention sur graphes (Graph Attention Network) et un Transformer pour prédire les états futurs des objets, l'écart entre prédiction et observation signalant l'anomalie. L'évaluation porte sur un benchmark public et sur un nouveau jeu de données de tâches sémantiquement complexes, avec six tâches et dix graines aléatoires. Les deux scores dépassent les détecteurs fondés sur l'image, surtout sur les erreurs sémantiques et d'interaction. TPC obtient les meilleurs résultats en AUPR et en coefficient de Matthews (MCC) sur les moyennes des deux jeux de données, avec une faible variance d'une graine à l'autre. Aucune valeur chiffrée n'est détaillée dans le résumé, et les résultats qualitatifs sont publiés sur une page dédiée. L'enjeu est très concret pour quiconque envisage de déployer des politiques de type VLA ou de l'apprentissage par imitation hors du laboratoire : on ne peut pas énumérer à l'avance tous les modes de défaillance d'un environnement ouvert, donc le détecteur doit être entraîné uniquement sur des démonstrations réussies. Le difficile compromis est de rester insensible aux variations bénignes (éclairage, position légèrement décalée, fond différent) tout en repérant les fautes qui comptent, comme un objet mal placé ou une interaction incorrecte. Les détecteurs fondés sur les pixels confondent souvent ces deux situations. En abstrayant la scène en objets et en relations, l'approche déplace le problème vers un espace plus robuste et plus interprétable. Le fait que le score non paramétrique TPC batte, en moyenne, le modèle appris GnnT est aussi un signal : un moniteur simple, stable et peu coûteux peut suffire, ce qui compte pour la certification et la supervision en production. Réserve toutefois : il s'agit de six tâches de manipulation en benchmark, sans validation annoncée sur des flottes industrielles, et la méthode suppose une perception fiable des objets en amont. Ce travail s'inscrit dans la montée en puissance des politiques généralistes (Pi-0, GR00T, Helix et consorts), dont les taux de réussite restent insuffisants pour des cadences industrielles sans surveillance. La détection d'échecs sans exemples d'échec, déjà explorée par des méthodes visuelles ou par des modèles de fondation utilisés comme juges, constitue donc une brique de sûreté de plus en plus demandée. La présence du CEA-List, laboratoire français d'ingénierie logicielle et de systèmes intelligents, donne à cette contribution une visibilité européenne notable, dans un secteur où la fiabilité est souvent un argument face aux acteurs américains et chinois. Les prochaines étapes naturelles seraient un test sur robot réel en ligne, l'intégration à une boucle de reprise ou de demande d'aide humaine, et une comparaison sur des benchmarks partagés avec les moniteurs adossés aux VLA.

RoboAug : d'une seule annotation à des centaines de scènes grâce à l'augmentation de données par contraste de régions pour la manipulation robotique

RoboAug est un cadre d'augmentation de données génératif pour l'apprentissage robotique, décrit dans un article arXiv (2602.14032, version 2). Son principe tient en une contrainte minimale : une seule image annotée de bounding boxes suffit pour construire le jeu de données. À partir de cette supervision réduite, le système s'appuie sur des modèles génératifs préentraînés pour produire des variations sémantiques précises de la scène. Il y ajoute une perte contrastive par région (région-contrastive loss), utilisable en plug-and-play, qui oriente l'attention de la politique vers les zones utiles à la tâche. Les auteurs ont testé la méthode sur trois plateformes physiques : le bras UR-5e d'Universal Robots, une plateforme AgileX et le robot humanoïde Tian Gong 2.0. Selon eux, RoboAug dépasse systématiquement les méthodes d'augmentation de l'état de l'art face à trois types de décalages : l'arrière-plan, les objets distracteurs et l'éclairage. Le résumé ne donne ni taux de réussite, ni nombre de tâches, ni nombre de démonstrations. Le titre évoque « des centaines de scènes » générées depuis une annotation, sans plus de détail dans le texte disponible. L'enjeu est la généralisation d'une politique d'imitation ou d'une politique vision-langage-action (VLA) à des environnements jamais vus, l'un des principaux freins au passage de la démonstration au déploiement. Deux voies dominent aujourd'hui. La première est le préentraînement à grande échelle, coûteux en collecte de données et en temps. La seconde est l'augmentation sémantique, qui suppose une détection d'objets sans faille en amont, hypothèse fragile en conditions réelles. RoboAug cherche à contourner ces deux obstacles, ce qui, si les résultats tiennent, ferait baisser le coût de préparation d'un nouveau site pour un intégrateur : une image annotée plutôt qu'une campagne de captures. Les validations sur trois robots de natures différentes, dont un humanoïde, sont un point positif. Quelques réserves s'imposent toutefois. Le résumé ne précise ni les tâches, ni la taille des échantillons d'essais, ni les baselines comparées. Les gains ne sont pas chiffrés, et la robustesse face à des changements de géométrie ou de pose des objets n'est pas évoquée. Il s'agit d'un résultat de laboratoire, non d'un déploiement industriel. Ce travail s'inscrit dans une lignée de méthodes qui utilisent des modèles de diffusion ou d'édition d'images pour multiplier les observations d'entraînement : ROSIE, GenAug ou, plus récemment, des pipelines qui s'appuient sur la segmentation pour isoler l'objet manipulé. Leur point faible commun est la dépendance à un détecteur fiable, que RoboAug dit relâcher. La concurrence passe aussi par les gros modèles fondation (Pi-0, GR00T, Helix), qui misent sur l'échelle des données plutôt que sur l'augmentation ciblée. L'usage de Tian Gong 2.0, plateforme humanoïde chinoise, confirme l'activité des laboratoires asiatiques sur ce sujet. La publication d'une page de projet (x-roboaug.github.io) devrait permettre d'examiner vidéos et protocoles. Les prochaines étapes à surveiller sont la publication de chiffres détaillés, le code ouvert et des tests sur des tâches plus longues ou plus dextres.

ARC : une méthode de raisonnement pour les modèles fondation en robotique

Des chercheurs proposent ARC, une méthode de raisonnement qui améliore sensiblement les performances « zero-shot » de modèles de fondation robotiques (RFM) existants, sans nouvelles démonstrations robot ni entraînement à grande échelle. Elle repose sur trois éléments. Le premier est une trace de raisonnement ancrée dans la prochaine action du robot, qui explique pourquoi l'action est appropriée et quel effet elle doit produire. Le deuxième est un pipeline d'étiquetage automatique, qui a permis de construire ARC-Trace-DROID à partir du jeu de données DROID existant, sans collecte de données robot supplémentaire. Le troisième est une stratégie d'adaptation propre à chaque architecture. Les auteurs l'appliquent au VLA π0.5 et au WAM (modèle d'action-monde) Cosmos3-Nano-Policy, avec un fine-tuning et une inférence ajustés à chacun. Les modèles adaptés établissent un nouvel état de l'art sur RoboLab-120 et MolmoSpaces, avec jusqu'à 50 points de pourcentage de gain sur RoboLab-Reasoning-50. Sur robots réels, le taux de succès de π0.5 progresse de 82,2 points de pourcentage. Ces résultats remettent en cause l'idée dominante selon laquelle la performance des RFM ne progresse qu'avec des modèles plus gros, davantage de démonstrations téléopérées et des budgets d'entraînement élevés. Si les chiffres tiennent, le raisonnement devient un levier complémentaire et bon marché pour les équipes qui disposent déjà d'un VLA, car il réutilise des données existantes au lieu d'en collecter de nouvelles. C'est un argument fort pour les intégrateurs et les décideurs B2B, pour qui le coût de la donnée robot reste le principal frein au passage à l'échelle. L'approche touche aussi un point faible des VLA actuels, leur faible généralisation à des tâches nouvelles décrites en langage. Quelques précautions s'imposent. Le gain de 82,2 points sur robots réels est mesuré sur la base de départ de π0.5, et l'article ne détaille pas ici le nombre de tâches, de plateformes ni d'essais. Le terme « sans précédent » vient des auteurs eux-mêmes. Le gain de 50 points concerne un benchmark de raisonnement conçu pour ce type d'évaluation, donc probablement favorable à la méthode. Enfin, on ne sait pas encore ce que la génération de traces ajoute en latence d'inférence, un paramètre décisif pour le contrôle en boucle fermée. ARC s'inscrit dans la tendance des VLA « avec raisonnement », qui font générer au modèle des étapes intermédiaires (sous-tâches, trajectoires, texte) avant d'agir. Elle prolonge les travaux autour de π0.5 de Physical Intelligence, entraîné sur de larges corpus hétérogènes, et du jeu de données DROID, devenu une base de référence en manipulation. L'usage d'un modèle d'action-monde comme Cosmos3-Nano-Policy, issu de l'écosystème Cosmos de NVIDIA, montre que la méthode vise plusieurs familles d'architectures et pas un seul modèle. Elle se positionne face aux approches qui misent sur l'échelle de données, comme GR00T chez NVIDIA ou Helix chez Figure. Il s'agit d'un travail académique publié sur arXiv (2610.12386v1), accompagné d'un site de projet. Il ne s'agit ni d'un produit ni d'un déploiement industriel. La suite logique serait une réplication indépendante, une évaluation sur d'autres robots et tâches longues, puis une mesure du coût en temps de calcul avant toute intégration dans des piles commerciales.

Les politiques robotiques compactes exigent des représentations visuelles fines

Des chercheurs proposent CoRP (Compressed Representation Policy), une politique de manipulation multi-tâches volontairement compacte: 48,9 millions de paramètres, sans modèle vision-langage ni prior génératif vidéo. Elle sépare un extracteur de représentation d'un générateur d'actions par flow matching. Elle atteint 97,0 % de réussite sur LIBERO et 75,78 % (Clean) et 73,36 % (Randomized) sur RoboTwin 2.0, soit des scores comparables à ceux de systèmes 40,9 à 163,6 fois plus gros. Il s'agit de résultats de benchmarks en simulation, publiés sous forme de préprint arXiv, sans déploiement réel annoncé. Les auteurs fixent ensuite le générateur d'actions et font varier une seule propriété de l'extracteur à la fois. Un ViT-S/14 initialisé aléatoirement tombe à 78,1 % sur LIBERO, un ResNet-34 pré-entraîné sur ImageNet à 74,5 %, et geler l'encodeur coûte 19,8 points. Rééchantillonner chaque vue à 48 tokens bat le passage de tous les tokens de patchs (97,0 % contre 83,2 %). Le résultat remet en cause une lecture courante du secteur: les gains des VLA (vision-language-action) viendraient surtout de l'échelle ou des priors génératifs. Faute de comparaisons contrôlées, les publications mélangent architecture, taille et pré-entraînement, et ne permettent pas d'isoler ce qui compte. Ici, la représentation visuelle serait le facteur dominant: pré-entraînée, adaptée à la tâche et compressée. Pour un intégrateur ou un décideur, la portée est pratique: une politique de moins de 50 M de paramètres peut tourner sur du matériel embarqué modeste, avec une latence et un coût d'inférence bien plus faibles que des modèles de plusieurs milliards de paramètres. Deux résultats nuancent toutefois cette idée. Un goulot d'information variationnel est pire qu'un budget dur de tokens: il fait chuter LIBERO-Goal de 95,8 % à 33,0 %, car il supprime la sélection de tokens dépendante de l'instruction. Le langage n'aide que si l'observation laisse le but ambigu (LIBERO-Goal passe de 9,2 % à 95,8 %), alors que sur RoboTwin 2.0 sa suppression améliore légèrement le succès. Ce travail s'inscrit dans la course aux grands VLA (Pi-0, GR00T, Helix, entre autres), qui misent sur des backbones vision-langage massifs ou des priors vidéo. CoRP défend la voie inverse, celle de la politique frugale, et ajoute un argument d'ablation à un débat encore ouvert. Les limites sont claires: LIBERO est déjà proche de la saturation, RoboTwin 2.0 reste simulé, et rien ne dit que ces conclusions tiennent sur des tâches longues, du matériel varié ou des environnements industriels non structurés. La suite logique est une validation sur robots réels et la comparaison avec des modèles de grande taille dans les mêmes conditions. Une page projet est disponible à l'adresse corp-policy.github.io.

Rapport technique : têtes d'action à dérive en une étape pour GR00T N1.7

Des chercheurs publient un rapport technique sur arXiv (2609.18108) décrivant une variante de GR00T N1.7, le modèle vision-langage-action (VLA) de NVIDIA pour la robotique, dans laquelle la tête d'action par diffusion itérative est remplacée par une tête dite "one-step drifting", complétée par une extension conditionnée au chevauchement pour le remplacement asynchrone de segments d'action. Tous les entraînements multi-graines ont tourné sur deux GPU NVIDIA A800. Sur le benchmark de simulation LIBERO, le temps de calcul de la seule tête d'action tombe d'environ 45,3 ms à 5,0 ms, et le temps combiné backbone plus tête passe d'environ 70,0 ms à 30,6 ms. Ce gain de vitesse s'accompagne toutefois d'une baisse systématique du taux de réussite des tâches : sur trois graines d'entraînement, les scores atteignent 64,0±4,0% sur LIBERO-Spatial, 52,0±1,0% sur LIBERO-Goal et seulement 26,0±2,6% sur LIBERO-Long. La faible variance entre graines indique que cette dégradation n'est pas due au hasard de l'initialisation. Pour l'industrie robotique, ce résultat documente noir sur blanc un compromis vitesse-précision que beaucoup de communiqués commerciaux passent sous silence. Fait notable, les auteurs eux-mêmes refusent de présenter ce travail comme une amélioration globale et le qualifient explicitement de compromis vitesse-réussite plutôt que de progrès. Pour les intégrateurs qui envisagent des têtes d'action à une seule étape pour réduire le coût d'inférence des politiques VLA en conditions temps réel, ce papier rappelle qu'accélérer le passage avant d'un modèle d'action ne garantit pas la préservation du comportement en boucle fermée, surtout sur les tâches longues comme LIBERO-Long où la chute est la plus marquée. C'est aussi un rappel que LIBERO reste une évaluation en simulation synchrone, incapable de mesurer l'apport réel de l'extension asynchrone conçue par l'équipe. GR00T N1.7 s'inscrit dans la lignée des modèles fondation de NVIDIA pour la robotique généraliste, dans un paysage VLA qui compte notamment Pi-0 de Physical Intelligence, Helix de Figure AI ou GR00T N2, génération suivante de la même famille. La tête de diffusion itérative visée par ce rapport est le composant qui pèse le plus lourd sur le temps d'inférence dans la plupart des VLA actuels, d'où l'intérêt croissant des laboratoires pour des architectures à une ou quelques étapes. Les auteurs avancent plusieurs pistes pour expliquer la dégradation observée : moyennage déterministe du mode en une seule étape, estimation de géométrie dépendante du batch, et exécution en boucle ouverte de segments d'action longs. Le rapport ne mentionne aucun pilote industriel ni déploiement réel : il s'agit d'un travail de recherche exploratoire évalué uniquement en simulation, dont la suite logique serait de tester l'extension asynchrone dans des conditions qui l'exercent réellement.

DropVLA : une attaque par porte dérobée au niveau des actions sur les modèles vision-langage-action

Des chercheurs présentent DropVLA, une attaque de type backdoor visant les modèles Vision-Language-Action (VLA), ces systèmes qui traduisent perception multimodale et instructions en langage naturel en commandes robotiques exécutables. Contrairement aux attaques précédentes qui perturbaient la tâche entière, DropVLA cible une action précise : forcer un primitive réutilisable (par exemple open_gripper) à s'exécuter à un instant choisi par l'attaquant, en n'empoisonnant qu'une fraction infime des données d'entraînement. Testée sur OpenVLA-7B avec la suite d'évaluation LIBERO, une contamination purement visuelle atteint un taux de réussite de l'attaque (ASR) de 98,67 à 99,83% avec seulement 0,31% d'épisodes empoisonnés, tout en conservant 98,50 à 99,17% de performance sur les tâches normales. L'action ciblée se déclenche en moins de 25 pas de contrôle à 500 Hz, soit 0,05 seconde. Les déclencheurs textuels seuls s'avèrent instables à faible budget d'empoisonnement (0,72% d'ASR) et leur combinaison avec le visuel n'apporte aucun gain constant. Les auteurs valident aussi la faisabilité en environnement physique sur un bras Franka à 7 degrés de liberté (DoF) piloté par pi0-fast, malgré la dérive du déclencheur dans le plan image due au mouvement relatif de la caméra. Ce résultat est significatif pour l'industrie robotique car il expose une vulnérabilité de sécurité critique dans une classe de modèles de plus en plus déployée comme couche de contrôle générique pour des bras manipulateurs et humanoïdes. Que le backdoor reste indétectable sur les métriques de performance nominale tout en atteignant une fiabilité proche de 100% avec une contamination minime remet en question la confiance accordée aux pipelines d'entraînement VLA, notamment quand les données proviennent de sources tierces ou de démonstrations crowdsourcées. Pour les intégrateurs et décideurs B2B qui envisagent de déployer des VLA sur des tâches physiques sensibles (préhension, assemblage, environnements partagés avec des humains), cela souligne l'urgence d'audits de la chaîne de données et de mécanismes de détection de déclencheurs avant mise en production, un sujet jusqu'ici largement éclipsé par les annonces de performance de modèles comme Pi-0, GR00T N2 ou Helix. Ce travail s'inscrit dans une littérature émergente sur les attaques adverses ciblant les modèles fondation robotiques, qui jusqu'ici se concentrait sur des attaques non ciblées ou un détournement au niveau de la tâche globale plutôt que sur le contrôle fin d'actions individuelles. La méthode s'appuie sur un schéma de réétiquetage cohérent par fenêtre temporelle, adapté au fine-tuning par blocs d'actions (chunked fine-tuning), dans un cadre réaliste où l'attaquant n'a qu'un accès limité à l'empoisonnement des données et traite le pipeline comme une boîte noire. Le backdoor résiste à des variations modérées du déclencheur et se transfère entre suites d'évaluation (96,27% et 99,09% d'ASR), renforçant l'idée qu'il exploite une faiblesse structurelle plutôt qu'un artefact spécifique au benchmark. Les auteurs ne mentionnent pas de contre-mesure déployée à ce stade, laissant la détection et la défense contre ce type d'attaque comme prochaine étape ouverte pour la communauté.

Humanoïdes : mouvement complet du corps et raisonnement multi-étapes avec Gemini Robotics 2

Google a présenté Gemini Robotics 2, un modèle conçu pour piloter des robots humanoïdes dans leur intégralité, marche, flexion, équilibre et manipulation d'objets inclus, avec la capacité de coordonner plusieurs machines et de s'adapter à différents corps robotiques après seulement quelques heures d'entraînement. Le système s'accompagne de deux modèles complémentaires, Gemini Robotics ER 2, dédié au raisonnement de haut niveau, et Gemini Robotics On-Device 2, exécuté localement sans connexion cloud. Lors des démonstrations, le modèle a piloté l'Apollo 2 d'Apptronik pour ramasser un arrosoir, traverser une pièce et le poser sur une étagère basse, et le même checkpoint a également fonctionné sur d'autres plateformes comme le Franka Duo. Google évoque aussi des gains de dextérité: les mains à cinq doigts d'Apollo 2 peuvent nouer un sac poubelle, refermer un sachet Ziploc ou dévisser une ampoule, tandis que sur des pinces industrielles à deux doigts le modèle réalise des insertions précises et de la manipulation d'outils. ER 2 est disponible via Google AI Studio et en prévisualisation privée sur la Gemini Enterprise Agent Platform, le modèle vision-langage-action et la version embarquée restant réservés à des partenaires en accès anticipé. Google a également introduit ASIMOV-Agentic, un benchmark de sécurité évaluant si un robot refuse une action dangereuse, détecte l'incertitude ou sollicite une aide humaine. Ce saut du pilotage de bras isolés au contrôle corporel complet est significatif pour l'industrie: la plupart des humanoïdes actuels restent limités à des tâches répétitives programmées, et la promesse d'un même modèle transférable d'une morphologie à l'autre avec moins de 200 exemples d'entraînement collectés en quelques heures s'attaque directement au problème du sim-to-real et du coût d'intégration, un point clé pour les industriels qui hésitent encore à déployer ces machines à grande échelle. Il faut toutefois noter que les métriques avancées, plusieurs minutes de tâches enchaînant des centaines de décisions, proviennent de démonstrations contrôlées et que le déploiement reste cantonné à des partenaires triés sur le volet: on est encore loin d'un produit généralisé sur le terrain. Cette annonce prolonge Gemini Robotics, lancé plus tôt dans l'année et limité à la manipulation sur table, en l'étendant au mouvement corporel complet. Elle intervient dans un paysage où Figure AI développe son propre modèle Helix, Tesla avance sur Optimus, Physical Intelligence mise sur Pi-0 et NVIDIA sur GR00T N2, chacun cherchant à imposer son architecture VLA comme standard pour les humanoïdes de nouvelle génération. Apptronik, partenaire de longue date de Google pour Apollo, reste pour l'instant le principal terrain de test visible de cette technologie, dont l'ouverture à d'autres intégrateurs dépendra des retours de ce programme d'accès anticipé.

Développer des politiques de robots humanoïdes de bout en bout avec NVIDIA Isaac GR00T

No fetch tool available here, and I don't have Bash/WebFetch in this session to pull the full article. The source text you pasted is only the article's opening teaser (repeated twice), with no actual facts, no specs, dates, deployment sites, or competitive details. Writing the requested 3-paragraph article would mean inventing numbers and claims that aren't in the source, which I won't do. Could you paste the full article text, or is there a way for me to fetch the URL directly?

NVIDIA lance Halos, un système de sécurité complet pour la robotique

NVIDIA a lancé Halos for Robotics, un système de sécurité à pile complète pour la robotique industrielle et l'IA physique. Premier intégrateur officiel : Agility Robotics, dont les humanoïdes opèrent en entrepôts et usines pour Amazon, GXO, Schaeffler et Toyota Motor Manufacturing Canada. L'architecture couvre trois couches : la plateforme de calcul NVIDIA IGX Thor avec le Holoscan Sensor Bridge pour la connectivité capteurs en temps réel ; Halos OS incluant Halos Core ; et le Outside-In Safety Blueprint, un programme open source disponible sur GitHub qui pilote le comportement du robot via des caméras externes et des agents IA. NVIDIA revendique 18 600 années-ingénieur de développement sécurité issus de son activité véhicule autonome. L'écosystème associe des partenaires logiciels (QNX, Amazon FreeRTOS, Acontis), fabricants de systèmes embarqués (Advantech, NexCobot), fournisseurs de semi-conducteurs (Infineon, NXP, SICK, STMicroelectronics, Texas Instruments) et organismes de certification (TÜV Rheinland, TÜV SÜD, UL Solutions, exida, SGS, CertX). Halos Core est déjà certifié ISO 26262 par TÜV SÜD. Le système est disponible en early access pour les développeurs enregistrés, en configurations Linux et Linux+QNX. L'enjeu de Halos est de répondre à un problème structurel : l'absence d'architecture de sécurité standardisée pour des robots autonomes opérant aux côtés de travailleurs. Les intégrateurs composaient jusqu'ici avec des solutions hétérogènes, ce qui complexifiait la certification et freinait le passage à l'échelle. En proposant une pile unifiée du silicium à la supervision logicielle, NVIDIA cherche à s'imposer comme substrat commun de la sécurité robotique industrielle. La certification ISO 26262 de Halos Core est un signal concret : NVIDIA transfère une base éprouvée du monde AV vers la robotique, ce qui pourrait raccourcir les cycles de validation pour les intégrateurs et réduire les coûts de certification tiers. NVIDIA construit depuis plusieurs années une position dans la robotique via les plateformes Isaac, Omniverse et les modèles de fondation GR00T N2. Halos complète cette stratégie d'infrastructure : vendre le substrat computationnel et logiciel, pas les robots eux-mêmes. Les concurrents directs incluent FORT Robotics dans les solutions de sécurité embarquée (qui figure d'ailleurs parmi les partenaires Halos), ainsi que les approches propriétaires de Boston Dynamics ou Fanuc. L'annonce reste un early access sans données publiques de déploiement à grande échelle avec Halos effectivement activé. Les prochaines inspections de certification de l'IGX Thor et du Holoscan Sensor Bridge par TÜV Rheinland constitueront le vrai indicateur de maturité opérationnelle du système.

Des milliards investis dans l'IA incarnée, mais le déploiement en usine reste hors de portée

Au premier semestre 2026, le secteur chinois de la robotique embodied AI a absorbé 46 milliards de yuans (environ 6,2 milliards d'euros) répartis sur 288 opérations de financement impliquant 226 entreprises, selon les données d'IT Juzi. La concentration est massive : les cinq premiers acteurs (Qianxun Intelligence, Xiwang Sunrise, Xinghaitu, Zibianliang Robot et Jijia Vision) ont capté 17,1 milliards de yuans, soit 37 % du total, et le top 20 emporte 70 % des fonds. Qianxun Intelligence seule a levé 4,5 milliards de yuans en quatre tours en quatre mois. Le profil des investisseurs change : les grandes rondes au-dessus du milliard de yuans sont désormais pilotées à plus de 40 % par des industriels et des entités publiques (Baidu, ByteDance, Xiaomi, Meituan, SAIC, fonds gouvernementaux), le capital d'État participant à 42 % des transactions à plusieurs centaines de millions. Ce flux d'argent masque un écart criant entre vitrine et déploiement réel. Le cas Daluo est emblématique : valorisée à plus de 20 milliards de yuans, ayant levé 5,4 milliards, la société n'a vendu que 1,4 million de yuans de produits sur les sept premiers mois de 2025 tout en enregistrant 84,25 millions de pertes nettes. La cause structurelle identifiée par le secteur est le manque de données d'interaction physique de qualité : on estime à 500 000 heures seulement le volume mondial de données réelles utilisables pour entraîner des robots, contre des milliards de tokens texte pour les LLM. Les réponses sont proportionnelles : Xinghaitu a lancé une campagne "un million d'heures" à Yizhuang, Qianxun Intelligence a déployé 300 000 points de collecte à l'échelle nationale, JD.com vise 10 millions d'heures sous deux ans. Les résultats restent modestes : un responsable algorithmique a reconnu que des dizaines de millions de yuans investis pour collecter 100 000 heures n'avaient amélioré la capacité des modèles que de 5 %. Le secteur reste en phase de recherche appliquée, loin d'une industrialisation. L'état de l'art interne, estimé sur 100 points par un praticien du domaine, place les bras industriels à 50, les châssis à roues à 40, les quadrupèdes à 30, les humanoïdes bipèdes à 15, les mains dextères à 5, et l'IA embarquée de support à 3. Les approches VLA (Vision-Language-Action) et World Model convergent techniquement mais sans consensus sur la feuille de route. Les acteurs occidentaux comme Figure (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2) font face aux mêmes verrous de sim-to-real et de données, mais le déploiement à l'échelle usine reste introuvable partout. Malgré l'étiquette "année de la production de masse" accolée à 2026, aucun robot polyvalent fiable ne s'est encore imposé commercialement dans des environnements industriels non contrôlés.

Humanoid Everyday : un jeu de données robotique complet pour la manipulation humanoïde en monde ouvert

Une équipe de recherche a publié sur arXiv (identifiant 2510.08807v2) Humanoid Everyday, un jeu de données massif dédié à l'apprentissage de la manipulation par les robots humanoïdes en conditions ouvertes. Le dataset compile 10 300 trajectoires et plus de 3 millions de frames couvrant 260 tâches réparties en 7 catégories larges : manipulation dextère d'objets, interaction humain-humanoïde, actions intégrant de la locomotion bipède, et d'autres scénarios du quotidien. Les données sont multimodales, RGB, profondeur, LiDAR, retour tactile, accompagnées d'annotations en langage naturel. La collecte repose sur un pipeline de télé-opération supervisée par des humains, optimisé pour maximiser le débit tout en maintenant la qualité des démonstrations. Les auteurs publient simultanément une plateforme d'évaluation cloud permettant à des équipes extérieures de déployer leurs propres politiques de contrôle et d'obtenir des métriques comparables dans un environnement standardisé. Ce dataset comble un vide structurel dans la recherche robotique : la quasi-totalité des benchmarks existants (Open X-Embodiment, DROID, BridgeData V2) ciblent des bras fixes, et les rares datasets humanoïdes disponibles se limitent à des environnements contrôlés, un faible nombre de tâches, et excluent généralement la locomotion et l'interaction avec des personnes. Pour un intégrateur ou un décideur industriel, la portée pratique est double : des données hétérogènes permettent d'entraîner des politiques plus généralisables, notamment des architectures VLA (vision-language-action) ; la plateforme d'évaluation cloud offre pour la première fois un cadre reproductible pour comparer des méthodes d'apprentissage par imitation ou par renforcement sur des tâches humanoïdes réalistes. L'article analyse aussi les performances de plusieurs politiques de référence, en identifiant leurs forces et limites par catégorie. La publication intervient dans un contexte de forte concurrence autour des données d'entraînement pour humanoïdes. Physical Intelligence (Pi-0, π0.5), NVIDIA (GR00T N2), Unitree et Figure AI misent chacun sur des datasets propriétaires pour différencier leurs politiques de contrôle. Côté recherche ouverte, AgiBot World et RH20T ont posé des jalons, mais restent limités dans leur couverture humanoïde. Humanoid Everyday est rendu entièrement public, dataset, code de collecte et plateforme d'évaluation inclus, ce qui en fait une ressource directement exploitable par des laboratoires et startups sans accès à des infrastructures de collecte massives. Les auteurs présentent cette release comme un socle pour de futurs agents incarnés généralistes, sans préciser d'échéancier pour des suites expérimentales.

💬 Le vrai sujet ici, c'est pas juste le volume (10 300 trajectoires, bon), c'est que les benchmarks humanoïdes existants ignoraient presque tous la locomotion et l'interaction avec des humains réels depuis le début. Des acteurs comme Pi-0 ou GR00T N2 misaient sur leurs données propriétaires comme avantage concurrentiel, et une release open-source de cette ampleur vient rogner ce levier directement. Reste à voir si ça tient face à des politiques entraînées en conditions réelles, mais pour des labos sans infrastructure de collecte massive, ça change le rapport de force.

Alibaba lance Qwen-Robot, sa première famille de modèles d'IA incarnée

Alibaba a publié mardi la suite Qwen-Robot, sa première famille de modèles d'IA incarnée, destinée à relier les grands modèles de langage à l'action robotique dans le monde physique. La suite comprend trois modèles : Qwen-RobotNav pour la navigation visuo-langagière, entraîné sur 15,6 millions d'échantillons en unifiant instruction following, navigation par cible et suivi d'objets ; Qwen-RobotManip pour la manipulation robotique via une architecture VLA (Visual Language Action) basée sur un backbone Qwen3.5-4B VL couplé à une tête de diffusion par flow matching, entraîné sur plus de 38 100 heures de données issues exclusivement de sources open source ; et Qwen-RobotWorld, un modèle de monde prédit des futurs physiquement cohérents pour la manipulation, la conduite et la navigation via une interface en langage naturel. La démonstration centrale met en scène un robot quadrupède Unitree Go2 sur hardware NVIDIA Jetson Thor, équipé d'une unique caméra basse résolution : sans cartographie préalable, il navigue dans un appartement inconnu en suivant des instructions verbales, avec une latence d'inférence de 196 millisecondes. Alibaba a également présenté Qwen-RobotClaw, un framework agent permettant aux modèles Qwen VLM d'appeler les outils Qwen-Robot pour gérer des tâches longues et la mémoire de contexte, et mis en open source Chat2Robot, une plateforme d'évaluation navigateur supportant Qwen-RobotManip sur 50 tâches via le dataset RoboTwin-Clean. Pour les intégrateurs et décideurs industriels, deux points méritent attention. L'entraînement de Qwen-RobotManip exclusivement sur des données open source est un choix architectural significatif : il abaisse les barrières de reproduction et contourne le verrou des données propriétaires qui bloque nombre d'acteurs du secteur. La latence de 196 ms sur Jetson Thor illustre la viabilité de l'inférence embarquée pour la navigation, même si cette performance a été mesurée dans un environnement contrôlé et non en production industrielle. La robustesse à grande échelle reste à démontrer : les vidéos présentées constituent une preuve de concept, pas un déploiement validé. L'architecture Qwen-RobotClaw adresserait un problème concret si elle tient ses promesses en production : la gestion de tâches multi-étapes sans reprogrammation manuelle, qui reste le verrou central de l'adoption robotique en environnements non structurés. Alibaba entre tardivement dans l'espace des modèles de fondation robotiques face à des acteurs déjà positionnés : Physical Intelligence (pi0, levée de 400 M$ en 2024), Figure AI (Figure 03, partenariat BMW), Google DeepMind et NVIDIA avec GR00T N2. En Chine, Unitree (fournisseur du Go2 de la démo), Zhiyuan Robot et Agibot développent leurs propres stacks logicielles embarquées. En Europe, Enchanted Tools et Pollen Robotics avancent sur des plateformes collaboratives, mais sans modèle VLA de cette envergure à ce stade. Les prochaines étapes annoncées incluent l'extension de Chat2Robot à de nouvelles plateformes et tâches robotiques, ainsi qu'une intégration commerciale potentielle via Alibaba Cloud.

SoK : Sécurité et vie privée des robots à base de modèles fondation

Une équipe de chercheurs a publié sur arXiv (référence 2606.16788) un article de type "Systematization of Knowledge" (SoK) qui dresse un panorama structuré des risques de sécurité et de confidentialité introduits par les modèles de fondation dans les systèmes robotiques. Le travail systématise 96 études antérieures et propose un cadre d'analyse à quatre couches baptisé F-E-S-G : la couche Modèle de fondation (F), la couche Système incarné (Embodied system, E), la couche Écosystème de support (S), et la couche Impact de gouvernance (G). À chaque couche correspond une taxonomie fine qui encode, pour chaque étude analysée, la cible visée, le stade du cycle de vie, le mécanisme d'attaque ou de défense, le niveau d'accès système requis, et les effets observés. L'intérêt de ce travail réside moins dans les vulnérabilités individuelles qu'il recense que dans les "defense mismatches" qu'il met en évidence : les mécanismes de robustesse conçus pour les modèles de langage ou de vision en contexte purement numérique ne s'appliquent pas directement à des pipelines d'exécution incarnés. Quand un robot piloté par un modèle VLA (Vision-Language-Action) interprète une instruction en langage naturel pour saisir un objet, une attaque adversariale ou une injection de prompt ne produit plus une réponse textuelle erronée mais un mouvement physique potentiellement dangereux. Pour un intégrateur industriel ou un COO déployant des flottes humanoïdes, cette propagation du risque à travers les quatre couches constitue un angle mort opérationnel que les grilles d'évaluation actuelles ne capturent pas. Le genre "SoK" est une convention bien établie dans la communauté sécurité, notamment via la conférence IEEE S&P, et signale une tentative de structurer un champ de recherche fragmenté. Cette publication arrive à un moment de transition dans la robotique commerciale : après des années de démos contrôlées, plusieurs acteurs (Figure, Apptronik, Unitree côté américain, Wandercraft et Enchanted Tools côté européen) engagent des déploiements en environnement réel avec des VLAs comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). L'absence de cadre normatif unifié, que ni l'EU AI Act ni les standards ISO robotiques actuels ne couvrent explicitement, donne à cette méta-analyse une pertinence directe pour les équipes réglementaires et les organismes de certification appelés à évaluer ces systèmes hybrides IA-robotique.

Sommet en robotique : un panel fait le point sur la conception des robots humanoïdes

Lors du Robotics Summit & Expo 2026, tenu à Boston au Thomas B. Menino Convention & Exhibition Center devant quelque 3 900 participants, un panel de haut niveau a fait le point sur l'état réel du développement des robots humanoïdes. Alberto Rodriguez, directeur du comportement robot pour Atlas chez Boston Dynamics, y a révélé que l'entreprise a engagé le déploiement de l'ordre de 25 000 humanoïdes Atlas dans des usines, avec un objectif de capacité de production portée à 30 000 unités par an d'ici 2028. Boston Dynamics a conduit une première démonstration en conditions réelles en usine en 2025, architecture entièrement pilotée par les données, puis a présenté Atlas au CES de janvier 2026 pendant une semaine complète. Pour 2026, la société prévoit un retour en usine pour une démonstration plus complète, de bout en bout, connectant le robot au système d'information de l'usine et gérant les exceptions opérationnelles. Du côté d'Agility, dont la marque commerciale s'est récemment stabilisée sous le nom Agility (ex-Agility Robotics), les déploiements du robot Digit avancent avec Amazon, GXO, Schaeffler, Toyota et Mercado Libre, marquant une sortie effective de la phase pilote. Ce que ce panel signale clairement pour les intégrateurs et décideurs industriels, c'est que le vrai verrou n'est plus mécanique ni même algorithmique, mais stratégique. Rodriguez a posé le problème avec précision : sauf pour de rares applications à très grand volume et très stable, presque tous les postes de travail sont des cas uniques. Le défi du passage à l'échelle repose sur trois axes simultanés, hardware, modèles de comportement, et stratégie d'intégration, et l'échec sur l'un suffit à rendre le déploiement économiquement non viable. La décision de Boston Dynamics de commencer par la logistique en manufacturing, un environnement qui exige de la généralité sans imposer encore les contraintes de timing et de sécurité de la ligne d'assemblage, illustre une approche pragmatique et graduée. Ces chiffres de déploiement engagés, 25 000 unités, sont une donnée de marché rare dans un secteur habitué aux annonces sans livraisons. Boston Dynamics, filiale de Hyundai depuis 2021, a traversé une longue période de recherche pure avant de commercialiser Atlas dans sa version électrique présentée en 2024, succédant aux plateformes hydrauliques historiques. Le marché des humanoïdes reste en pleine effervescence : Figure AI avec Figure 03, Tesla avec Optimus Gen 3 sur sa propre ligne de production, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, et des acteurs émergents comme 1X Technologies ou Apptronik positionnent tous leurs solutions sur des créneaux différents, de l'assemblage léger à la manutention lourde. Côté Europe, Enchanted Tools (France) et Wandercraft restent focalisés sur des niches spécifiques, assistance et rééducation, sans viser encore le marché industriel général. Les prochaines étapes à surveiller : la publication par ASTM International (représenté dans le panel par Aaron Prather) de standards de sécurité pour la cohabitation humains-humanoïdes, et les résultats concrets des déploiements Agility/Amazon, dont les métriques opérationnelles restent pour l'instant non publiques.

DuoBench : un benchmark reproductible pour la manipulation bimanuelles en simulation et dans le monde réel

Une équipe de chercheurs a publié en juin 2026 DuoBench, un cadre de benchmarking dédié à la manipulation bimanuelle, conçu pour la plateforme FR3 Duo de Franka Robotics. Le benchmark comprend onze tâches réparties en quatre catégories de coordination, implémentées en simulation et partiellement reproduites en environnement réel grâce à des protocoles reproductibles incluant des composants imprimables en 3D. Les auteurs ont constitué des jeux de données de télé-opération humaine pour l'ensemble des onze tâches, et proposent un schéma d'évaluation par étapes (stage-based evaluation) permettant une analyse sémantique fine des modes d'échec, au-delà du simple critère binaire succès/échec. Plusieurs politiques d'apprentissage par imitation à deux bras ainsi que des politiques VLA (vision-language-action) ont été évaluées en simulation et sur matériel réel. Les résultats sont sans ambiguïté : les politiques actuelles, y compris les approches VLA considérées comme l'état de l'art, restent insuffisantes pour la manipulation bimanuelle. Les échecs se concentrent sur trois axes : les phases d'interaction initiale, l'exécution parallèle des deux bras, et le transfert simulation-réel (sim-to-real). Ce dernier point est particulièrement significatif : malgré les progrès récents sur le gap sim-to-real pour la manipulation à un bras, DuoBench révèle que la coordination bimanuelle pose des défis supplémentaires non résolus. Pour les équipes R&D et les intégrateurs industriels, ce benchmark fournit un outil diagnostique structuré pour identifier précisément où les politiques échouent, une lacune que les frameworks existants comme RLBench ou LIBERO, conçus pour les systèmes à un seul bras, ne comblaient pas. La manipulation bimanuelle est un prérequis pour de nombreuses tâches complexes en industrie (assemblage, conditionnement, manipulation d'objets déformables), ce qui explique l'intérêt croissant du secteur pour les plateformes à deux bras. Le FR3 Duo de Franka Robotics est l'une des rares plateformes de recherche standardisées pour ce segment. Dans la course aux capacités bimanuelles, des acteurs comme Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, ou Figure AI avec ses robots humanoïdes ont annoncé des performances prometteuses, mais les benchmarks publics rigoureux permettant de les comparer restent rares. DuoBench, dont le code, les jeux de données et les vidéos sont disponibles sur duobench.github.io, ambitionne de combler ce manque avec un protocole reproductible que tout laboratoire peut répliquer à faible coût grâce aux assets imprimables en 3D.

NEURA Robotics lève jusqu'à 1,4 milliard de dollars en Série C pour son IA physique

NEURA Robotics GmbH, basée à Metzingen en Allemagne, a annoncé le 10 juin 2026 une levée de fonds de Série C pouvant atteindre 1,4 milliard de dollars, financée par un consortium d'investisseurs technologiques dont Tether, Qualcomm et Amazon. La startup, fondée en 2019 par David Reger, commercialise une gamme couvrant des bras robotiques légers, des robots mobiles (série MAV), des robots humanoïdes (modèle 4NE1) et un manipulateur mobile polyvalent baptisé MiPA, ciblant principalement la fabrication et la supply chain. Ce tour de table vient financer deux axes prioritaires : le développement de la plateforme "Neuraverse", décrite comme un écosystème ouvert d'IA physique permettant aux robots d'apprendre collectivement entre déploiements, et l'expansion d'un réseau mondial de "NEURA Gyms", des environnements d'entraînement à grande échelle combinant interaction sensorielle réelle, simulation et pipelines d'apprentissage multimodal. Il s'agit à ce stade d'une annonce de financement, pas d'un produit expédié ni d'un déploiement industriel documenté à grande échelle. Sur le fond, une levée de 1,4 milliard de dollars pour un acteur européen de la robotique humanoïde est un signal fort : les capitaux qui se concentraient jusqu'ici quasi exclusivement sur Figure AI, Agility Robotics, 1X ou Tesla Optimus commencent à irriguer des challengers hors Silicon Valley. Pour les intégrateurs et les décideurs industriels, la question concrète est celle du sim-to-real gap, que NEURA tente de réduire via son partenariat avec Dassault Systèmes annoncé en avril 2026. Le concept de Neuraverse, où plusieurs robots partagent une intelligence distribuée entre déploiements, s'inscrit dans une tendance plus large des architectures VLA (Vision-Language-Action) à l'échelle fleet, comme l'illustre Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. Les métriques de performance annoncées restent cependant absentes du communiqué, ce qui rend toute comparaison technique avec les concurrents impossible à ce stade. NEURA Robotics a bâti depuis 2019 un réseau de partenaires industriels structurant : Bosch pour le développement logiciel des humanoïdes (janvier 2026), Dassault Systèmes pour la simulation, mais aussi Schaeffler, Kawasaki, Delta Electronics, Qualcomm et NVIDIA pour l'infrastructure edge AI et les composants. Ce positionnement d'écosystème décentralisé tranche avec l'approche verticalement intégrée de Figure ou de Tesla. En Europe, NEURA est aujourd'hui l'acteur humanoïde le mieux capitalisé, loin devant des startups comme Enchanted Tools (France) ou Wandercraft, qui opèrent sur des segments différents (cobots expressifs et exosquelettes médicaux). Les prochaines étapes déclarées portent sur l'accélération du déploiement à l'échelle industrielle et l'ouverture de nouveaux NEURA Gyms à l'international, sans calendrier précis communiqué.

Exploration des robots à base de modèles fondation dans les soins aux patients et aux personnes âgées

Une équipe de chercheurs a publié en juin 2026 sur arXiv (référence 2606.10208) une analyse de synthèse portant sur l'intégration des modèles de fondation dans les robots de soin aux personnes âgées et aux patients. L'article, classé comme Perspective, passe en revue l'état de l'art sur trois axes : les caractéristiques de conception, l'expérience utilisateur mesurée, et les preuves d'impact sur les soins. Le constat central est que les architectures dominantes utilisent les modèles de fondation comme couche de conversation et de raisonnement au sein d'incarnations socioassistives centrées sur la voix, des agents qui parlent et écoutent mais dont l'autonomie physique et la compréhension multimodale restent fortement limitées. Les évaluations empiriques rapportent des bénéfices positifs en termes d'utilisabilité et d'engagement, mais des défaillances de fiabilité persistent : hallucinations, ruptures conversationnelles et pannes dans le pipeline d'interaction. L'enjeu pour les intégrateurs et décideurs du secteur santé est précisément là : les métriques actuellement rapportées portent sur des résultats proximaux comme l'engagement cognitif ou la participation, et non sur des indicateurs cliniques validés. Les robots sociaux conversationnels améliorent peut-être le ressenti ou l'interaction, mais aucun système décrit dans la littérature ne démontre d'impact mesurable sur des outcomes de santé standardisés. Cette lacune est critique pour tout déploiement en EHPAD ou à l'hôpital, où la responsabilité médicale exige traçabilité et supervision humaine explicite. Les auteurs soulignent que les benchmarks génériques importés du NLP ou de la robotique généraliste ne sont pas adaptés aux contraintes des environnements de soin. Le contexte est celui d'une accélération massive des modèles de fondation en robotique, de PaLM-E à Pi-0 de Physical Intelligence en passant par GR00T N2 de NVIDIA, qui creuse un écart croissant entre capacités techniques et readiness clinique. Du côté des plateformes établies, Pepper (SoftBank) et PARO (AIST, Japon) restent les références les plus documentées en milieu de soin. Des acteurs européens comme Enchanted Tools avec Mirokaï, ou des projets portés par l'Inria, s'inscrivent dans cette dynamique. Les auteurs appellent à une transition vers des standards d'évaluation spécifiques aux soins, une autonomie avec supervision humaine intégrée dès la conception, et une intégration réelle dans les flux de travail cliniques, trois conditions encore largement non remplies par les systèmes actuels.

Vulnérabilités des modèles vision-langage-action (VLA) face aux défauts physiques d'articulation

Des chercheurs ont publié le 10 juin 2026 (arXiv:2606.10501) une étude identifiant une vulnérabilité critique des modèles Vision-Language-Action (VLA) face aux défauts physiques articulaires. Ces modèles, qui traduisent instructions en langage naturel et observations visuelles en commandes motrices, équipent aujourd'hui les robots humanoïdes et manipulateurs les plus avancés. Les auteurs montrent que des failles réalistes, notamment dégradation d'actionneur, friction excessive due à l'usure, dommages de collision ou limites de sécurité restreintes, cassent la boucle fermée entre action commandée, mouvement réalisé et observation suivante, dégradant les taux de succès même pour des défauts physiquement « faisables ». L'impact varie selon l'articulation affectée, rendant toute mitigation générique difficile. En réponse, les auteurs proposent J-PARC (Joint-level Physical-fault Aware Residual Calibrator), un module léger ajouté au-dessus d'une politique VLA figée, qui infère un régime de défaut latent depuis la dynamique articulaire récente et applique une correction résiduelle adaptative sans modifier le modèle de base. Ce résultat comble un angle mort réel dans la validation des systèmes robotiques à base de VLA. L'effort de robustification s'est jusqu'ici concentré sur les variations perceptuelles et sémantiques : éclairage, occlusion, reformulation d'instructions. Or tout robot industriel accumule friction, chocs et dégradation d'actionneur au fil du temps. Montrer que ces perturbations physiquement réalisables suffisent à faire chuter les performances remet en cause l'hypothèse implicite qu'un VLA entraîné sur hardware neuf reste fiable tout au long de son cycle de vie opérationnel. Pour les intégrateurs et responsables de certification, c'est un signal fort : la robustesse mécanique doit entrer dans les critères de qualification aux côtés de la généralisation sémantique. L'approche J-PARC, sans fine-tuning ni capteur supplémentaire, offre une piste d'adaptation réaliste pour les déploiements existants. Les VLA ont connu une montée en puissance rapide depuis Pi-0 (Physical Intelligence, 2024) et GR00T N2 (NVIDIA, 2025), avec des déploiements annoncés chez Figure (modèle 03), Agility Robotics et 1X Technologies. Malgré leurs performances en laboratoire, leur comportement sur hardware vieillissant reste peu documenté dans la littérature. Ce papier s'inscrit dans une tendance croissante sur la fiabilité opérationnelle à long terme, aux côtés des travaux sur le sim-to-real gap. En Europe, des acteurs comme Enchanted Tools avec Mirokaï ou Wandercraft, où la dégradation articulaire est un enjeu quotidien en milieu médical ou logistique, sont directement concernés par ces résultats. Les prochaines étapes naturelles seront une validation sur hardware en vieillissement accéléré et l'intégration de J-PARC dans des pipelines de déploiement continu.

💬 On a tous fait cette hypothèse implicite : un VLA entraîné en labo reste fiable sur un robot qui a pris des coups après 18 mois en prod. Ce papier montre que non, et c'est un angle mort réel pour tous les intégrateurs qui déploient en milieu industriel ou médical. J-PARC corrige ça sans toucher au modèle de base, bon, reste à voir si ça tient sur du vrai hardware vieilli.

MIIT et SASAC lancent l'initiative 2026 d'entraînement des robots humanoïdes en conditions réelles

Le ministère chinois de l'Industrie et des Technologies de l'Information (MIIT) et la Commission de surveillance des actifs d'État (SASAC) ont publié conjointement, en juin 2026, un plan d'action national intitulé "Action spéciale pour la formation en scénarios réels des robots humanoïdes et de l'IA embodied". L'objectif affiché : d'ici fin 2026, les humanoïdes et leurs composants clés devront avoir achevé leur vérification applicative et basculer en "mode opérationnel" dans des environnements industriels, de services ou spécialisés. Le plan cible l'identification de plus de 100 scénarios à haute valeur et une capacité de déploiement à l'échelle de 10 000 unités. Les autorités provinciales sont tenues de sélectionner au moins 20 scénarios couvrant deux des trois domaines prioritaires ; les grandes entreprises centrales d'État doivent en identifier au moins 10 dans leurs secteurs respectifs. Le dispositif impose la création de consortiums d'innovation applicative regroupant utilisateurs finaux, fabricants, développeurs d'algorithmes et instituts de recherche. Ces consortiums devront produire des jeux de données d'IA embodied couvrant trajectoires de mouvement, courbes de contrôle force-position et séquences d'exécution de tâches, ainsi que des "packages de compétences" issus d'entraînements en conditions réelles. Des mécanismes de financement incluant equity, dette et assurance complètent le dispositif. Ce plan est la feuille de route gouvernementale la plus structurée publiée par Pékin sur l'industrialisation des humanoïdes, mais l'objectif de 10 000 unités déployées d'ici décembre 2026 est ambitieux, plusieurs observateurs le jugeant irréaliste compte tenu des délais habituels entre annonce politique et opérationnel réel. Ce qui est plus significatif, c'est la logique consortiale imposée : en forçant la coopération entre intégrateurs, fabricants et chercheurs autour de scénarios concrets, l'État tente d'accélérer le passage de la démo en laboratoire à l'usage en production. La prescription explicite de datasets couvrant les courbes force-position signale que Pékin cible directement le verrou du sim-to-real, encore non résolu à l'échelle industrielle. Pour un COO ou un intégrateur, cela signifie qu'un écosystème subventionné et doté d'obligations de résultat se structure en Chine avec des délais contractuels précis. Cette initiative prolonge la stratégie "Made in China 2025" et les plans successifs sur la robotique avancée. Les acteurs nationaux directement visés incluent Unitree (H1, G1), UBTECH (Walker S), Agibot et Fourier Intelligence, qui ont tous conduit des tests industriels en 2024-2025. Sur le plan international, la concurrence se structure autour de Figure AI (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0) et Nvidia (GR00T N2), tous revendiquant des déploiements pilotes en environnements réels. En Europe, Wandercraft et Enchanted Tools restent positionnés sur des segments distincts, l'exosquelette médical et la robotique de service, sans concurrence directe sur le créneau industriel visé par ce plan. Les prochaines étapes dépendront de la capacité des consortiums à produire des résultats mesurables avant l'échéance de fin 2026.

Ce que mesurent réellement les benchmarks en manipulation robotique

Un article de recherche déposé sur arXiv le 4 juin 2026 (arXiv:2606.04233) remet en cause la fiabilité de cinq benchmarks standards en manipulation robotique : LIBERO, CALVIN, SimplerEnv, RoboCasa et RoboTwin 2.0. Les auteurs identifient quatre modes de défaillance structurelle qui invalident leur usage comme proxy de la capacité de manipulation générale : résolution par raccourci (shortcut solvability), absence de significativité statistique, surapprentissage rampant (creeping overfitting) et dépendance à la source de données. Sur LIBERO, une sonde de 90 millions de paramètres, sans encodeur de langage, atteint des scores au niveau ou proches de l'état de l'art rapporté dans la littérature récente, ce qui suggère que les modèles exploitent des artefacts du benchmark plutôt que des compétences réelles. Sur CALVIN, la simple randomisation des positions des blocs dans la plage d'entraînement fait chuter les performances de toutes les politiques testées, révélant une généralisation quasi nulle même dans des conditions marginalement différentes. Ces résultats ont des implications directes pour les équipes qui évaluent des architectures VLA (Vision-Language-Action). Si LIBERO et CALVIN échouent à plusieurs diagnostics, les progrès revendiqués sur ces benchmarks ne constituent pas une preuve crédible de capacité de manipulation générale. La plupart des gains rapportés sur LIBERO ne sont pas statistiquement significatifs, ce qui signifie que de nombreuses publications revendiquent des améliorations qui pourraient n'être que du bruit. Pour les intégrateurs et les décideurs industriels, cela signifie que les scores de benchmarks courants ne sont pas des indicateurs fiables de la maturité réelle d'un système avant déploiement. Le problème n'est pas nouveau, mais il devient critique au moment où des VLA comme pi0 (Physical Intelligence), GR00T N2 (NVIDIA) ou OpenVLA sont massivement benchmarkés dans la littérature. RoboCasa et RoboTwin 2.0, moins fréquemment cités dans les claims de progression récents, résistent mieux aux diagnostics proposés et constituent des alternatives plus robustes pour mesurer des progrès réels. Les auteurs publient leurs quatre diagnostics avec des implémentations de référence sur ripl.github.io/manipulationbenchmarkaudit, à destination des chercheurs et des reviewers, pour application avant soumission ou acceptation. La prochaine question est de savoir si des conférences majeures comme CoRL, ICRA ou RSS adopteront ces outils comme critère d'évaluation des soumissions.

TRAP : détournement du raisonnement CoT dans les VLA par patches adversariaux

Des chercheurs ont publié sur arXiv (réf. 2603.23117) une attaque baptisée TRAP (Targeted Reasoning Adversarial Patch), démontrant pour la première fois qu'un patch adversarial physique peut détourner le comportement d'un robot manipulateur piloté par un modèle Vision-Language-Action (VLA) à raisonnement Chain-of-Thought (CoT). Dans les expériences présentées, un patch imprimé sur papier et déposé sur la surface de travail, tel qu'une nappe aux motifs spécifiques, suffit à faire en sorte que le robot remette un couteau à l'opérateur au lieu d'une pomme, sans qu'aucune modification de l'instruction utilisateur ne soit nécessaire. L'attaque a été validée sur trois VLA représentatifs intégrant des mécanismes CoT distincts, et mise en oeuvre en conditions réelles avec un simple imprimé papier. Ce résultat pointe une vulnérabilité structurelle dans les VLA à raisonnement intermédiaire, famille de modèles qui inclut notamment π0 de Physical Intelligence, OpenVLA-OFT ou les variantes de GR00T (NVIDIA) basées sur des CoT explicites. Les auteurs montrent empiriquement que le raisonnement CoT gouverne la génération d'actions de façon prépondérante, même lorsqu'il est sémantiquement incohérent avec l'instruction initiale : le modèle suit la chaîne de pensée corrompue plutôt que l'intention de l'utilisateur. Pour les intégrateurs déployant des bras robotisés en environnement ouvert, entrepôts, blocs opératoires ou assistance à domicile, cela signifie qu'un adversaire pourrait modifier le comportement du robot par simple altération visuelle de l'environnement, sans accès au modèle ni au flux de commandes, ce qui rend l'attaque particulièrement préoccupante en contexte de sécurité physique. Les VLA à raisonnement CoT ont émergé comme réponse aux limites des modèles action-réflexe classiques : le CoT améliore la généralisation et offre une trace d'interprétabilité utile pour la certification. TRAP montre que cette avancée introduit simultanément une surface d'attaque inédite. La recherche en sécurité des systèmes robotiques autonomes reste largement sous-investie par rapport à la sécurité des LLM textuels, et ce travail rejoint un corpus naissant incluant des attaques sur les politiques de diffusion et les modèles de perception. Aucun correctif ni benchmark défensif n'est proposé dans cette version ; les auteurs appellent à une sécurisation urgente des pipelines CoT dans les VLA avant tout déploiement à grande échelle dans des environnements critiques.

SilentDrift : exploiter le découpage en actions pour des attaques par porte dérobée furtives sur les modèles VLA

Des chercheurs en sécurité informatique ont publié sur arXiv (référence 2601.14323) une attaque baptisée SilentDrift, ciblant les modèles Vision-Language-Action (VLA) utilisés pour piloter des robots manipulateurs. L'attaque exploite deux mécanismes devenus standards dans les architectures VLA modernes : l'action chunking, qui consiste à générer des séquences de K actions d'un coup plutôt qu'action par action, et la représentation en delta de pose, qui encode chaque mouvement sous forme d'incrément relatif à la position précédente. Cette combinaison crée une boucle ouverte visuelle intra-chunk : une fois la séquence lancée, le robot l'exécute sans relire le flux caméra à chaque pas. Des perturbations imperceptibles à l'échelle d'un pas s'accumulent alors par intégration, déviant la trajectoire finale de manière significative. Sur le benchmark LIBERO, SilentDrift atteint un taux de succès d'attaque de 93,2 % avec un taux d'empoisonnement inférieur à 2 % des données d'entraînement, tout en maintenant un taux de réussite sur tâches propres de 95,3 %, rendant la backdoor pratiquement indétectable par les métriques standards. L'impact pour les intégrateurs et décideurs B2B est direct : les VLA comme pi-0 de Physical Intelligence, OpenVLA ou les variantes de RT-2 s'appuient précisément sur ces mécanismes d'action chunking pour obtenir des mouvements fluides et cohérents. Un attaquant ayant accès à une fraction marginale des données d'entraînement peut donc compromettre un système de manipulation robotique déployé en environnement industriel sans déclencher d'alarme sur les métriques de performance habituelles. Les trajectoires empoisonnées sont visuellement identiques aux démonstrations saines, ce qui invalide les audits visuels comme contrôle de qualité suffisant. La stratégie dite "keyframe attack" de SilentDrift cible spécifiquement la phase d'approche critique d'une saisie, maximisant l'effet de déviation tout en minimisant l'exposition du trigger. Ce travail s'inscrit dans un courant de recherche naissant sur la sécurité des modèles de fondation pour la robotique, un champ largement ignoré jusqu'ici face à l'effervescence autour des performances. Les VLA connaissent une adoption rapide depuis 2023, portée par des acteurs comme Physical Intelligence (pi-0), Google DeepMind (RT-2, GR00T N2 de Nvidia) et les laboratoires académiques via des benchmarks comme LIBERO ou Open-X Embodiment. SilentDrift est une attaque en boîte noire, ce qui signifie qu'elle ne nécessite pas d'accès au modèle entraîné, uniquement aux données. Les auteurs n'annoncent pas de contre-mesure, ouvrant un chantier de recherche défensive urgent à mesure que ces modèles approchent de déploiements réels dans la logistique et l'assemblage manufacturier.

NVIDIA dévoile une plateforme complète pour robots humanoïdes, robotaxis et usines intelligentes

Lors du GTC Taipei, NVIDIA a dévoilé une plateforme full-stack destinée aux robots humanoïdes, aux véhicules autonomes et à l'automatisation industrielle. Le cœur de l'annonce est Cosmos 3, un omnimodèle fondational open-source construit sur une architecture mixture-of-transformers, capable de traiter simultanément texte, images, vidéo, son et commandes d'action dans un seul système. Il se décline en Cosmos 3 Super, orienté haute précision pour la robotique et les véhicules autonomes, et Cosmos 3 Nano, optimisé pour l'inférence rapide. NVIDIA lance également l'Isaac GR00T Reference Humanoid Robot, un design de référence intégrant le robot Unitree H2 Plus, les mains articulées Sharpa, le calculateur embarqué Jetson Thor et la pile logicielle GR00T, adopté par Ai2, ETH Zurich, Stanford Robotics Center et UC San Diego. La collaboration avec TSMC porte les bibliothèques CUDA-X dans la fab pour la lithographie computationnelle, la simulation de transistors et l'inspection de plaquettes à l'échelle nanométrique. Alpamayo 2 Super, un modèle de raisonnement à 32 milliards de paramètres, cible quant à lui les applications robotaxi. La cohérence verticale de la plateforme est sa principale valeur ajoutée : NVIDIA prétend désormais couvrir l'intégralité de la chaîne de valeur de l'IA physique, de la génération de données synthétiques à la simulation, jusqu'au déploiement en production. Pour les équipes R&D en robotique humanoïde, GR00T Reference Robot réduit potentiellement plusieurs mois d'intégration hardware/software. Cosmos 3 s'attaque par ailleurs au sim-to-real gap en proposant un world model capable de générer des environnements d'entraînement réalistes, l'un des verrous structurels du secteur. Cela dit, les benchmarks avancés ("meilleur modèle ouvert" sur plusieurs évaluations) émanent de NVIDIA lui-même sans validation tierce, ce qui invite à une lecture prudente. L'intégration dans la fab TSMC est plus tangible : des gains d'efficacité mesurables dans la détection de défauts nanométriques signalent une adoption industrielle réelle, pas seulement un proof-of-concept. NVIDIA construit ce positionnement depuis plusieurs années via Isaac Sim, Omniverse et la famille GR00T N2 présentée en 2025. Sur le marché des humanoïdes, les concurrents directs incluent Figure (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0), Boston Dynamics (Atlas) et Agility Robotics (Digit). Le choix du robot Unitree H2 Plus, acteur chinois concurrent sur le segment humanoïde, comme base matérielle du design de référence NVIDIA est notable. En Europe, Enchanted Tools (Miroki, France) et Wandercraft pourraient tirer parti de Cosmos 3 pour la génération de données d'entraînement, même si aucun partenariat public n'a été annoncé. Les prochaines étapes incluent l'accès des institutions de recherche à GR00T Reference Robot et la disponibilité de Cosmos 3 via NVIDIA NGC ; aucune tarification ni date de commercialisation n'a été communiquée pour l'ensemble de la plateforme.

💬 NVIDIA ne vend plus du silicium, il vend une plateforme verticale, de la simulation jusqu'au robot en prod. Le détail qui m'a accroché : le choix d'Unitree, concurrent chinois direct, comme base matérielle du robot de référence GR00T. C'est soit du pragmatisme pur, soit une façon de dire que l'avantage NVIDIA est dans le software, pas le hardware.

Les 10 actualités robotique incontournables de mai 2026

Mai 2026 a concentré plusieurs avancées concrètes dans la robotique, mises en lumière lors du Robotics Summit & Expo de Boston qui a réuni des milliers de professionnels du secteur. Genesis AI a dévoilé GENE-26.5, un modèle d'IA qu'elle présente comme atteignant des "capacités de manipulation physique au niveau humain", une affirmation à relativiser en l'absence de benchmarks indépendants publiés. Dans le domaine des humanoïdes, 1X Technologies a lancé la production en série de son robot NEO dans une nouvelle usine à Hayward, en Californie, conçu pour fonctionner en dessous du niveau sonore d'un réfrigérateur moderne dans des espaces domestiques. La startup londonienne Humanoid a formalisé un partenariat avec Bosch et Schaeffler pour industrialiser sa production, après un proof of concept conjoint validé en mars 2026. Du côté des capteurs, Ouster a annoncé la famille REV8, basée sur sa puce L4 Ouster Silicon, avec une portée et une résolution doublées par rapport à la génération précédente, et un lidar couleur natif breveté. Automated Tire est sortie de la discrétion avec SmartBay, une plateforme robotique autonome pour le changement de pneus et l'inspection de véhicules, promettant de réduire le temps de service de moitié, soit environ 30 minutes par intervention. Ces actualités illustrent une bifurcation nette dans le secteur: d'un côté, des acteurs humanoïdes comme 1X passent de la démonstration à la production réelle, signal que le "reality gap" se réduit pour certains challengers; de l'autre, des verticaux industriels précis comme la maintenance automobile ou la manipulation dextère cherchent à démontrer un ROI mesurable à court terme. Le partenariat Humanoid-Bosch-Schaeffler est particulièrement notable car il intègre deux équipementiers automobiles de premier plan dans la chaîne d'approvisionnement des humanoïdes, anticipant un marché commercial proche. Hugging Face a également lancé une boîte à outils agentique pour son robot desktop open-source Reachy Mini, permettant de créer des applications fonctionnelles en moins d'une heure sans écrire de code, ce qui signale une démocratisation de la programmation robotique au-delà des équipes d'ingénieurs spécialisés. Le contexte est celui d'une course à la commercialisation qui s'accélère, avec Figure (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (pi0), Boston Dynamics et NVIDIA (GR00T N2) en embuscade sur le même marché des humanoïdes polyvalents. Pour structurer les comparaisons, le Fraunhofer IPA a publié un benchmark standardisé pour évaluer objectivement ces plateformes, une initiative qui faisait défaut jusqu'ici. Les RBR50 Innovation Awards 2026, qui fêtent leur 15e édition, ont dressé un panorama des leaders actuels, reflétant la diversité des approches: AMR, cobots, architectures VLA (Vision-Language-Action). Les prochains trimestres seront déterminants: les premiers bilans chiffrés des déploiements chez 1X et Humanoid constitueront des tests de réalité cruciaux avant d'éventuels nouveaux tours de financement.

Le robot humanoïde de NVIDIA embarque 2 070 téraflops de puissance « cérébrale » pour apprendre dans le monde réel

NVIDIA a dévoilé le 1er juin 2026, au GTC Taipei, l'Isaac GR00T Reference Humanoid Robot, un design de référence humanoïde open source associant le corps du Unitree H2 (1,80 m, 68 kg, 31 degrés de liberté) aux mains tactiles cinq doigts Sharpa Wave (44 DOF supplémentaires), soit 75 DOF au total. L'intelligence embarquée repose sur le module Jetson AGX Thor T5000, équipé d'un GPU Blackwell délivrant 2 070 téraflops en précision FP4, d'un CPU Arm 14 cœurs et de 128 Go de mémoire unifiée pour le traitement sensoriel en temps réel. Le robot supporte 120 N.m de couple aux bras, 360 N.m aux jambes et une charge utile de 15 kg, avec perception stéréo en tête, caméras montées aux poignets et centrale inertielle. La pile logicielle Isaac GR00T couvre tout le cycle de développement: Isaac Teleop pour la collecte de démonstrations humaines, Isaac Sim et Isaac Lab pour la simulation et l'entraînement, Isaac ROS pour le déploiement sur robot physique. Quatre institutions ont déjà rejoint l'initiative: Ai2, l'ETH Zurich, le Stanford Robotics Center et le laboratoire Advanced Robotics and Controls de l'UC San Diego. La compatibilité avec l'Unitree G1, très répandu en recherche, est également confirmée. La fragmentation du développement humanoïde constitue aujourd'hui l'un des freins majeurs à la recherche: hardware, environnements de simulation, modèles de fondation et middleware proviennent de sources hétérogènes, multipliant les frictions d'intégration. En proposant une pile unifiée et documentée, NVIDIA cherche à compresser le délai entre une nouvelle politique de contrôle et son test sur robot physique. Les 2 070 téraflops FP4 embarqués ne visent pas uniquement l'inférence: la puissance disponible cible l'apprentissage par renforcement en ligne et la collecte de données en situation réelle, deux leviers critiques pour combler le sim-to-real gap qui limite encore la majorité des VLA (Vision-Language-Action models). Steve Cousins, directeur exécutif du Stanford Robotics Center, a résumé la logique: "La robotique avance plus vite quand les chercheurs peuvent construire sur des plateformes ouvertes, partager du code et tester sur de vraies machines." NVIDIA avait posé les premières briques d'Isaac GR00T au GTC 2024 avec des modèles de fondation pour l'imitation et le transfert sim-to-real; l'annonce de Taipei franchit une étape différente avec un design de référence hardware-software complet. NVIDIA ne fabrique pas de robots mais joue explicitement la carte du fournisseur de plateforme, fournissant calcul, modèles et outils à l'ensemble de l'écosystème humanoïde: Figure (02), Tesla (Optimus Gen 3), Physical Intelligence (pi0), Boston Dynamics (Atlas Electric), et les acteurs européens comme Wandercraft ou Enchanted Tools, qui pourraient bénéficier de cette pile ouverte pour accélérer leur R&D. Le risque principal de cette stratégie est que les grands constructeurs, Tesla et Figure en tête, développent des piles entièrement propriétaires, réduisant la surface d'adoption. Les prochaines étapes documentées se limitent aux déploiements dans les quatre institutions partenaires, sans calendrier de commercialisation industrielle annoncé à ce stade.

Wall-OSS-0.5 : rapport technique

Une équipe de chercheurs a publié sur arXiv (2605.30877) le rapport technique de Wall-OSS-0.5, un modèle Vision-Language-Action (VLA) open source de 4 milliards de paramètres, construit sur un backbone VLM de 3B paramètres auquel sont greffés des composants de génération d'actions. Le modèle a été pré-entraîné sur plus de 20 morphologies robotiques différentes, en ingérant plus d'un million de trajectoires robot par époque, couplées à un corpus multimodal ancré. La recette d'entraînement repose sur un co-entraînement à gradient bridgé combinant trois objectifs complémentaires : prédiction d'actions discrètes pour faire circuler des gradients VLM forts dans le backbone, prédiction multimodale pour préserver la compréhension vision-langage, et flow matching continu comme interface d'action au moment du déploiement. Avant tout fine-tuning spécifique, le checkpoint pré-entraîné atteint des comportements zero-shot non triviaux sur un banc de 17 tâches réelles, y compris une tâche de manipulation d'objets déformables hors distribution. Après fine-tuning, il affiche 60,5% de progression moyenne sur 15 tâches réelles et surpasse Pi-0.5 de 17,5 points de pourcentage. Ce résultat repose la question fondamentale du pré-entraînement VLA : jusqu'ici, la quasi-totalité des preuves de performance étaient mesurées après fine-tuning, rendant impossible la distinction entre "le pré-entraînement forme une politique utilisable" et "le pré-entraînement fournit juste une meilleure initialisation". Wall-OSS-0.5 démontre que le checkpoint brut produit des comportements exécutables sur matériel physique, y compris sur des tâches jamais vues. Le fait que l'entraînement sur données d'action ne dégrade pas les capacités vision-langage générales est également significatif pour les intégrateurs : cela suggère qu'un seul modèle fondation peut couvrir perception, raisonnement et contrôle sans compromis majeur, ce qui simplifie l'architecture système. Wall-OSS-0.5 s'inscrit dans la dynamique des VLA fondationnels initiée par des modèles comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA. Sa publication open source le distingue dans un secteur dominé par des checkpoints propriétaires, et permet des comparaisons reproductibles. La performance zero-shot sur manipulation déformable est notable car ce type de tâche est réputé difficile à généraliser : c'est précisément le type de gap sim-to-real que les approches purement simulées peinent à combler. Les prochaines étapes probables incluent un scaling du corpus et des évaluations sur des plateformes humanoïdes commerciales, où la generalisation cross-embodiment du modèle pourra être testée en conditions industrielles.

💬 Le vrai truc ici, c'est pas les 60,5% sur le benchmark. C'est que le checkpoint pré-entraîné produit des comportements exécutables sur du vrai matériel, sans fine-tuning, y compris sur des tâches jamais vues. Et open source par-dessus le marché, dans un secteur où tout le monde garde jalousement ses poids pour soi.

Déploiement de pipelines VLA en atelier d'emballage industriel : étude de cas, flux de travail, échecs et enseignements

Des chercheurs associés à Siemens ont publié le 28 mai 2026 sur arXiv (2605.27461) une étude de déploiement industriel d'une politique VLA (Vision-Language-Action) dans l'usine Siemens GWE d'Erlangen, en Allemagne. La tâche ciblée est précisément définie : un bras robotique doit saisir un sachet d'accessoires transparent au sein d'un tas encombré, l'insérer dans la cavité restante d'un emballage carton, puis vérifier que le sachet et son contenu restent en dessous du plan de fermeture du carton. Le modèle de base utilisé est Pi0.5, la politique VLA de Physical Intelligence, affinée de manière itérative sur données terrain. L'équipe a accumulé 2535 épisodes d'entraînement, soit environ 10 heures de données collectées directement en conditions d'usine, via un pipeline cyclique comprenant collecte, curation, fine-tuning, évaluation et collecte de données de récupération ciblées. Ce qui rend cette publication notable, c'est son positionnement éditorial délibérément empirique : les auteurs ne communiquent pas sur un taux de succès global, mais documentent les modes de défaillances récurrents et les ajustements nécessaires à chaque cycle. C'est précisément ce type de retour d'expérience qui manque dans la littérature robotique, où les démonstrations sélectionnées occultent souvent le coût réel d'adaptation d'un modèle généraliste à une tâche industrielle spécifique. La gestion d'objets transparents, notoire pour tromper les systèmes de vision par profondeur, illustre ici les limites concrètes du sim-to-real et du transfert zero-shot. L'étude confirme que le fine-tuning dirigé par les échecs terrain, plutôt que la montée en données brutes, reste le levier dominant pour atteindre la fiabilité industrielle. Pi0.5 est le successeur de π0, lancé par Physical Intelligence (San Francisco) fin 2024, conçu comme politique généraliste pour la manipulation dextère. Son déploiement chez Siemens marque une étape significative dans la commercialisation B2B des VLA, un segment que se disputent actuellement Figure AI avec sa pile Helix, 1X Technologies avec NEO, et des initiatives internes comme GR00T N2 de NVIDIA ou les travaux de Boston Dynamics sur Atlas. Aucun acteur européen n'est directement impliqué dans ce déploiement, bien que Wandercraft et Enchanted Tools positionnent des produits complémentaires sur le segment français. La prochaine étape logique de ce type d'étude serait une généralisation multi-tâches ou multi-sites, mais les auteurs restent prudents : l'article conclut sur des leçons méthodologiques, non sur un déploiement à l'échelle.

L'open source commence à aider les robots à raisonner

Depuis deux ans, Hugging Face, Nvidia et Alibaba ont multiplié les publications open source dans la robotique cognitive, cherchant à résoudre ce qui était jusque-là le goulot d'étranglement du secteur : faire raisonner, décider et agir un robot. Nvidia a constitué une pile complète articulée autour de trois couches : Cosmos, des world models qui génèrent des données d'entraînement synthétiques et simulent des environnements physiques ; GR00T, des modèles permettant l'exécution de tâches complexes ; et Isaac, un ensemble de frameworks d'orchestration reliant entraînement, simulation et déploiement. Ces modèles sont hébergés sur Hugging Face. Ce mouvement s'inscrit dans une longue tradition : le Robot Operating System (ROS), lancé en 2007, a unifié le secteur en fournissant un framework standardisé au-dessus de Linux pour les fonctions fondamentales de la robotique, communication inter-composants, gestion du hardware, cartographie, planification de trajectoires. Avant ROS, chaque équipe réécrivait cette infrastructure de zéro, absorbant souvent une à deux années de travail avant de pouvoir conduire les recherches réelles. L'enjeu est structurant : si l'open source peut faire pour la cognition robotique ce qu'il a fait pour les LLMs, la barrière à l'entrée pour construire un robot capable pourrait chuter aussi vite qu'elle l'a fait pour les applications d'IA générative. Spencer Huang, directeur produit robotique chez Nvidia, note que la vision par ordinateur, autrefois coûteuse en expertise, se code aujourd'hui en quelques lignes. "Pour entrer dans la robotique, il ne faut plus nécessairement un doctorat", dit-il. La logique économique est explicite : fournir un modèle pré-entraîné de haute qualité que chaque acteur peut fine-tuner, plutôt que de demander à chacun de reprendre le pré-entraînement from scratch. Pour les intégrateurs et les décideurs industriels, cela se traduit concrètement par des cycles de développement raccourcis et une moindre dépendance aux profils rares. Le parallèle avec l'histoire de l'IA est tracé explicitement par Brian Gerkey, co-créateur de ROS, aujourd'hui Board Chair d'Open Robotics et CTO d'Intrinsic, l'unité robotique et IA de Google. La communauté IA a, dès ses débuts, partagé recherches, modèles et données en open source, et le domaine a progressé bien plus vite que presque tous les observateurs ne l'anticipaient. Les premières briques d'infrastructure open source pour la robotique remontent au milieu des années 1990, avec des projets comme le package Inter-Process Communication de Carnegie Mellon et le projet Player au début des années 2000, mais ces initiatives restaient fragmentées et liées à des groupes isolés. ROS a unifié la couche basse du secteur ; Nvidia, Hugging Face et Alibaba tentent aujourd'hui de reproduire cette unification pour la couche cognitive. Les outils de simulation sont désormais suffisamment précis pour être utiles à l'entraînement et accessibles hors des laboratoires spécialisés. La question qui demeure ouverte : ces modèles pré-entraînés tiendront-ils leurs promesses dans des déploiements industriels réels, au-delà des démonstrations contrôlées ?

Humanoid s'associe à Bosch et Schaeffler pour industrialiser la production de robots

La startup londonienne Humanoid, fondée en 2024 sous le nom SKL Robotics Ltd., a annoncé en mai 2026 deux partenariats industriels majeurs pour industrialiser son robot HMND 01 sur le marché européen. Le premier accord, conclu avec Robert Bosch GmbH (siège à Gerlingen, Allemagne), fait suite à un proof of concept réalisé en mars 2026 dans un entrepôt intralogistique Bosch à Bühl, en Allemagne : le HMND 01, un manipulateur mobile à roues doté d'un torse humanoïde, d'une tête et de deux bras, a transféré de manière autonome des cartons depuis un convoyeur vers des chariots, en gérant cinq formats de boîtes différents sur plusieurs hauteurs, empreintes au sol et masses. Le second accord, signé la semaine précédente avec Schaeffler Technologies AG, est décrit comme un contrat "contraignant et phasé" visant à intégrer les robots HMND dans des lignes de production réelles en Allemagne d'ici fin 2026. Humanoid qualifie ce déploiement de "l'un des plus importants rollouts de robots humanoïdes annoncés à ce jour", ce qui reste difficile à vérifier indépendamment faute de chiffres de volumes publiés. Ces deux partenariats signalent un changement de phase pour Humanoid : de la validation POC vers la fabrication en série et le déploiement industriel. Bosch endosse le rôle de sous-traitant industriel (contract manufacturer) et apportera son infrastructure de production mondiale, sa chaîne d'approvisionnement et son expertise en DfX (design for excellence), un cadre méthodologique couvrant la fabricabilité, la fiabilité, la maintenabilité et l'optimisation des coûts. L'orchestration des tâches repose sur KinetIQ, le framework IA propriétaire d'Humanoid. Pour un COO ou un directeur industriel, l'intérêt concret est double : un robot conçu pour les espaces humano-centriques (convoyeurs, chariots, manipulation multi-format) testé en conditions réelles, et un partenaire de fabrication capable de passer rapidement du prototype au volume. La mention d'une future intégration de composants Bosch (actionneurs, variateurs, capteurs) dans les prochaines versions du HMND ouvre aussi une trajectoire de co-développement hardware. Humanoid s'est constitué rapidement un réseau de partenaires industriels de premier rang : outre Bosch et Schaeffler, la société avait annoncé le mois précédent un accord avec Siemens. Ce positionnement agressif intervient dans un contexte de consolidation du marché humanoïde industriel, où Figure AI (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (pi0), NVIDIA (GR00T N2) et 1X Technologies se disputent les premiers déploiements à l'échelle. Humanoid mise sur une stratégie de distribution européenne différenciée, en s'appuyant sur l'écosystème industriel allemand plutôt que sur une intégration verticale américaine. La prochaine étape visible sera la mise en service effective des premiers systèmes chez Schaeffler avant la fin de l'année 2026, date qui permettra de valider si le saut du POC au déploiement réel est aussi rapide que le suggèrent les annonces.

FANUC et NVIDIA développent des robots au comportement identique en simulation et en réalité

FANUC, le géant japonais de la robotique industrielle, et NVIDIA ont annoncé en mai 2026 une extension significative de leur partenariat visant à éliminer l'écart entre simulation et déploiement réel en usine. L'intégration technique combine NVIDIA Isaac Sim avec le logiciel de simulation propriétaire de FANUC, ROBOGUIDE, pour créer des jumeaux numériques où les robots virtuels reproduisent exactement les mêmes trajectoires et temps de cycle que leurs homologues physiques, en s'appuyant sur des algorithmes de contrôle identiques. Deux modes de fonctionnement sont proposés : dans le premier, Isaac Sim orchestre l'environnement virtuel tandis que ROBOGUIDE synchronise les comportements en arrière-plan, avec support des pupitres de programmation physiques et virtuels. Dans le second, ROBOGUIDE prend la main pendant que le moteur physique PhysX de NVIDIA gère la simulation, notamment pour des tâches comme le bin picking, où le robot doit identifier et saisir des pièces empilées en vrac. En parallèle, FANUC a présenté un système bi-bras composé de deux robots collaboratifs CRX capables de plier des T-shirts en temps réel, entraînés par imitation learning via le modèle de fondation robotique Isaac GR00T N de NVIDIA. La plateforme Jetson Thor équipe désormais le robot d'évitement humain de FANUC, avec une puissance de calcul multipliée par 7,5 par rapport à l'ancienne génération Jetson AGX Orin. L'enjeu industriel est direct : le problème du sim-to-real gap coûte des semaines de recalibration sur site à chaque nouveau déploiement. Si FANUC et NVIDIA tiennent leur promesse d'une fidélité totale entre simulation et réalité, les intégrateurs pourraient valider des cellules complètes en virtuel avant même d'avoir commandé les équipements physiques, compressant drastiquement les timelines de mise en production. La démonstration du pliage de textile est également notable : les objets déformables restent l'un des angles morts historiques de la robotique industrielle, et un système capable de gérer le linge en temps réel avec retour visuel ouvre des perspectives concrètes pour la logistique e-commerce et le textile. Le chiffre de 7,5x de gain en calcul sur Jetson Thor est cohérent avec les besoins croissants des pipelines vision-action (VLA) embarqués. Il convient toutefois de noter que les démonstrations présentées, notamment le pliage de T-shirts, restent des prototypes de laboratoire : aucun déploiement en production à grande échelle n'est annoncé à ce stade. FANUC avait une première fois montré cette intégration Isaac Sim / ROBOGUIDE à l'International Robot Exhibition de Tokyo fin 2024, mais la version actuelle approfondit substantiellement la communication entre les deux systèmes. FANUC, avec plus de 700 000 robots installés dans le monde, est l'un des rares acteurs à pouvoir valider ce type d'approche à l'échelle industrielle réelle plutôt qu'en conditions de laboratoire. Sur le terrain concurrentiel, cette initiative s'inscrit dans une course directe avec ABB et son partenariat Isaac Sim, ainsi qu'avec KUKA et Universal Robots qui développent leurs propres pipelines de simulation physique. NVIDIA, de son côté, consolide Isaac comme couche d'abstraction standard pour la simulation robotique industrielle, une position stratégique face à des alternatives open-source comme Gazebo ou MuJoCo. Les technologies seront présentées en conditions réelles lors de l'Open House FANUC prévu en mai 2026, premier test public de la robustesse de l'intégration hors cadre contrôlé.

TAVIS : un benchmark pour la vision active égocentrique et le regard anticipateur en apprentissage par imitation

Une équipe de chercheurs a publié TAVIS, un environnement d'évaluation standardisé pour comparer les approches de vision active en apprentissage par imitation, soit la capacité d'une politique robotique à contrôler son propre regard pendant une tâche de manipulation. Le benchmark comprend deux suites : TAVIS-Head (5 tâches avec caméra sur cardan pan/tilt pour la recherche globale de scène) et TAVIS-Hands (3 tâches avec caméras de poignet pour gérer les occlusions locales). Il est construit sur IsaacLab et s'appuie sur deux embodiments de torse humanoïde : le GR1T2 de Fourier Intelligence et le Reachy2 de Pollen Robotics (Bordeaux). Environ 2 200 épisodes de démonstrations téléopérées sont publiés en format LeRobot v3.0 sur HuggingFace, avec Diffusion Policy et π₀ (Physical Intelligence) comme baselines. Trois résultats principaux ressortent : la vision active améliore les performances, mais de façon conditionnelle à la tâche ; les politiques multi-tâches se dégradent nettement sous distribution shift contrôlé ; et l'imitation seule produit un regard anticipatoire dont les temps de préemption médians, mesurés par la métrique GALT (Gaze-Action Lead Time), sont comparables à ceux du téléopérateur humain de référence. Jusqu'ici, plusieurs groupes avaient démontré indépendamment les bénéfices de la vision active en 2024-2025, sans base commune de comparaison. TAVIS comble ce vide avec trois primitives reproductibles : un protocole comparatif caméra mobile/caméra fixe sur des démonstrations identiques, la métrique GALT issue des sciences cognitives et de l'HRI (Human-Robot Interaction), et des splits procéduraux in-distribution/out-of-distribution. Le constat que les gains sont task-conditional invalide l'hypothèse naïve qu'ajouter des degrés de liberté à la caméra améliore systématiquement les performances, nuance décisive pour les intégrateurs industriels. La fragilité sous distribution shift constitue un signal d'alarme concret pour tout déploiement hors simulation. La vision active en manipulation connaît un regain d'intérêt depuis 2024, porté par les progrès des VLA (Vision-Language-Action models) et la disponibilisation de robots humanoïdes à têtes articulées. Le choix de Reachy2 comme plateforme de référence est notable : Pollen Robotics, startup bordelaise fondée en 2016, est l'un des rares acteurs européens dont le robot open-source figure dans des benchmarks académiques internationaux, face aux concurrents américains (Figure, Agility) et asiatiques (Fourier, Unitree). Les prochaines étapes naturelles incluent l'évaluation de politiques VLA récentes comme GR00T N2 ou OpenVLA sur TAVIS, ainsi que le transfert sim-to-real, que le papier ne couvre pas encore.

Genesis AI publie GENE-26.5 : un robot humanoïde réussit enfin à préparer des œufs brouillés à la tomate

La startup française Genesis AI a publié les premières démonstrations de GENE-26.5, son premier système de modèle de fondation pour robot humanoïde. Les vidéos montrent le robot casser des œufs d'une seule main, couper des tomates en mode bimanuel, préparer des smoothies, effectuer du pipetage, résoudre un Rubik's cube et saisir simultanément quatre objets de tailles différentes entre ses doigts. Le démo central est une tâche de cuisine de 4 minutes décomposée en plus de 20 sous-tâches : casser un œuf, trancher des tomates, manier un fouet, un couteau, une spatule et une poêle. Un détail révélateur : pour transférer les tomates coupées, le robot utilise le dos du couteau et la planche à découper comme appui, une coordination bimanuelles typiquement humaine. Genesis AI déclare des taux de réussite de 90 à 95 % sur la plupart des étapes, mais seulement 50-60 % pour les deux plus délicates (cassage d'œuf d'une main, transfert avec le dos du couteau) -- un niveau d'honnêteté inhabituel dans les communications de ce secteur. La vitesse d'exécution atteint 60-70 % de celle d'un humain. La main dextère est fournie par Dance Muscle (舞肌科技) ; les deux entreprises co-conçoivent une prochaine génération ciblant le format 1:1 main humaine avec 20 degrés de liberté actifs et back-drivables. La portée de GENE-26.5 dépasse les performances brutes des démos. Les tâches domestiques exigent une adaptation en temps réel à des objets imprévisibles et à des états de contact changeants, sans trajectoire pré-programmée, ce qui les rend parmi les problèmes de manipulation les plus difficiles à généraliser en robotique. La recette de données de Genesis combine trois sources : données de gant (mouvements fins et signaux tactiles haute fidélité), vidéo en première et troisième personne, pour un total annoncé de plus de 200 000 heures de données cross-modales collectées avec des partenaires. La simulation Genesis, moteur physique open-source développé en parallèle par l'entreprise, assure l'évaluation en boucle fermée et accélère les itérations. Ce pipeline (préentraînement massif sur données humaines, adaptation sur peu de données robot, évaluation en simulation) ressemble structurellement au paradigme qui a transformé le NLP vers les LLMs, et constitue un signal fort pour les intégrateurs et les décideurs industriels : le sim-to-real gap sur la manipulation dextère commence peut-être à se réduire sérieusement. Genesis AI a été fondée début 2025 et a levé 105 millions de dollars en seed round, l'un des plus importants jamais réalisés en France dans la robotique. Parmi les investisseurs figurent Eric Schmidt (ancien PDG de Google), Xavier Niel et Bpifrance. Le CEO Zhou Xian est titulaire d'un doctorat du Carnegie Mellon University Robotics Institute, ce qui ancre l'entreprise dans la tradition académique américaine malgré son origine française. Dans une course humanoïde particulièrement dense qui comprend Figure AI (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0) et NVIDIA (GR00T N2), Genesis se distingue par son pari sur la donnée humaine à grande échelle et la simulation comme levier de généralisation, en opposition aux approches centrées sur la téléopération robot. GENE-26.5 reste toutefois au stade de démo laboratoire : aucun pilote industriel ni calendrier de déploiement n'a été annoncé à ce stade.

Galbot lance LDA-1B, un modèle du monde-action en open source

Galbot a publié LDA-1B, un modèle fondation monde-action cross-embodiment de 1,6 milliard de paramètres, construit sur son architecture propriétaire WAM (World-Action Model). Ce modèle unifie modèles de monde et modèles d'action au niveau des données, permettant un apprentissage conjoint sur données de simulation et données réelles, données humaines et robotiques, ainsi que sur jeux de données d'action labellisés et non labellisés. LDA-1B peut s'adapter à différentes morphologies de robots après seulement une heure de post-entraînement, selon Galbot. À mesure que le volume de données d'entraînement est passé de 5 000 à 30 000 heures, l'erreur de prédiction d'action a diminué de façon continue, démontrant un comportement de scaling cohérent. La recherche a été acceptée à RSS 2026 et le code source est désormais public. Le modèle est intégré dans AstraBrain et AstraData, l'infrastructure de déploiement de Galbot, couvrant la logistique industrielle, les tâches domestiques et les scénarios retail. En avril 2026, la société est l'entreprise d'IA incarnée non cotée la mieux valorisée en Chine, avec une valorisation dépassant 20 milliards de yuans (2,8 milliards de dollars). Plusieurs points méritent attention. La capacité d'adaptation cross-embodiment en une heure de fine-tuning est une affirmation forte, mais elle reste à valider hors démonstrations contrôlées. Le comportement de scaling confirmé entre 5 000 et 30 000 heures de données est un signal positif pour les VLA (Vision-Language-Action models) à grande échelle, suggérant que les lois d'échelle s'appliquent à l'action robotique de façon analogue aux LLM textuels. L'open-source du codebase réduit la barrière d'entrée pour les intégrateurs souhaitant expérimenter sans infrastructure propriétaire, et positionne Galbot comme fournisseur d'infrastructure fondationale, pas seulement constructeur de robots. Galbot est une startup spécialisée dans les robots humanoïdes et l'IA incarnée. LDA-1B entre en compétition directe avec pi0 de Physical Intelligence, GR00T N2 de NVIDIA, et les approches internes de Figure AI et Agility Robotics côté américain. En Chine, la société rivalise avec Unitree et UBTECH sur le terrain humanoïde. L'acceptation à RSS 2026 lui confère une légitimité académique rare dans ce secteur encore dominé par les communiqués marketing. Les prochaines étapes probables incluent des pilotes industriels en logistique et retail, et une expansion internationale que la valorisation de 2,8 milliards de dollars rend plausible.

💬 Le comportement de scaling sur les données robotiques, c'est le vrai signal ici, pas le chiffre de valorisation. Que les lois d'échelle s'appliquent à l'action physique comme au texte, ça dit quelque chose sur ce qu'on va voir dans 3 ans, et tu commences à comprendre pourquoi les gros acteurs américains s'agitent. L'open source est une bonne décision stratégique, mais une heure de fine-tuning pour changer de morphologie de robot, j'attends de voir ça hors démo contrôlée.