Dossier Gemini Robotics

CLIFT : transformer Gemini Robotics On-Device en spécialistes humanoïdes via un réglage fin itératif en boucle fermée non invasif

Des chercheurs viennent de publier une étude (arXiv:2607.29172v1) testant les limites de Gemini Robotics On-Device (GROD), le modèle fondation robotique de Google DeepMind, dans son mode d'accès le plus restreint : l'API de fine-tuning supervisé managé, où l'utilisateur envoie des données d'entraînement et récupère une politique ajustée sans jamais toucher aux poids, aux gradients ni aux mécanismes internes du modèle. Sur un humanoïde réel confronté à des tâches de manipulation agiles et riches en contacts, les auteurs montrent qu'un simple fine-tuning supervisé via cette API surpasse nettement un VLA open-weight de référence entraîné sur les mêmes démonstrations, mais reste en deçà du niveau de fiabilité attendu en déploiement. Pour combler cet écart, l'équipe introduit CLIFT (Closed-Loop Iterative Fine-Tuning), une méthode qui transforme les signaux de récompense observés au moment du déploiement en données d'entraînement compatibles avec l'API, permettant une amélioration en boucle fermée sans accès aux poids, gradients, vraisemblances ni fonctions de perte. Résultat annoncé : un taux de succès quasi parfait après seulement deux cycles de ce "flywheel". L'enjeu dépasse le cas GROD. Les fournisseurs de modèles fondation robotiques les plus performants suivent le même chemin que les grands labos de LLM : garder les poids fermés et ne proposer qu'une API de fine-tuning. Cela prive les intégrateurs et équipes robotique de l'apprentissage par renforcement classique, pourtant jugé nécessaire pour les tâches de contact fin où l'écart entre sortie de politique et comportement réel reste large. CLIFT propose une voie pour retrouver une partie de ce bénéfice sans que le fournisseur du modèle n'ouvre sa boîte noire, ce qui intéresse directement les acteurs qui devront un jour adapter des modèles propriétaires à leurs propres robots et environnements de production. Le travail s'inscrit dans la lignée de Gemini Robotics, la famille de modèles annoncée par Google DeepMind en 2025, et fait écho aux pratiques déjà en place chez OpenAI ou Anthropic pour le fine-tuning managé des LLM. Il se positionne en creux face aux modèles ouverts comme Pi-0 ou GR00T, qui autorisent un réglage plus profond mais restent en retrait de GROD en performance brute selon cette étude, ouvrant la question de la généralisation de CLIFT à d'autres embodiments et tâches.

Gemini Robotics 2, selon Google DeepMind, permet un contrôle complet du corps

DeepMind a dévoilé la semaine dernière Gemini Robotics 2, la nouvelle version de son modèle vision-langage-action (VLA), avec pour ajout principal le contrôle du corps entier des robots humanoïdes, là où la version précédente se limitait au haut du corps pour des tâches sur table. Sur le robot Apollo 2 d'Apptronik, le modèle traduit une instruction en langage naturel, comme « mettre l'arrosoir dans le bac vert de l'étagère du bas », en une séquence complète : le robot marche jusqu'à la table, saisit l'objet, se déplace vers l'étagère et le pose précisément à l'endroit demandé. Côté préhension fine, Gemini Robotics 2 pilote la main SharpaWave à cinq doigts et 22 degrés de liberté (DOF) montée sur Apollo 2, capable de nouer une corde ou de fermer un sachet zippé, ainsi que des pinces parallèles à deux doigts standard sur une plateforme Franka Duo pour des tâches d'emballage dense. DeepMind publie en parallèle deux modèles complémentaires : Gemini Robotics ER 2, un modèle de raisonnement incarné (VLM) qui sert de « cerveau » de haut niveau, communique avec les humains, observe l'environnement et coordonne des tâches multi-étapes de plusieurs minutes, y compris entre plusieurs robots ; et Gemini Robotics On-Device 2, une version optimisée pour tourner localement sur les robots et s'adapter à un nouveau corps robotique en quelques heures de données seulement, selon DeepMind. ER 2 est disponible sur Google AI Studio et en accès anticipé privé sur la plateforme Gemini Enterprise Agent, tandis que le VLA et la version on-device restent réservés à des partenaires triés sur le volet. Cette annonce marque une étape notable dans la course aux robots humanoïdes généralistes, dominée jusqu'ici par des démonstrations spectaculaires mais rarement suivies de déploiements réels. En unifiant navigation, manipulation bimanuelle et dextérité fine sous un seul modèle capable de s'adapter à différents corps robotiques (Apollo 2, Franka Duo) en quelques heures plutôt qu'en mois de réentraînement, DeepMind s'attaque directement à l'un des goulots d'étranglement du secteur : le fossé entre une démo réussie en labo et un système fiable en environnement réel. Le fait que Gemini Robotics ER 2 gère l'auto-correction en cas d'échec d'une étape et la généralisation à des situations nouvelles répond à une critique récurrente des VLA actuels, souvent fragiles dès qu'ils sortent de leur distribution d'entraînement. DeepMind reconnaît toutefois que la vitesse de mouvement reste un axe de progrès, une nuance qui tempère l'enthousiasme habituel des communiqués du secteur et rappelle que la robustesse à l'échelle industrielle n'est pas encore acquise. Le premier Gemini Robotics, lancé plus tôt dans l'année, avait déjà démontré la capacité du modèle multimodal de Google à piloter une action physique réelle, mais restait cantonné à des manipulations de table. Cette itération s'inscrit dans une compétition de plus en plus dense entre modèles VLA généralistes, face notamment à Figure avec Helix, Physical Intelligence avec Pi-0, ou NVIDIA avec GR00T N2, chacun cherchant à prouver qu'un seul modèle peut piloter des corps robotiques variés sans réentraînement spécifique par tâche. L'accès restreint aux early-access partners suggère que DeepMind privilégie pour l'instant une validation contrôlée avant une ouverture plus large, sans calendrier de déploiement commercial annoncé à ce stade.

Gemini Robotics 2, le nouveau modèle de Google DeepMind

Le déploiement Google DeepMind vient de dévoiler Gemini Robotics 2, une couche d'intelligence destinée à piloter des robots plus adaptables, testée dès son annonce sur des démonstrations de premiers pas et de contrôle corporel complet. Le système ajoute une dextérité avancée et une capacité de collaboration entre plusieurs robots, mais sans chiffres précis de payload, DOF ou temps de cycle publiés à ce stade, il s'agit encore d'une démonstration technologique plutôt que d'un produit commercial daté. Cette édition de Video Friday, compilée par IEEE Spectrum, réunit aussi plusieurs autres publications de la semaine dans le secteur robotique : Agility Robotics a partagé une feuille de route, Unitree a montré de nouvelles capacités de ses robots, et Hello Robot a présenté Stretch 4.0, un robot à un bras et trois roues conçu pour naviguer dans un environnement domestique de façon sûre. Cette accumulation d'annonces reflète l'intensité de la course à l'humanoïde et aux robots polyvalents en 2026 : les grands laboratoires d'IA comme Google DeepMind cherchent à s'imposer comme fournisseurs de la couche cognitive générique pour une multitude de plateformes robotiques, plutôt que de se limiter à un seul matériel. Pour les intégrateurs et décideurs B2B, la multiplication de ces modèles de contrôle (à l'image de Pi-0 ou GR00T N2 chez d'autres acteurs) signale une bascule progressive vers des architectures VLA (vision-langage-action) mutualisées, capables en théorie d'équiper des robots aux morphologies variées. Reste que la démonstration de "premiers pas" par Gemini Robotics 2 est, comme souvent dans ce type d'annonces, une vitrine soigneusement sélectionnée : l'écart entre démonstration contrôlée et déploiement réel en usine ou à domicile demeure la question centrale que ces vidéos ne tranchent pas. Le reste de la sélection hebdomadaire illustre la diversité des approches actuelles : des chercheurs du General Robotics Lab ont développé une main robotique à 21 degrés de liberté capable d'exprimer des "ombres" dynamiques via une peau souple, tandis que Disney Research explore le transfert de mouvement d'humains vers des robots quadrupèdes. Le laboratoire RAD de l'USC travaille avec la NASA à l'entraînement de robots-chiens pour l'exploration planétaire, sur Mars et la Lune. IEEE Spectrum rappelle aussi les origines du secteur en évoquant WABOT-1, souvent considéré comme le premier robot humanoïde japonais, développé par le Takanishi Lab, marquant le chemin parcouru depuis jusqu'aux systèmes actuels comme celui de Sunday Robotics, montré ici pliant du linge à vitesse accélérée.

Google DeepMind dévoile Gemini Robotics 2, alors qu'un humanoïde d'Apptronik démontre une IA corps entier

Google DeepMind a dévoilé Gemini Robotics 2, une nouvelle suite de modèles d'IA destinée à donner aux robots humanoïdes une autonomie accrue grâce à un contrôle du corps entier, une dextérité avancée et une capacité de collaboration entre plusieurs robots. La démonstration s'appuie sur Apollo 2, l'humanoïde d'Apptronik, désormais capable d'exécuter des mouvements autonomes du corps entier : marche, accroupissement, flexion, et d'autres actions coordonnées qui combinent équilibre dynamique et manipulation fine, sans scripts préprogrammés pour chaque geste. Cette annonce marque une étape notable dans la course aux robots humanoïdes généralistes : elle déplace le curseur au-delà de la simple manipulation d'un bras robotique isolé vers un contrôle unifié de l'ensemble du corps piloté par un même modèle d'IA. Pour les intégrateurs et décideurs industriels, c'est un signal que les modèles vision-langage-action (VLA) commencent à passer à l'échelle sur des plateformes physiques complètes, un point encore contesté dans le secteur où beaucoup de démonstrations restent téléopérées ou limitées à des tâches très encadrées. Reste à vérifier, comme souvent avec ce type d'annonce, si les séquences montrées reflètent un comportement fiable et répétable ou des prises sélectionnées. Ce lancement s'inscrit dans la continuité de Gemini Robotics, la première famille de modèles robotiques de Google DeepMind, et prolonge le partenariat entre le laboratoire et Apptronik, déjà engagé sur le développement d'Apollo. Il intervient alors que la concurrence s'intensifie, avec Figure et son modèle Figure 03, Tesla et Optimus, ou encore 1X et son robot Neo, chacun cherchant à démontrer une autonomie et une polyvalence suffisantes pour un déploiement industriel réel plutôt qu'une simple vitrine technologique.

Humanoïdes : mouvement complet du corps et raisonnement multi-étapes avec Gemini Robotics 2

Google a présenté Gemini Robotics 2, un modèle conçu pour piloter des robots humanoïdes dans leur intégralité, marche, flexion, équilibre et manipulation d'objets inclus, avec la capacité de coordonner plusieurs machines et de s'adapter à différents corps robotiques après seulement quelques heures d'entraînement. Le système s'accompagne de deux modèles complémentaires, Gemini Robotics ER 2, dédié au raisonnement de haut niveau, et Gemini Robotics On-Device 2, exécuté localement sans connexion cloud. Lors des démonstrations, le modèle a piloté l'Apollo 2 d'Apptronik pour ramasser un arrosoir, traverser une pièce et le poser sur une étagère basse, et le même checkpoint a également fonctionné sur d'autres plateformes comme le Franka Duo. Google évoque aussi des gains de dextérité: les mains à cinq doigts d'Apollo 2 peuvent nouer un sac poubelle, refermer un sachet Ziploc ou dévisser une ampoule, tandis que sur des pinces industrielles à deux doigts le modèle réalise des insertions précises et de la manipulation d'outils. ER 2 est disponible via Google AI Studio et en prévisualisation privée sur la Gemini Enterprise Agent Platform, le modèle vision-langage-action et la version embarquée restant réservés à des partenaires en accès anticipé. Google a également introduit ASIMOV-Agentic, un benchmark de sécurité évaluant si un robot refuse une action dangereuse, détecte l'incertitude ou sollicite une aide humaine. Ce saut du pilotage de bras isolés au contrôle corporel complet est significatif pour l'industrie: la plupart des humanoïdes actuels restent limités à des tâches répétitives programmées, et la promesse d'un même modèle transférable d'une morphologie à l'autre avec moins de 200 exemples d'entraînement collectés en quelques heures s'attaque directement au problème du sim-to-real et du coût d'intégration, un point clé pour les industriels qui hésitent encore à déployer ces machines à grande échelle. Il faut toutefois noter que les métriques avancées, plusieurs minutes de tâches enchaînant des centaines de décisions, proviennent de démonstrations contrôlées et que le déploiement reste cantonné à des partenaires triés sur le volet: on est encore loin d'un produit généralisé sur le terrain. Cette annonce prolonge Gemini Robotics, lancé plus tôt dans l'année et limité à la manipulation sur table, en l'étendant au mouvement corporel complet. Elle intervient dans un paysage où Figure AI développe son propre modèle Helix, Tesla avance sur Optimus, Physical Intelligence mise sur Pi-0 et NVIDIA sur GR00T N2, chacun cherchant à imposer son architecture VLA comme standard pour les humanoïdes de nouvelle génération. Apptronik, partenaire de longue date de Google pour Apollo, reste pour l'instant le principal terrain de test visible de cette technologie, dont l'ouverture à d'autres intégrateurs dépendra des retours de ce programme d'accès anticipé.

NVIDIA explique comment évaluer les politiques robotiques polyvalentes en conditions réelles

NVIDIA a publié un billet technique détaillant les limites actuelles des méthodes d'évaluation des modèles fondation pour la robotique généraliste, ainsi que RoboLab, sa plateforme de benchmarking en simulation censée y répondre. L'entreprise identifie quatre failles structurelles dans les protocoles de test existants. D'abord, un chevauchement du domaine visuel entre entraînement et évaluation : quand un modèle est affiné puis testé dans le même environnement simulé, un bon score ne prouve que sa mémorisation du décor, pas sa capacité de généralisation. Les approches dites real2sim, qui reconstruisent des scènes photoréalistes à partir d'images réelles via inpainting ou Gaussian splatting, corrigent partiellement ce biais mais exigent souvent plus d'une heure de préparation par scène, ce qui rend les tests à grande échelle peu praticables. Ensuite, la plupart des benchmarks reposent sur un jeu de tâches figé, vite saturé : lorsque tous les modèles dépassent 90% de réussite sur le même test, les chiffres perdent leur pouvoir discriminant. NVIDIA pointe aussi un déficit de diagnostic, un simple score de succès binaire ne dit rien sur la cause d'un échec (confusion de couleur, formulation de l'instruction, décalage de caméra). Enfin, l'entreprise soulève un problème de fiabilité statistique : un taux de succès mesuré sur un petit nombre d'essais peut tromper. Exemple donné, une politique affichant 90% de réussite sur seulement 70 rollouts a, selon la méthode de Clopper-Pearson pour calculer un intervalle de confiance binomial exact, un intervalle de confiance à 95% qui s'étend sur 15,4 points de pourcentage, un écart énorme pour un chiffre présenté comme une performance unique. L'exemple illustratif porte sur la politique pi-0.5 de Physical Intelligence testée sur une tâche de tri d'objets ("poser la tasse à mesurer orange et la tasse bleue en dehors de l'assiette"). Pour les intégrateurs et décideurs B2B qui doivent choisir entre plusieurs modèles vision-language-action (VLA) pour équiper des bras ou des humanoïdes, ce travail est une mise en garde directe contre les chiffres de communiqués de presse. Un score de succès affiché sans intervalle de confiance ni contrôle du chevauchement visuel peut masquer un simple surapprentissage plutôt qu'une réelle capacité de généralisation en conditions réelles. Cela renforce l'hypothèse, déjà répandue dans le secteur, d'un écart persistant entre démonstrations et déploiement effectif, et invite à exiger des fournisseurs des protocoles d'évaluation reproductibles plutôt que des vidéos sélectionnées. Cette initiative s'inscrit dans l'effort plus large de NVIDIA autour des fondations robotiques, aux côtés de ses plateformes Isaac Sim et Isaac Lab, dans un secteur où rivalisent des laboratoires comme Physical Intelligence (pi-0, pi-0.5), Google DeepMind (Gemini Robotics) ou Figure AI. À mesure que les modèles VLA généralistes se multiplient, la question de la mesure standardisée devient centrale pour départager annonces marketing et progrès réels, et RoboLab se positionne comme une tentative de fournir un cadre commun avant que le marché ne soit inondé de comparatifs invérifiables.

Un aperçu de la coexistence physique à long terme avec des robots intelligents

PHILIA est un système agent multi-robots présenté dans un article publié sur arXiv (2607.11377, soumission nouvelle) et conçu pour la coexistence physique de longue durée entre humains et robots au domicile. Son architecture repose sur une abstraction appelée « robot gateway », qui expose de façon unifiée les runtimes locaux de chaque robot, la perception embarquée, la navigation, la synthèse vocale et les politiques de contrôle, tout en conservant l'écosystème d'interaction et d'outils d'OpenClaw, un framework agent existant dont PHILIA hérite les capacités conversationnelles. Le système a été validé sur des robots Astribot S1, plateforme de manipulation humanoïde développée par la startup chinoise Astribot, et le contrat de la gateway a été pensé pour accueillir à terme d'autres plateformes robotiques hétérogènes via une interface commune couvrant observation, exécution de tâches, navigation, lecture vocale, supervision d'état et annulation de tâche. Les auteurs présentent des scénarios domestiques allant du simple rangement d'objets à des tâches longues et dextres comme remplir un sac à dos ou soulever un sac poubelle. L'intérêt de cette architecture tient à sa séparation explicite entre le raisonnement agent, peu fréquent et fortement sémantique, et l'exécution robotique bas niveau, à haute fréquence. Cette séparation rend l'expérience utilisateur compositionnelle: une amélioration de l'interface, de l'embodiment robotique, de la politique de contrôle ou de l'algorithme de navigation peut profiter au système sans le redessiner entièrement. C'est une réponse directe à un problème récurrent du secteur des robots humanoïdes domestiques, où les démonstrations spectaculaires reposent souvent sur des pipelines figés et peu réutilisables. En intégrant une mémoire longue durée des préférences utilisateur et une confirmation humaine en boucle pendant l'exécution, PHILIA cible aussi l'écart de confiance entre politiques de contrôle performantes en laboratoire et fiabilité réelle attendue en environnement domestique. Le travail s'inscrit dans la vague de recherche sur les agents robotiques généralistes combinant modèles de langage et politiques vision-langage-action, aux côtés d'efforts comme Gemini Robotics ou Helix. Il reste à ce stade une contribution de recherche à l'état d'article, testée sur une seule plateforme matérielle, sans annonce de déploiement commercial ni de partenaire industriel identifié.

Robot park de 90 000 pieds carrés : une entreprise américaine forme des humanoïdes en conditions réelles

Apptronik, entreprise texane basée à Austin, a inauguré Robot Park, une installation de collecte de données et d'entraînement de près de 8 400 m² (90 000 pieds carrés) dédiée à l'accélération du développement de ses robots humanoïdes Apollo. Sur ce site, des unités Apollo 2, la dernière génération de la plateforme, déclinées en version bipède et en version à base roulante, exécutent en continu des tâches représentatives de la logistique, de la fabrication et du commerce de détail, générant ainsi les données réelles nécessaires à l'entraînement de modèles d'IA incarnée. Ce dispositif s'inscrit dans le partenariat de recherche entre Apptronik et Google DeepMind : les données issues d'Apollo 2, combinant téléopération et fonctionnement autonome, alimentent directement les modèles Gemini Robotics de DeepMind tout en améliorant la plateforme commerciale d'Apptronik. Le concept de Robot Park a également été étendu au-delà d'Austin, avec des flux de collecte similaires mis en place chez des clients et partenaires comme Mercedes-Benz et l'opérateur logistique GXO. Apollo 2 sert de « cheval de trait » du programme depuis plus d'un an déjà. Pour l'industrie robotique, cette annonce illustre un déplacement de l'enjeu compétitif : la course aux humanoïdes ne se joue plus seulement sur la démonstration de capacités motrices, mais sur la capacité à produire, à grande échelle et en continu, des données d'usage réel exploitables par des modèles VLA (vision-langage-action). En s'associant à un laboratoire du calibre de Google DeepMind, Apptronik cherche à sécuriser un accès privilégié à des capacités d'IA de pointe plutôt que de tout développer en interne, une stratégie qui tranche avec l'approche plus verticale de concurrents comme Figure AI ou Tesla avec Optimus. Le fait que des clients industriels comme Mercedes-Benz ou GXO participent directement à la collecte de données, sur leurs propres sites, est également un signal notable : il suggère un passage progressif du pilote isolé vers des déploiements multi-sites, même si l'ampleur réelle de l'autonomie atteinte par Apollo 2, par opposition à la téléopération, reste à documenter précisément par Apptronik. Fondée en 2016 et essaimée des travaux de robotique de l'université du Texas à Austin, Apptronik s'est fait connaître avec son premier robot Apollo avant de lancer cette version 2, pensée dès l'origine comme un outil de collecte de données autant que comme un produit commercial. La société évolue dans un secteur de plus en plus dense, aux côtés de Figure AI, Tesla, Boston Dynamics ou encore 1X, chacun misant sur des partenariats logiciels ou une intégration verticale pour combler l'écart entre démonstrations spectaculaires et déploiements industriels réels. Le PDG et cofondateur Jeff Cardenas a présenté l'initiative comme une « boucle d'apprentissage continu » avec l'équipe robotique de Google DeepMind, laissant entendre que d'autres extensions du modèle Robot Park, chez de nouveaux clients ou sur de nouveaux sites, devraient suivre dans les prochains mois.

Apptronik dévoile Apollo 2 et une nouvelle installation phare de collecte de données et d'entraînement

Apptronik a dévoile hier Apollo 2, la nouvelle version de son robot humanoïde, en même temps que l'ouverture de Robot Park, son centre phare de collecte de données et d'entrainement a Austin, au Texas. Apollo 2 se décline en deux configurations modulaires: une version bipède pour se déplacer dans des espaces conçus pour des humains, et une version a base roulante offrant stabilité et efficacité dans des environnements a fort débit. La base roulante a été conçue pour respecter les normes de sécurité existantes des robots mobiles industriels, ce qui facilite son intégration dans des opérations clients déjà en place. Dans le cadre de son partenariat de recherche avec Google DeepMind, les données collectées par Apollo 2 alimentent aussi Gemini Robotics, les modèles de fondation pour la robotique de DeepMind. Apptronik affirme qu'Apollo repose sur près d'une décennie de développement et quinze robots précédents, dont Valkyrie de la NASA. Issue du Human Centered Robotics Lab de l'Universite du Texas a Austin, l'entreprise compte environ 300 employés et a levé 520 millions de dollars plus tôt cette année, portant son capital total a près d'un milliard de dollars. Cette annonce illustre un repositionnement plus large de l'industrie humanoïde: passer de la démonstration ponctuelle a l'exploitation réelle et répétée sur le terrain. Jeff Cardenas, cofondateur et PDG d'Apptronik, résume l'ambition en opposant explicitement les années de démos spectaculaires a un objectif de fiabilité quotidienne au travail, une façon de reconnaitre implicitement l'écart persistant entre les vidéos promotionnelles du secteur et les déploiements effectifs. La logique mise en avant, une boucle d'apprentissage continue ou le robot travaille, collecte des données et s'améliore a chaque cycle, correspond a un pari répandu chez les acteurs de la robotique généraliste (dans la lignée de Pi-0 ou GR00T N2): la mise a l'échelle des données réelles, plutôt que la seule simulation, serait la voie vers des modèles VLA véritablement robustes. Pour les intégrateurs et décideurs industriels, le choix d'une architecture modulaire bipède/roulante répond a une demande concrète: pouvoir déployer une même intelligence robotique sous une forme déjà conforme aux normes de sécurité existantes, sans attendre la maturation complète de la locomotion bipède. Le contexte de cette annonce s'inscrit dans une accumulation de Robot Parks chez des clients et partenaires dans le monde, Austin devenant le site vitrine du dispositif. Apollo 2 sert depuis plus d'un an de cheval de bataille pour cette collecte de données, et Apptronik présente explicitement tout ce qui en est tire comme la base du développement d'Apollo 3, son futur produit commercial. Barry Phillips, directeur commercial d'Apptronik, insiste sur le fait que la conception modulaire répond a une demande client pour une automatisation adaptable, un positionnement qui distingue Apptronik d'acteurs concentres sur une seule morphologie, comme Figure avec son humanoïde bipède pur ou Boston Dynamics avec Atlas. Face a des concurrents comme Tesla (Optimus), Figure ou Agility Robotics, Apptronik mise sur ce continuum recherche-collecte-produit avec Google DeepMind comme axe de différenciation, sans toutefois préciser de calendrier ferme pour des pilotes clients élargis ni pour la disponibilité commerciale d'Apollo 3.

SA-VLA : un tokeniseur conscient de l'état pour améliorer les performances des modèles VLA

Des chercheurs ont publié le 30 juin 2026 sur arXiv (arXiv:2606.30113) une méthode baptisée SA-VLA, pour State-Aware Vision-Language-Action model, qui s'attaque à un défaut fondamental des politiques de contrôle robotique basées sur les grands modèles de langage. Dans les architectures VLA actuelles, les actions continues du robot sont compressées en codes discrets via une quantification vectorielle (VQ) : chaque token d'action est ensuite décodé vers un prototype continu fixe, indépendamment de la configuration articulaire réelle du robot, de la pose des objets ou des conditions de contact. SA-VLA introduit un tokenizer conditionné sur l'état proprioceptif courant, via deux mécanismes testés en parallèle : une attention croisée entre les features d'état et les features d'action, et un adaptateur léger qui prédit des facteurs de modulation par action pour reconstruire des commandes continues adaptées à l'état. Sur 12 tâches de manipulation du benchmark RoboTwin, le taux de succès moyen passe de 0,29 à 0,56 par rapport au meilleur tokenizer de référence. En transfert sim-to-real zéro-shot sur trois tâches réelles, il grimpe de 0,15 à 0,33, soit un doublement dans les deux cas. Ce résultat est notable parce qu'il cible le "compression gap", c'est-à-dire la perte de précision introduite par la discrétisation des actions continues, un problème longtemps identifié comme le talon d'Achille des VLA autorégessifs. Que le même token discret corresponde à des commandes articulaires radicalement différentes selon la posture du bras est trivial en robotique, mais les architectures de tokenization l'ignoraient jusqu'ici. L'approche par adaptateur est particulièrement intéressante pour les intégrateurs : elle étend la capacité expressive d'un codebook de taille fixe sans en changer la structure, et reste compatible avec le décodage autorégressif comme parallèle, ce qui préserve la compatibilité avec les pipelines LLM existants. Le doublement du taux de succès en transfert zéro-shot sim-to-real est le signal le plus fort : il suggère que le gap de généralisation observé dans de nombreux déploiements VLA n'est pas entièrement dû aux domaines visuels, mais aussi à ce mismatch entre token discret et commande continue. Les VLA sont devenus le paradigme dominant dans la robotique de manipulation depuis les travaux de Physical Intelligence (Pi-0, pi0.5), d'Embodied Intelligence (OpenVLA) et de Google DeepMind (RT-2, puis les variantes Gemini Robotics). Le benchmark RoboTwin, utilisé ici comme référence, est un environnement de simulation standardisé pour la manipulation bi-manuelle apparu fin 2024. SA-VLA s'insère dans l'écosystème des VLA à décodage discret, en compétition directe avec des tokenizers comme FSQ ou les approches diffusion-based qui contournent le problème autrement. L'absence d'affiliation institutionnelle clairement identifiable dans le titre limite la lisibilité du positionnement concurrentiel, mais la méthode est décrite comme intégrable à tout backbone LLM-VLA standard. Les prochaines étapes naturelles seraient une validation sur des benchmarks plus larges (LIBERO, BridgeData v2) et une intégration dans des pipelines de déploiement industriel, où la robustesse aux variations de configuration est précisément le facteur limitant.

Alibaba dévoile des cerveaux IA conçus pour équiper la prochaine génération de robots

Alibaba a annoncé en juin 2026 le lancement de la suite Qwen-Robot, sa première famille de modèles d'IA dite "embodied", développée par son Tongyi Lab et actuellement en phase de pilote avec des clients entreprise d'Alibaba Cloud. La suite repose sur trois modèles spécialisés : Qwen-RobotNav pour la navigation et le suivi de cibles, Qwen-RobotManip pour la manipulation d'objets physiques, et Qwen-RobotWorld pour la modélisation de l'environnement et la prédiction des conséquences d'actions. Le groupe a également publié Qwen-RobotClaw, un framework d'agents qui expose les modèles Qwen-Robot comme outils accessibles à des agents LLM, ainsi que Chat2Robot, une plateforme open-source en navigateur pour tester des interactions avec des robots physiques. Sur le plan des performances déclarées, Qwen-RobotManip a été entraîné sur plus de 38 000 heures de données open-source et a obtenu sur le benchmark RoboChallenge un process score de 59,83 avec un taux de succès de tâches de 45 % dans la catégorie "généraliste". La démonstration de navigation a mis en scène un quadrupède Unitree Go2 équipé d'un NVIDIA Jetson Thor et d'une seule caméra basse résolution, atteignant une latence d'inférence de 196 millisecondes dans un appartement inconnu, sans carte préchargée. Ces résultats méritent d'être lus avec prudence : un taux de succès de 45 % sur un benchmark réel, s'il est confirmé en conditions non contrôlées, reste modeste mais significatif pour un modèle généraliste. Le vrai signal industriel n'est pas le score brut, c'est l'approche architecturale : au lieu de fusionner indifféremment données de navigation, bras robotiques, caméras et véhicules autonomes, Alibaba a opté pour une spécialisation par modalité, évitant les conflits d'apprentissage que génère le mélange hétérogène de données physiques. Pour les intégrateurs et décideurs B2B, la disponibilité via Alibaba Cloud en pilote marque un premier pas vers la commercialisation d'une couche d'IA robotique as-a-service, potentiellement utilisable sur du matériel tiers sans pipeline de training propriétaire. Alibaba entre dans une course déjà engagée par plusieurs acteurs de premier plan. Aux États-Unis, Google DeepMind fait avancer Gemini Robotics sur des architectures Vision-Language-Action (VLA) similaires, tandis que Physical Intelligence (Pi-0), Figure AI (Figure 03) et Boston Dynamics misent sur des pipelines de données propriétaires et des déploiements industriels réels. NVIDIA pousse son framework GR00T N2 comme socle hardware-logiciel pour l'humanoid. Côté chinois, Unitree et Agibot ont déjà des robots en production, mais sans la couche LLM intégrée qu'Alibaba apporte. L'open-sourcing de Chat2Robot et les pilotes cloud suggèrent une stratégie d'écosystème : capter les développeurs et intégrateurs autour des modèles Qwen-Robot avant que le marché des robots généraux ne se consolide, probablement d'ici 2027-2028 selon les timelines annoncées par les principaux concurrents.

💬 45 % de réussite sur un benchmark généraliste, c'est pas brillant, je sais, mais tu regardes au mauvais endroit. Le vrai signal, c'est l'architecture : trois modèles spécialisés par modalité plutôt qu'un gros fourre-tout, parce que mélanger navigation, manipulation et caméras dans le même pipeline, ça crée des conflits d'apprentissage que tout le monde a sous-estimés depuis le début. Alibaba ne cherche pas à gagner les benchmarks robotiques, ils cherchent à s'installer comme la couche cloud entre le matériel tiers et l'IA physique avant que le marché se consolide.

Améliorer les politiques généralistes robotiques grâce au pilotage par inversion de flux

Des chercheurs ont soumis en juin 2026 un article (arXiv:2606.13675) présentant le Flow Reversal Steering (FRS), une méthode pour améliorer les politiques robotiques généralistes entraînées par flow matching. Plutôt que de commander directement un tel modèle sur des tâches difficiles, FRS part d'actions sous-optimales mais plausibles, les fait passer en sens inverse à travers la politique de flow pour retrouver leurs bruits latents, puis les projette vers les modes d'action les plus proches dans l'espace comportemental du généraliste. Évaluée sur plusieurs tâches de manipulation en simulation et en conditions réelles, la méthode produit des gains allant jusqu'à 95 points de pourcentage de taux de succès via distillation par behavioral cloning, avec un temps d'entraînement de la politique auxiliaire inférieur à une minute. FRS convertit aussi des instructions sémantiques grossières - formulées par un humain ou un VLM (vision-language model) - en actions motrices précises, sans fine-tuning supplémentaire du modèle de base. L'enjeu est direct pour le secteur robotique : les politiques généralistes comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) accumulent une large palette de compétences sur des corpus diversifiés, mais peinent à les mobiliser quand les instructions directes échouent sur des tâches nouvelles. FRS comble ce fossé en exploitant la réversibilité propre aux flow matching models, transformant des intentions floues en actions exécutables sans données de démonstration supplémentaires. La capacité à amorcer l'apprentissage par renforcement à partir de connaissances sémantiques est particulièrement notable : la méthode progresse sur plusieurs tâches où le RL standard reste bloqué. Cela trace une voie concrète pour réduire le gap entre simulation et déploiement réel, un verrou persistant pour les intégrateurs industriels. Ce travail s'inscrit dans la dynamique des VLA (vision-language-action models) qui cherchent à relier guidance sémantique et politique de bas niveau. Physical Intelligence (Pi-0, Pi-0.5), Google DeepMind (Gemini Robotics, RT-X) et Berkeley (OpenVLA) explorent des architectures similaires, mais le mécanisme de flow reversal est spécifique aux modèles de flow matching et se distingue des approches par diffusion classique. L'article reste à ce stade un preprint non évalué par les pairs, sans déploiement annoncé sur plateforme commerciale. Les suites naturelles seraient une validation sur des robots industriels ou mobiles et une intégration dans des frameworks ouverts comme LeRobot (Hugging Face) ou OpenPI.

💬 Le truc malin ici, c'est d'exploiter la réversibilité des flow matching models pour remonter d'actions ratées jusqu'aux modes comportementaux les plus proches, sans données de démonstration supplémentaires. 95 points de gain sur certaines tâches, moins d'une minute d'entraînement, c'est le genre de chiffres qui font lever un sourcil. Reste à voir si ça tient en dehors de la simulation, mais si LeRobot l'intègre, les équipes robotique françaises vont avoir quelque chose de sérieux à tester.

GIVE : ancrage des gestes humains dans les modèles vision-langage-action (VLA)

Une équipe de chercheurs a soumis en juin 2026 sur arXiv un article décrivant GIVE (Gesture Intent via Visual-Semantic Enhancement), une méthode d'intégration de la compréhension gestuelle dans des modèles VLA (Vision-Language-Action) pré-entraînés, sans modification architecturale. Le système repose sur deux voies complémentaires : une voie visuelle superposant squelettes de mains et rayons de bout de doigt sur les images perçues par le robot pour ancrer explicitement l'objet visé, et une voie sémantique générant des descriptions textuelles du geste et de l'instruction de tâche. Testé en conditions réelles d'interaction humain-robot, GIVE améliore la précision de reconnaissance de l'objet cible de 40 % et le taux de succès global des tâches de manipulation de 80 % par rapport au modèle VLA de base, avec une généralisation démontrée sur des configurations spatiales inédites et des participants variés. Ce résultat touche un point sensible de la robotique collaborative : les modèles VLA actuels, qu'il s'agisse d'OpenVLA, de pi-0 de Physical Intelligence ou des modèles RT-2 de Google DeepMind, traitent la manipulation comme un problème purement text-driven. Dès qu'une instruction verbale est ambiguë, plusieurs objets similaires se trouvant dans la scène, le taux d'échec grimpe. GIVE propose une réponse à ce problème d'ancrage de l'intention (intent grounding) sans réentraîner le modèle de base, atout concret pour les équipes d'intégration. Les gains sont mesurés sur des expériences physiques réelles, ce qui renforce la crédibilité du résultat, même si l'article ne publie pas le nombre total d'essais ni la distribution précise des scènes testées. La méthode s'inscrit dans une tendance d'enrichissement des interfaces humain-robot au-delà de la commande vocale, dans un champ où des travaux sur le pointage gestuel et des modèles comme Gemini Robotics de Google ou GR00T N2 de NVIDIA explorent des directions voisines. GIVE se distingue par son approche non-invasive, compatible avec tout VLA pré-entraîné. Aucun déploiement industriel n'est annoncé à ce stade, le travail restant académique. Les suites attendues portent sur des gestes plus complexes, bimanuel ou dynamique, et une évaluation sur des plateformes robotiques mobiles pour valider la généralisation dans des contextes industriels à haute variabilité.

IA incarnée en évolution : Embodied-R1.5 améliore l'intelligence physique grâce aux modèles fondation

Une équipe de chercheurs a publié sur arXiv Embodied-R1.5, un modèle de fondation incarné (EFM pour Embodied Foundation Model) de 8 milliards de paramètres intégrant cognition incarnée, planification, auto-correction et pointage d'affordances dans une architecture unifiée, entraîné sur un corpus dépassant 15 milliards de tokens construit via trois pipelines automatisés. Le cadre Planner-Grounder-Corrector (PGC) en boucle fermée permet l'exécution autonome et l'auto-correction sur des tâches longues, soutenu par une recette d'apprentissage par renforcement multi-tâches équilibré pour atténuer les conflits entre sous-domaines hétérogènes. Sur les benchmarks standardisés, Embodied-R1.5 atteint l'état de l'art sur 16 des 24 benchmarks de VLM incarnés, devançant Gemini-Robotics-ER-1.5 de Google DeepMind et GPT-5.4 d'OpenAI. Adapté en VLA (Vision-Language-Action) avec peu de données de fine-tuning, il surpasse pi-0.5 de Physical Intelligence sur quatre suites de benchmarks de manipulation. Des tests zero-shot sur robot réel valident les performances en suivi d'instructions, ancrage d'affordances, manipulation d'objets articulés et tâches longues, les poids, le code d'entraînement et EmbodiedEvalKit, un framework d'évaluation dédié, étant publiés en open source. Qu'un modèle de 8 milliards de paramètres surpasse des systèmes adossés aux ressources de Google et d'OpenAI est un signal notable pour les intégrateurs industriels, car la compacité ouvre la voie à un déploiement embarqué sur plateformes contraintes. L'auto-correction en boucle fermée du PGC répond directement au demo-to-reality gap qui freine la commercialisation des robots polyvalents, tandis que la capacité à fine-tuner en VLA avec peu de données cible le goulot d'étranglement central de la collecte de données de manipulation étiquetées. L'open source complet facilite la comparaison reproductible et devrait accélérer les itérations communautaires, à condition que les performances zero-shot annoncées soient confirmées dans des configurations adversariales que le papier ne documente pas. Embodied-R1.5 s'inscrit dans la vague des modèles de fondation robotiques généraux densifiée depuis RT-2 de Google et OpenVLA, avec pour concurrents directs Physical Intelligence (pi-0, pi-0.5) et Google DeepMind (Gemini Robotics). L'absence d'acteurs européens parmi les concurrents benchmarkés reflète le retard du continent, où des acteurs comme Wandercraft ou Enchanted Tools restent cantonnés à des niches spécialisées. L'approche open source total distingue ce travail des modèles propriétaires de Figure AI (Figure 03) ou de 1X Technologies, positionnant potentiellement Embodied-R1.5 comme base de référence pour les laboratoires et industriels souhaitant spécialiser un EFM sur leurs propres flux de manipulation.

💬 8 milliards de paramètres qui coiffent Gemini Robotics et GPT-5.4 sur leurs propres benchmarks, en open source total, c'est inattendu. L'auto-correction en boucle fermée s'attaque directement au fossé entre la démo en labo et le robot qui tient la route en prod, ce qui est le vrai mur depuis RT-2. Bon, le papier esquive les configurations difficiles, donc on verra ce que ça donne quand la communauté s'en empare.

La robotique ne connaîtra pas de moment Llama bien défini

Depuis le début de l'année 2025, les modèles robotiques ouverts se multiplient. Google DeepMind a publié les résultats d'Open X-Embodiment, projet qui a mutualisé des données de manipulation sur des dizaines d'institutions et de morphologies différentes : les expériences RT-X montrent qu'entraîner un modèle sur plusieurs types de robots améliore le transfert, plutôt que de forcer chaque système à apprendre uniquement sur ses propres données. DeepMind a ensuite scindé sa pile en deux sorties distinctes : Gemini Robotics 1.5, un VLA (vision-langage-action) qui convertit entrées visuelles et instructions en commandes moteur, et Gemini Robotics-ER 1.6, positionné plus haut dans la pile, dédié au raisonnement spatial, à la planification et aux appels d'outils. NVIDIA a poussé dans la même direction avec ses releases GR00T et ses modèles Isaac, disponibles notamment via LeRobot sur Hugging Face. OpenVLA, modèle open source à 7 milliards de paramètres entraîné sur 970 000 épisodes de manipulation issus d'Open X-Embodiment, illustre le niveau de maturité désormais accessible. Côté capital, Crunchbase recense près de 14 milliards de dollars investis dans la robotique en 2025 : Skild AI a levé 1,4 milliard pour un modèle multi-morphologie, Physical Intelligence négocie un tour d'un milliard à une valorisation supérieure à 11 milliards, Advanced Machine Intelligence de Yann LeCun a clôturé à 1,03 milliard, et Wayve a bouclé une série D à 1,2 milliard pour la conduite autonome. La comparaison avec Llama, le modèle open source de Meta qui a permis à d'innombrables équipes de déployer un LLM capable sans payer la facture d'entraînement, est séduisante mais trompeuse. Une politique robotique ne transfère pas comme un fichier de poids logiciel : elle nécessite une pile de contrôle locale qui convertit les sorties du modèle en mouvements réels, dans l'enveloppe de sécurité de la cellule, via le contrôleur installé. Le dépôt openpi de Physical Intelligence illustre ce delta concretement : une équipe qui dispose du modèle doit encore faire tourner l'inférence (8 Go de VRAM minimum), affiner sur ses propres données robotiques via LoRA (22,5 Go) ou en full fine-tuning (70 Go), puis valider le résultat sur la machine cible. L'accès aux modèles élargit ce que les robots peuvent tenter ; l'avantage concurrentiel reste dans la capacité à transformer ce comportement en travail fiable en production, avec des journaux de pannes exploitables par un technicien des mois après la mise en service. Le problème structurel qui sépare la robotique du logiciel pur est ce que les praticiens nomment le "site drift" : la dérive entre le robot qui passe la recette d'usine et le robot qui opère dans le process réel du client. La géométrie caméra et la compliance de l'end-effector évoluent après livraison, les références de fixation bougent avec le process client, et la contamination s'accumule sur plusieurs semaines de production jusqu'à rendre les comportements de récupération peu fiables. La randomisation de domaine en simulation couvre de nombreuses variations, mais pas la dérive propre à chaque site. Un quadrupède en banc d'essai peut exécuter un virage à droite proprement et rater son symétrique gauche : les jambes ont atterri dans des régions servo différentes et chargé le corps différemment, si bien que la même commande produit deux résultats distincts. Le code était symétrique ; la mécanique de contact, non. C'est précisément là que s'arrête l'analogie avec Llama : distribuer le modèle était la partie accessible, transformer ce modèle en travail supporté sur des systèmes en clientèle reste la frontière que les 14 milliards de venture capital engagés en 2025 n'ont pas encore résolue.

VLA-Arena : un cadre open source pour évaluer les modèles vision-langage-action (VLA)

Une équipe de chercheurs a publié VLA-Arena, un framework open-source de benchmark conçu pour évaluer les modèles Vision-Language-Action (VLA), ces politiques robotiques généralisées capables d'interpréter commandes en langage naturel et observations visuelles pour générer des actions motrices. La version 2 du preprint (arXiv 2512.22539v2) présente un protocole structuré autour de 170 tâches, organisées selon quatre dimensions orthogonales : sécurité (Safety), gestion des distracteurs (Distractor), extrapolation hors-distribution (Extrapolation) et planification longue portée (Long Horizon). Chaque tâche existe en trois niveaux de difficulté (L0 à L2), le fine-tuning étant exclusivement réalisé sur L0 afin de tester la capacité de généralisation. En parallèle, des perturbations linguistiques (W0-W4) et visuelles (V0-V4) s'appliquent indépendamment à chaque tâche, permettant une analyse découplée de la robustesse. Les auteurs publient également les datasets VLA-Arena-S/M/L ainsi qu'un leaderboard public. Les résultats de l'évaluation des VLA de l'état de l'art sont sévères et contre-intuitifs pour ceux qui suivent les démonstrations marketing du secteur. Les modèles testés exhibent une forte tendance à la mémorisation plutôt qu'à la généralisation réelle : leurs performances s'effondrent dès que la tâche sort légèrement de la distribution d'entraînement. La robustesse est asymétrique selon l'axe perturbé (visuel vs. linguistique), les contraintes de sécurité sont quasi-ignorées, et la composition de compétences pour les tâches longue portée reste hors de portée de tous les modèles testés. Pour les intégrateurs industriels et les équipes R&D qui envisagent de déployer des VLA en production, ces résultats constituent un signal d'alerte : le "sim-to-real gap" n'est pas résolu, et les capacités affichées en démo ne tiennent pas face à des conditions réelles variables. VLA-Arena arrive dans un contexte de prolifération rapide des VLA généralistes : Physical Intelligence (Pi-0), NVIDIA (GR00T N2), Google DeepMind (RT-2, Gemini Robotics) et OpenVLA font tous état de progrès importants, mais sur des benchmarks hétérogènes et souvent propriétaires, rendant toute comparaison directe impossible. L'absence d'un protocole d'évaluation standardisé est depuis longtemps identifiée comme le principal obstacle à la progression scientifique rigoureuse du domaine. VLA-Arena n'est pas encore un standard industriel adopté, mais sa publication en open-source avec toolchain complet (définition de tâche, évaluation automatisée, datasets) le positionne comme candidat sérieux. Les prochaines étapes dépendront de l'adoption par les équipes qui développent ces modèles, et d'une éventuelle intégration dans les pipelines de validation avant déploiement réel en atelier.

IA physique : raisonnement, modèles du monde et d'action avec NVIDIA Cosmos 3

NVIDIA a annoncé Cosmos 3, un modèle fondamental de frontière dédié à l'IA physique, conçu pour doter les robots, les véhicules autonomes et les espaces intelligents d'une capacité de compréhension du monde réel. L'architecture de Cosmos 3 repose sur trois composantes intégrées : des modèles de raisonnement physique, des modèles de monde et des modèles d'action, permettant à un système de percevoir son environnement, d'anticiper les événements à venir et de produire des séquences d'actions adaptées à une incarnation physique et à une tâche spécifiques. Ce type d'approche unifiant raisonnement, simulation et action au sein d'un seul modèle fondamental représente un changement de paradigme pour les intégrateurs robotiques. Jusqu'ici, ces trois briques étaient souvent développées séparément, ce qui générait des lacunes au niveau du transfert sim-to-real. Un modèle entraîné à raisonner sur la physique du monde avant de planifier l'action offre théoriquement une meilleure généralisation sur des tâches non vues en production, bien que les benchmarks industriels indépendants restent à confirmer. NVIDIA avait introduit la plateforme Cosmos en janvier 2025 au CES, positionnant alors ses modèles génératifs de monde comme infrastructure pour les fabricants de robots et les constructeurs automobiles. Cosmos 3 s'inscrit dans cette trajectoire d'itération rapide, face à une concurrence directe : Google DeepMind avec les modèles Gemini Robotics et RT-2, Physical Intelligence (pi) avec Pi-0, et Figure AI avec ses propres VLA. L'enjeu pour NVIDIA est de s'imposer comme couche d'infrastructure fondamentale de l'IA physique, au-delà du seul matériel GPU.

💬 Le vrai pari de NVIDIA avec Cosmos 3, c'est de s'imposer comme couche d'infrastructure logicielle de l'IA physique, au-delà du GPU. Raisonner sur la physique avant de planifier l'action, et unifier les trois briques dans un seul fondamental, c'est exactement ce qui manquait pour réduire les galères de transfert sim-to-real qui plombent les déploiements robotiques depuis des années. Sans benchmarks industriels indépendants, ça reste du déclaratif, mais la direction est la bonne.

La recherche NVIDIA montre que des robots entraînés en simulation peuvent accomplir des tâches réelles

NVIDIA a présenté huit travaux de recherche en robotique à l'International Conference on Robotics and Automation (ICRA) 2026, tous centrés sur la réduction du "sim-to-real gap" -- l'écart de performance entre un robot entraîné en simulation et ce même robot confronté au monde physique. Parmi les systèmes mis en avant, COMPASS entraîne des robots exclusivement dans Isaac Lab (le simulateur NVIDIA) avant de transférer les politiques apprises vers des corps physiques différents. Sur 20 essais réels impliquant des robots mobiles autonomes et des humanoïdes, le framework atteint un taux de succès de 80 % en navigation, soit 4,5 fois supérieur aux baselines par imitation learning. Le système Grasp-MPC, dédié à la préhension en environnement encombré, a été entraîné sur 2 millions de trajectoires simulées couvrant 8 000 objets distincts, et atteint 75 % de succès sur des objets inconnus contre 41 % pour les méthodes de référence. Le framework SPARR, appliqué à l'assemblage industriel, découpe la tâche en deux couches -- une politique apprise en sim, corrigée en temps réel sur le hardware réel -- et affiche 38 % de gain sur le taux de succès d'assemblage et 30 % de réduction du temps de cycle par rapport aux baselines zero-shot sim-to-real. Enfin, PEEK améliore l'attention visuelle des robots (filtrage du bruit visuel non pertinent), avec une précision multipliée jusqu'à 41 fois pour des politiques purement simulées. Une collaboration avec Carnegie Mellon, l'Université de l'Utah et l'Université de Sydney a produit SEAL, un framework qui contraint le robot à n'exécuter que les séquences d'actions cohérentes avec son raisonnement planifié. Ces résultats sont significatifs pour les intégrateurs et les décideurs industriels, car ils montrent que le sim-to-real gap -- longtemps considéré comme le verrou structurel de la robotique apprise -- commence à se refermer de façon mesurable, au moins en conditions de laboratoire. Le gain de 30 % sur le temps de cycle (SPARR) est un chiffre qui parle directement aux opérateurs de lignes d'assemblage. Il convient cependant de nuancer : les taux de succès rapportés (75-80 %) sont mesurés dans des protocoles contrôlés par les chercheurs eux-mêmes, sans déploiement industriel validé en production. Les vidéos sélectionnées pour illustrer ces travaux suivent les conventions habituelles des communications académiques, qui ne montrent pas les échecs. La progression reste réelle, mais le passage de 80 % à 99 % de fiabilité -- seuil requis pour la plupart des applications industrielles critiques -- reste un problème ouvert. NVIDIA positionne cette recherche comme la couche logicielle et de simulation de son écosystème robotique plus large, qui inclut Isaac Lab, Isaac GR00T X Embodiment Sim et Omniverse NuRec. La compagnie ne fabrique pas de robots mais ambitionne de devenir l'infrastructure sur laquelle l'industrie entraîne ses systèmes, face à des concurrents comme Google DeepMind (avec ses travaux sur RT-2 et Gemini Robotics), Meta (V-JEPA) et Physical Intelligence (pi0). Sur le segment de la simulation pour la robotique, des acteurs comme Mujoco (DeepMind) et Genesis (MIT/CMU) occupent également le terrain. Les prochaines étapes annoncées par NVIDIA passent par l'extension des datasets ouverts et la montée en échelle des plateformes de simulation, sans timeline de commercialisation précisée pour les frameworks présentés à l'ICRA.

💬 Le 30% de gain sur le temps de cycle, c'est le seul chiffre qui va faire bouger un décideur industriel. NVIDIA ne fabrique pas de robots mais joue exactement le même coup qu'avec les GPU : devenir l'infrastructure incontournable avant que le marché soit mature, face à DeepMind, Meta et les autres. Reste que passer de 80% à 99% de fiabilité, le vrai seuil pour les lignes critiques, c'est encore une autre histoire.

EXPO-FT : affinage par apprentissage par renforcement économe en données pour les modèles vision-langage-action (VLA)

EXPO-FT est un système de fine-tuning par apprentissage par renforcement (RL) destiné à améliorer la fiabilité des politiques robotiques issues de modèles Vision-Langage-Action (VLA) pré-entraînés. Présenté dans un preprint arXiv (2605.25477, mai 2026), le système atteint un taux de réussite parfait : 30 succès sur 30 tentatives sur trois tâches de manipulation exigeantes. Ces tâches incluent guider une guirlande lumineuse dans son connecteur pour la faire s'allumer, frapper une balle de billard dans une poche, et insérer une fleur dans un goulot de bouteille à vin. Les résultats sont obtenus avec seulement 19,1 minutes en moyenne de données collectées sur robot réel, sans recours à la simulation. Le code source est publié en open source. Ce résultat attaque directement le "reliability gap" : l'écart persistant entre les capacités de généralisation des VLA pré-entraînés et leur fiabilité effective en conditions opérationnelles. Les modèles comme pi-0 (Physical Intelligence), OpenVLA (UC Berkeley) ou RT-2 (Google DeepMind) montrent une bonne généralisation entre tâches, mais peinent à dépasser les seuils de succès nécessaires en production industrielle. EXPO-FT propose une voie médiane : ni repartir de zéro avec du RL pur, coûteux en données et instable, ni se limiter au fine-tuning supervisé qui plafonne rapidement. En moins de 20 minutes de données réelles, le système atteint la perfection sur des exercices combinant précision millimétrique, dynamique de mouvement et robustesse aux variations d'état initial. Pour un intégrateur ou un COO déployant des bras robotiques sur ligne, c'est un signal que le commissioning par RL pourrait se mesurer en minutes plutôt qu'en jours, si ces résultats se confirment hors conditions de laboratoire. Ce travail s'inscrit dans la convergence accélérée entre LLM fondationnels et contrôle robotique amorcée depuis 2023. Google DeepMind avec Gemini Robotics, Physical Intelligence avec pi-0 et Covariant ont démontré que des politiques pré-entraînées à grande échelle offrent une base solide, mais la question du "last mile" restait ouverte. EXPO-FT y répond en publiant une infrastructure de RL finetuning stable et accessible. Les concurrents directs sur ce créneau sont les approches de reinforcement finetuning développées chez 1X Technologies et dans plusieurs labos académiques américains. Côté européen, des acteurs comme Enchanted Tools ou Wandercraft n'ont pas encore publié de travaux équivalents sur le RL finetuning de VLA, soulignant un écart notable avec la recherche américaine sur ce segment précis.

💬 30 sur 30, moins de 20 minutes de données réelles, code open source. C'est exactement le type de résultat qu'on attendait pour débloquer le commissioning robotique, parce que le vrai blocage n'a jamais été la généralisation (pi-0 et RT-2 l'ont prouvé) mais la fiabilité en conditions opérationnelles, ce fameux écart qui rend les démos impressionnantes et les déploiements industriels galères. Bon, sur le papier c'est parfait, mais je veux voir ça tenir sur une ligne d'assemblage qui ne ressemble pas à un setup de labo.

Le syndrome du béni-oui-oui : évaluer l'abstention dans les agents robotiques incarnés

Une équipe du laboratoire PursecLab a publié en mai 2026 un article documentant ce qu'ils nomment le "syndrome du yes-man" dans les VLM (vision-language models) utilisés comme planificateurs pour robots incarnés : ces modèles exécutent des instructions même lorsqu'elles sont physiquement infaisables, ambiguës ou fondées sur de fausses prémisses. Pour mesurer cette faille, les chercheurs ont développé RoboAbstention, un benchmark de 6 069 instructions générées à partir d'images issues de cinq jeux de données robotiques, via un pipeline en trois phases : ancrage visuel structuré, dérivation déterministe de contraintes physiques, et génération contrôlée par gabarits par catégorie. Les résultats sont sévères : Gemini 2.5 Flash, meilleur modèle général testé, n'abstient que dans 39,0 % des cas où il devrait refuser. Gemini Robotics ER 1.6 Preview, planificateur dédié à la robotique incarnée, tombe à 16,5 %. L'application de techniques de "defensive prompting" et d'in-context learning remonte ces taux à 93,6 % pour Gemini Robotics ER et 88,6 % pour GPT-5.4 Mini, sans résoudre entièrement le problème. Ce comportement représente un risque opérationnel concret : un robot qui ne détecte pas les limites d'une instruction peut endommager des équipements, violer des consignes de sécurité, ou échouer silencieusement sans signal d'erreur exploitable. La taxonomie proposée distingue quatre cas légitimes d'abstention - instruction ambiguë, contrainte physique violée, prémisse factuelle fausse, contexte sensoriel insuffisant. Le fait que des modèles dotés de raisonnement avancé échouent massivement démontre que la capacité à "savoir refuser" n'émerge pas naturellement avec la montée en puissance des VLM, y compris ceux dédiés à la robotique. Les benchmarks d'abstention existants portaient exclusivement sur des LLM en contexte textuel, ignorant les contraintes perceptuelles propres aux environnements physiques - c'est le vide que comble RoboAbstention. À mesure que les architectures VLA (Vision-Language-Action) se rapprochent des déploiements industriels réels, la validation comportementale avant mise en service devient un critère incontournable pour intégrateurs et décideurs industriels. Le benchmark est open-source sur purseclab.github.io/RoboAbstention, directement utilisable comme outil d'audit pré-déploiement. Aucun acteur européen n'est impliqué dans cette étude. Les prochaines étapes logiques pointent vers le fine-tuning ciblé sur l'abstention, les correctifs au niveau du prompt ayant montré leurs limites structurelles.

OxyGen : gestion unifiée du cache KV pour l'inférence de modèles VLA en parallélisme multi-tâches

Une équipe de chercheurs propose OxyGen, un système de gestion unifiée du cache KV (Key-Value) pour l'inférence des modèles VLA (Vision-Language-Action) sous parallélisme multi-tâches, décrit dans un preprint arXiv (2503.14371). Le travail cible en particulier π₀.₅, le modèle VLA de type Mixture-of-Transformers (MoT) développé par Physical Intelligence, une startup robotique fondée en 2023 par d'anciens chercheurs de Google et DeepMind. Sur un GPU NVIDIA GeForce RTX 4090, OxyGen atteint jusqu'à 3,7 fois la vitesse d'exécution par rapport à un système isolé classique, tout en maintenant simultanément un débit de plus de 200 tokens/s en génération de langage et une fréquence d'action de 70 Hz. Ces résultats ont également été validés sur un robot humanoïde physique embarquant un Jetson AGX Thor, la carte de calcul ciblée par NVIDIA pour les déploiements robotiques edge. Le problème que résout OxyGen est concret : lorsqu'un agent robotique doit exécuter simultanément plusieurs tâches (manipulation, conversation, mise à jour mémoire) à partir d'une même observation visuelle partagée, les systèmes d'inférence existants recalculent indépendamment le cache KV pour chaque tâche, générant une redondance coûteuse et une contention de ressources. Les auteurs identifient la gestion isolée des caches KV comme la cause racine et proposent deux optimisations clés : le partage cross-tâches du cache KV, qui élimine le recalcul des tokens d'observation lors du prefill, et le batching continu inter-frames, qui désolidarise la génération de langage à longueur variable de la génération d'actions à cadence fixe. Cette architecture est particulièrement structurante pour les intégrateurs qui cherchent à déployer des VLAs sur du matériel embarqué sans recourir à des serveurs GPU distants, un verrou majeur pour la commercialisation des robots à intelligence embarquée. Les modèles VLA de type MoT, dont π₀ (publié en octobre 2024) et π₀.₅ sont les représentants les plus visibles, routent les sorties hétérogènes vers des blocs transformer spécialisés tout en partageant un encodeur d'observation commun, ce qui rend techniquement possible le partage de cache KV inter-tâches proposé par OxyGen. Sur le plan concurrentiel, ce type d'optimisation d'inférence concerne aussi les VLAs de Google DeepMind (Gemini Robotics), OpenVLA, ainsi que les projets internes de Tesla pour Optimus Gen 3. Il s'agit à ce stade d'une contribution de recherche sans déploiement industriel annoncé, mais la validation sur robot réel avec Jetson AGX Thor embarqué indique une trajectoire claire vers le déploiement on-device à grande échelle.

MolmoAct2 : un modèle de raisonnement d'action pour le déploiement réel

L'Allen Institute for Artificial Intelligence (AllenAI) a publié MolmoAct2 en mai 2025, un modèle VLA (Vision-Language-Action) entièrement open source conçu pour le déploiement robotique en conditions réelles. Cinq contributions structurent le système : MolmoER, un backbone visio-linguistique entraîné sur 3,3 millions d'exemples spécialisés en raisonnement spatial et incarné ; MolmoAct2-BimanualYAM, 720 heures de trajectoires de manipulation bimanuelle téléopérées sur plateformes à coût modéré (SO100/101 et sous-ensembles Franka DROID), le plus grand corpus bimanuel ouvert à ce jour ; OpenFAST, un tokeniseur d'actions open weight couvrant cinq types d'embodiments ; une architecture hybride couplant un expert à actions continues par flow-matching à un VLM à tokens discrets via conditionnement KV-cache couche par couche ; et MolmoThink, qui ne recalcule les tokens de profondeur géométrique que pour les zones de scène modifiées entre deux pas de temps, réduisant la latence d'inférence. Sur sept benchmarks mêlant simulation et environnements réels, MolmoAct2 surpasse Pi-0.5 de Physical Intelligence ; MolmoER dépasse GPT-5 et Gemini Robotics ER-1.5 d'Alphabet sur treize benchmarks de raisonnement incarné. Poids, code et données d'entraînement sont publiés intégralement. La publication s'attaque à quatre verrous concrets du déploiement des VLA : modèles frontier fermés, dépendance à du matériel onéreux, latence prohibitive des politiques augmentées par raisonnement, et taux de succès trop bas pour un usage fiable en production. La mise à disposition simultanée des poids, du code d'entraînement et des données complètes reste rare dans un domaine largement dominé par le propriétaire. Ces 720 heures de données sur plateformes abordables élargissent l'accès à un corpus bimanuel jusqu'ici réservé à des setups coûteux. MolmoThink représente une approche concrète pour rendre le raisonnement géométrique compatible avec les contraintes temps-réel des contrôleurs embarqués. Il faut cependant souligner que ces performances sont mesurées sur benchmarks académiques : aucun déploiement industriel validé n'est annoncé dans cet article. AllenAI, institut non lucratif cofondé par Paul Allen à Seattle, avait publié le modèle Molmo fin 2024 avant d'étendre ses travaux au contrôle robotique avec MolmoAct. MolmoAct2 s'inscrit dans un paysage VLA dominé par des acteurs fermés : Physical Intelligence (Pi-0, Pi-0.5), Google DeepMind (Gemini Robotics, RT-2) et des équipes d'OpenAI dont les développements robotiques restent non publiés. Dans l'espace open source, il concurrence OpenVLA et Octo, avec l'avantage d'un corpus bimanuel inédit et d'un tokeniseur multi-embodiments standardisé. Aucun pilote commercial n'est annoncé ; la publication cible en priorité les équipes universitaires et les startups robotiques cherchant à s'affranchir de la dépendance aux modèles propriétaires.

💬 AllenAI publie les poids, le code et les données d'entraînement, et ça reste rarissime dans un domaine où les gros jouent à guichet fermé. 720 heures de manipulation bimanuelle sur du matériel accessible, un tokeniseur multi-embodiments open weight, et des scores au-dessus de Pi-0.5 et GPT-5 sur les benchmarks incarnés : les startups robotiques qui n'ont pas le budget Physical Intelligence vont s'en saisir. Bon, aucun déploiement industriel validé pour l'instant.

MODEX 2026 : retour sur le salon

MODEX 2026 s'est tenu à Atlanta avec plus de 1 000 exposants et environ 50 000 participants, confirmant sa place de principal salon supply chain en Amérique du Nord. Les éditeurs Eugene Demaitre (The Robot Report / Automated Warehouse) et Sarah Wynn (Packaging OEM) y ont recensé plusieurs dynamiques : montée en puissance des ASRS (systèmes automatisés de stockage et récupération) avec AutoStore et Attabotics dans une concurrence accrue, démonstrateurs de déchargement de camions signés Boston Dynamics, Pickle Robot et Slip Robotics, et manipulateurs mobiles Omron sur le segment intralogistique. FANUC présentait ses "rainbow pallets" développés avec Angelini Technologies, aux côtés de capteurs SICK et des solutions picking de Brightpick, Locus Robotics et Ocado. En marge du salon, deux annonces ont concentré l'attention. Skild AI a acquis la division robotique de Zebra Technologies, héritière de Fetch Robotics : selon Deepak Pathak, co-fondateur et CEO, "la Fetch Team est la principale raison de l'acquisition", pour ses années d'expérience de déploiement terrain. Skild prévoit de combiner son IA hardware-agnostic avec la plateforme d'orchestration Symmetry de Zebra, maintenir le support de la base installée Fetch, et développer de nouveaux produits entrepôt. Boston Dynamics a également annoncé l'intégration de Gemini Robotics ER 1.6 de Google DeepMind dans sa plateforme Orbit AIVI-Learning, promettant à Spot une capacité de raisonnement visuo-spatial, de planification de tâches et de détection de succès. L'acquisition Fetch-Skild est la pièce la plus structurante : elle permet à Skild de court-circuiter des années de déploiement terrain en récupérant directement l'équipe et la base client. Pour les intégrateurs, cela signifie un interlocuteur unifié sur l'IA embarquée, l'orchestration fleet-level et le support opérationnel, ce qui simplifie l'intégration mais réduit mécaniquement la concurrence entre briques logicielles. L'annonce Boston Dynamics-Google reste, elle, au stade partenarial : aucune métrique de performance industrielle n'a été publiée sur des cycles réels, et les capacités annoncées pour Gemini Robotics ER 1.6 (raisonnement spatial, task planning, success detection) sont pour l'instant documentées en conditions contrôlées. Fetch Robotics avait été racheté par Zebra Technologies en 2021 pour environ 290 millions de dollars ; cette cession à Skild marque une sortie discrète de Zebra du marché robotique autonome, trois ans après une intégration qui n'a pas tenu ses promesses de synergies. Skild AI, fondé par les anciens chercheurs de CMU Deepak Pathak et Abhinav Gupta, avait levé 300 millions de dollars en 2024 pour déployer son modèle de fondation multi-embodiment à travers différentes plateformes matérielles. Le partenariat Boston Dynamics-Google DeepMind s'inscrit dans la stratégie Gemini Robotics annoncée début 2025, qui consiste à diffuser les modèles VLA (Vision-Language-Action) dans des robots commerciaux via des OEM partenaires. Locus Robotics, concurrent direct sur le segment AMR picking, traverse des difficultés financières depuis 2023, ce qui redistribue les cartes sur ce segment précisément.

Boston Dynamics et Google DeepMind apprennent à Spot à raisonner

Boston Dynamics annonce l'intégration de Gemini Robotics-ER 1.6, le modèle de raisonnement incarné de Google DeepMind, dans son robot quadrupède Spot. Ce partenariat, rendu public en avril 2026, dote Spot de capacités de raisonnement autonome pour des missions d'inspection industrielle : détection de débris ou de fuites dangereuses, lecture de jauges et de regards de contrôle, et recours à des modèles vision-langage-action (VLA) lorsque la compréhension de l'environnement l'exige. Spot est aujourd'hui déployé à plusieurs milliers d'unités sur sites industriels, ce qui en fait l'une des rares plateformes à pattes ayant atteint une échelle commerciale réelle. Marco da Silva, vice-président et directeur général de Spot chez Boston Dynamics, parle de "réaction aux défis du monde réel de façon entièrement autonome", formulation prudente qui évite les superlatifs, mais qui reflète une ambition opérationnelle concrète. L'enjeu central de cette intégration est la réduction du fossé entre instruction humaine et exécution robot. Carolina Parada, responsable robotique chez Google DeepMind, résume le critère de réussite : "le système doit répondre comme un humain le ferait." Ce standard est plus exigeant qu'il n'y paraît. La vidéo de démonstration de Boston Dynamics l'illustre sans le vouloir : lorsqu'on demande à Spot de "recycler les canettes du salon", il saisit la canette de côté, ce qui serait problématique si elle contenait encore du liquide. Un humain éviterait instinctivement cette erreur en mobilisant des décennies d'expérience incarnée. Cet écart entre raisonnement déclaré et comportement effectif est précisément ce que DeepMind cherche à combler avec son benchmark ASIMOV, un corpus d'exemples en langage naturel décrivant ce qu'un robot ne devrait pas faire, ancré dans une logique de sécurité sémantique. La version actuelle de Spot n'utilise pas encore ces modèles pour la manipulation, mais les versions futures sont censées intégrer ce raisonnement sur la manière sûre de tenir les objets. Boston Dynamics dispose d'une longueur d'avance opérationnelle que peu de concurrents peuvent revendiquer : là où Figure, Agility Robotics ou Apptronik parlent encore de pilotes et de rampes de déploiement, Spot tourne en production dans des raffineries, des usines et des infrastructures critiques depuis plusieurs années. Le choix de Gemini Robotics-ER 1.6 comme couche de raisonnement haut niveau s'inscrit dans la stratégie de Google DeepMind de positionner ses modèles incarnés comme infrastructure pour l'industrie robotique, face aux approches concurrentes de Physical Intelligence (Pi-0), de NVIDIA (GR00T N2) ou de l'écosystème ROS2 open-source. Le vrai test ne sera pas la démo en salon, mais la fiabilité en environnement industriel bruité, sous contraintes de cycle et de disponibilité opérationnelle, des conditions que les benchmarks académiques ne capturent pas encore fidèlement.