Dossier Physical Intelligence — π0

StellaVLA : démonstration structurée en contexte pour des modèles vision-langage-action généralisables

StellaVLA est un framework pour les modèles Vision-Language-Action (VLA) qui s'adapte a des situations inédites a partir d'une seule démonstration récupérée au moment de l'inférence, sans finetuning. Une pipeline automatisée convertit chaque trajectoire brute en démonstration structurée (plan de tache, sous-objectifs, mouvement 3D verbalise) sans annotation humaine, puis un entrainement dual conjoint action-langage internalise ce raisonnement, l'inférence n'utilisant que l'expert d'action pour un contrôle temps réel sans latence ajoutée. Sur le classement VLA-Arena du 1er aout 2026, StellaVLA arrive premier avec un score de 0,63, contre 0,44 pour pi-0.5 et 0,22 pour LingBot-VLA. Il atteint aussi 98,8% de réussite sur LIBERO et 85,1% sur LIBERO-Plus, et des tests sur robot réel confirment l'usage de démonstrations humain/robot et humain-vers-robot captées en réalité étendue (XR). Le résultat cible un point faible connu des VLA : leurs performances s'effondrent des que la scene, le point de vue ou l'objet différent de l'entrainement, ce qui obligeait jusque-la a recollecter des données et refinetuner pour chaque cas. En rendant la démonstration transférable entre robot réel, main humaine et capture XR, StellaVLA laisse entrevoir une adaptation par simple exemple contextuel plutôt qu'un cycle complet de collecte-entrainement, ce qui intéressé les intégrateurs cherchant a réduire le cout de reconfiguration en usine ou en entrepôt. L'écart revendique face a pi-0.5 (Physical Intelligence) et LingBot-VLA sur un classement tiers reste toutefois, a ce stade, un résultat de preprint sur benchmarks simules et un échantillon limite de robot réel, non un déploiement industriel vérifie indépendamment. Le travail s'inscrit dans la vague des VLA généralistes lancée ces deux dernières années par les modèles pi de Physical Intelligence et par des systèmes comme GR00T N2 de NVIDIA ou Helix de Figure AI, tous confrontes au même écart entre démonstration et usage réel. En choisissant de se comparer directement a pi-0.5 et LingBot-VLA sur VLA-Arena, les auteurs positionnent StellaVLA comme concurrent de ces approches récentes plutôt que comme variante académique isolée. Publie en aout 2026 sur arXiv, l'article ne mentionne ni partenariat industriel ni calendrier de déploiement : il s'agit pour l'instant d'une contribution de recherche destinée a être reproduite avant toute intégration commerciale.

RoboHarness : robustesse des modèles vision-langage-action via une adaptation en contexte augmentée par mémoire

Des chercheurs présentent RoboHarness, un dispositif logiciel qui se greffe sur des modèles vision-langage-action (VLA) déjà entraines pour améliorer leur robustesse face au bruit perceptif et aux variations d'environnement, sans reentrainer les poids du réseau. L'architecture combine trois briques opérant en ligne, une récupération contrastive a double mémoire (RAG), un orchestrateur vision-langage pilote par un grand modèle de langage multimodal capable d'attribuer causalement les échecs d'exécution, et des interventions extensibles via le Model Context Protocol (MCP), auxquelles s'ajoute un module hors ligne de consolidation mémoire qui distille les traces d'exécution en connaissances a priori réutilisables. Les auteurs ont teste ce système sur trois modèles VLA de base, Pi-0, Pi-0.5 et SmolVLA, sur les benchmarks LIBERO-PRO et sur LIBERO-RoboHarness, un nouveau benchmark qu'ils ont eux-mêmes conçu. Resultat annonce: un gain moyen de taux de réussite absolu de 56,6%, avec une amélioration de 89,1% sur les taches longues enchaînées (long-horizon task chaining). Le code source et la page projet sont publies sur GitHub, sous le compte LZY-1021. Le papier, publie sur arXiv, en est a sa troisième version révisée. Cette approche cible une faiblesse connue des modèles VLA généralistes: leur fragilité des qu'ils sortent de la distribution de données d'entrainement, un écart souvent masque dans les démonstrations mais critique pour un déploiement industriel réel. En proposant une couche additive et sans fine-tuning, applicable a plusieurs backbones existants, RoboHarness s'inscrit dans une tendance émergente consistant a traiter la robustesse comme un problème d'orchestration et de mémoire en contexte plutôt que de seul entrainement. Pour les intégrateurs, cela laisse entrevoir la possibilité de renforcer des politiques VLA déjà déployées sans refaire les couteux cycles de collecte de données et de reentrainement, un argument potentiellement déterminant pour l'adoption en environnement industriel variable. Les modèles VLA généralistes, tels Pi-0 développe par Physical Intelligence, occupent une place croissante dans la robotique manipulatrice, aux cotes d'autres approches généralistes du secteur. RoboHarness ne constitue pas un nouveau modèle mais un harnais complémentaire, positionne comme correctif a la faiblesse structurelle de mémoire et d'attribution causale des VLA figes. Les benchmarks utilises restant majoritairement simules (suite LIBERO), la validation sur robot physique et en conditions industrielles reste l'étape a surveiller pour juger de la portée réelle de ces gains annonces.

Robotique : la manipulation est une correspondance vision-géométrie, au-delà du langage et de la vidéo

Une équipe de recherche du HCP Lab de l'Université Sun Yat-sen (SYSU), en Chine, a publié la version 2 d'un article arXiv (2604.12908) proposant un nouveau modèle baptisé VGA, pour Vision-Geometry-Action. La thèse centrale : la manipulation robotique est fondamentalement un problème de correspondance entre vision et géométrie (f(v) → G), puisque les actions physiques reposent sur des positions 3D et des relations spatiales précises. Plutôt que de bâtir le contrôle sur des modèles vision-langage (VLA) ou vidéo, comme le font la plupart des systèmes actuels, VGA remplace ce socle par un modèle du monde 3D préentraîné, auquel s'ajoute une méthode nommée Progressive Volumetric Modulation et un entraînement conjoint de la génération d'actions et de la prédiction de propriétés 3D, pour préserver la cohérence géométrique. En simulation, VGA dépasse plusieurs références de l'état de l'art : pi-0.5, OpenVLA-OFT, GeoVLA et Motus. En conditions réelles, il surpasse pi-0.5 sur des points de vue inédits et suit correctement des instructions en langage naturel pour saisir des objets cibles. L'enjeu dépasse la simple compétition de benchmarks : ce travail interroge un présupposé dominant du secteur, à savoir que les grands modèles vision-langage-action, popularisés par des systèmes comme pi-0 ou GR00T N2, constituent la voie la plus prometteuse vers une intelligence physique généralisable. En montrant que des représentations 3D natives, plutôt que des priors sémantiques 2D hérités du texte-image, améliorent la précision géométrique des saisies, l'étude fournit un argument concret pour les intégrateurs et laboratoires qui évaluent quel type de backbone privilégier dans leurs futures piles logicielles de manipulation. Ce résultat s'inscrit dans une compétition architecturale plus large entre approches VLA classiques, modèles vidéo prédictifs et approches 3D-VLA, incluant des systèmes comme GeoVLA et Motus déjà cités comme références de comparaison. Il s'agit à ce stade d'un article de recherche évalué en simulation et sur un nombre limité de déploiements réels en laboratoire, assorti d'une page projet dédiée, et non d'un produit commercial ou d'un déploiement industriel à grande échelle.

Robots humanoïdes : ramper, roue et backflips maîtrisés grâce aux données de mouvement et d'animation

Des chercheurs du RAI Institute et de Boston Dynamics ont développé ZEST (Zero-shot Embodied Skill Transfer), un framework d'apprentissage par renforcement permettant à des robots à pattes d'acquérir des mouvements agiles à partir de données de mouvement humain, en une seule phase d'entraînement plutôt qu'un réglage par tâche. Le système apprend depuis trois sources : capture de mouvement haute fidélité, vidéo simple caméra, et animation par images clés, converties en commandes robotiques par retargeting cinématique. Testé sur l'humanoïde Atlas et le quadrupède Spot de Boston Dynamics ainsi que sur le G1 d'Unitree, ZEST a reproduit des mouvements tels que reptation au sol, roulades avant, roue, breakdance, danse, tirs au but et escalade de caisses, plus un salto arrière continu et un tonneau pour Spot à partir de données d'animation. Chaque politique de contrôle a nécessité environ 10 heures d'entraînement, soit près de 7 000 itérations, sur un seul GPU NVIDIA L4, entraînée entièrement en simulation puis transférée sur le matériel réel sans réglage supplémentaire, en s'appuyant uniquement sur des capteurs proprioceptifs embarqués à l'exécution. Pour l'industrie robotique, l'intérêt tient à ce que ZEST élimine plusieurs briques habituelles des pipelines de contrôle : estimateurs d'état, longs historiques d'observation, fenêtres de référence future, calendriers de contact au sol et ingénierie poussée de récompenses propres à chaque tâche. Cela réduit potentiellement le travail d'ingénierie et de réglage requis pour chaque nouvelle compétence, un goulot d'étranglement connu du déploiement de robots humanoïdes et quadrupèdes. Le transfert réussi d'une même architecture entre un humanoïde et un quadrupède illustre une portabilité inter-morphologies rarement démontrée à ce niveau d'agilité. L'équipe reste toutefois prudente : le système n'a été validé que sur sols plats et non glissants, sans généralisation démontrée à des mouvements totalement inédits. Il s'agit donc d'une avancée de recherche publiée sous forme d'étude, avec des démonstrations en environnement contrôlé, et non d'un produit commercial déployé ou d'un pilote industriel annoncé. ZEST s'inscrit dans les travaux du RAI Institute, laboratoire de recherche lié à Boston Dynamics et centré sur le contrôle et l'apprentissage pour robots à pattes, prolongeant des efforts visant à réduire la dépendance à l'ingénierie manuelle des contrôleurs. Le framework se positionne différemment des modèles vision-langage-action comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, qui ciblent surtout la manipulation : ZEST vise l'agilité locomotrice et les mouvements corporels complets, du crawl militaire au salto arrière. Il ne nécessite pas d'annotations explicites de contact au sol, ce qui allège la préparation des données de démonstration. Les auteurs indiquent que les prochaines étapes porteront sur l'adaptation zero-shot et few-shot ainsi que sur l'apprentissage continu, sans calendrier ni partenaire de déploiement précisés à ce stade.

Modèle vision-langage-action Flex-π : un modèle du monde à multi-flux avec flexibilité de calcul

Une équipe de recherche présente Flex-π, un modèle monde-action (WAM) de 6 milliards de paramètres, détaillé dans un article déposé sur arXiv (2608.10860v1). Sa base est une découverte inattendue : l'encodeur VAE gelé, utilisé pour la génération vidéo et l'encodage RGB, retranscrit aussi presque sans perte les cartes de points 3D, sans entraînement dédié. Cela permet de superviser Flex-π sur la géométrie 3D et la sémantique objet-centrée DINO en plus du RGB, sans capteur, pré-entraînement supplémentaire ni surcoût de latence, dans une architecture Mixture-of-Transformers qui débruite conjointement ces signaux et les actions. Un dropout par flux avec renforcement inter-modalités permet à un même checkpoint de tourner du mode action seule jusqu'à la génération jointe complète ; sur des tâches de manipulation bimanuelle dextre et précise en conditions réelles, Flex-π bat les meilleures références de 2 à 7 fois tout en restant plus rapide que π0.5. Ce résultat comble une limite connue des modèles monde, qui prédisent surtout des pixels sans ancrage 3D ni compréhension sémantique des objets, ce qui freinait leur utilité pour la manipulation fine. Flex-π montre qu'un signal géométrique riche peut être extrait gratuitement d'un VAE vidéo déjà entraîné, sans caméra de profondeur ni pipeline 3D dédié, ce qui abaisse la barrière d'entrée pour les équipes de robotique. Sa flexibilité de calcul et son efficacité en démonstrations, avec des gains de 2 à 7x avec moins de données, répondent à deux freins des VLA (vision-language-action) : le coût d'intégration et le coût de collecte de données par tâche. Flex-π reste à ce stade une publication de recherche accompagnée d'un site de démonstration (flex-pi.github.io), sans annonce de produit commercial ni de déploiement industriel. La comparaison directe avec π0.5, le modèle de référence de Physical Intelligence, le positionne dans la course aux modèles vision-langage-action généralistes, aux côtés d'efforts comme GR00T N2 de NVIDIA ou Helix de Figure AI. L'article ne précise ni l'institution porteuse ni de calendrier, et ses résultats reposent sur des benchmarks internes plutôt que sur un déploiement chez un intégrateur tiers.

Nanyang Technological University, Peking University et BAAI dévoilent Omega-0, un modèle d'action corps entier qui réussit 81,8 % des tâches domestiques réelles

Des chercheurs de l'Université technologique de Nanyang (NTU), de l'Université de Pékin, de HKUST Guangzhou et du Beijing Academy of Artificial Intelligence (BAAI) ont publié Omega-0, un modèle d'action corps entier pour robots humanoïdes. Sur 11 tâches domestiques réelles, il atteint 81,8% de réussite, devançant pi-0.5, EgoVLA, GR00T-N1.7 et psi-0. Plutôt que de prédire les pixels futurs, Omega-0 prédit des caractéristiques visuelles latentes, à partir desquelles un transformeur de diffusion génère les actions du corps entier. L'entraînement suit trois étapes: un modèle vision-langage-action pré-entraîné via un tokenizer "Whole-Body FAST" qui affine Qwen3-VL-2B-Instruct avec des tokens de point de vue première et troisième personne, un pré-entraînement latent humain-robot inspiré de V-JEPA fusionnant vision, langage et proprioception, puis un affinage sur données domestiques réelles avec chunking temps réel pour la continuité des gestes. L'équipe a bâti pour cela Omega-HOME: 40,3 heures de données réelles, 4827 trajectoires téléopérées et 24 types de tâches, dont la prise d'objets, le nettoyage de surfaces et l'usage d'appareils électroménagers. Le résultat pèse moins que la méthodologie: pour éviter toute contamination, l'équipe a retiré les 11 tâches d'évaluation du jeu de pré-entraînement Omega-HOME, un souci de rigueur rare dans un secteur où les vidéos de démonstration sont souvent sélectionnées après coup. Pour les intégrateurs et décideurs industriels, Omega-0 illustre une approche qui couple prédiction de l'environnement futur et génération d'action corps entier dans un seul modèle, plutôt que de traiter perception, navigation et manipulation comme des sous-systèmes séparés. Le domicile reste la cible la plus difficile pour un humanoïde: il exige une perception continue combinée à une coordination motrice globale, contrairement à l'usine où tâches et environnement sont contrôlés. Un score de 81,8% sur tâches réelles, non simulées, réduit l'écart entre démonstration scénarisée et exécution robuste, sans le combler: les auteurs reconnaissent eux-mêmes que l'autonomie longue durée, l'interaction sécurisée et la généralisation à de nouvelles tâches restent non résolues. Le nom minimaliste du modèle suggère qu'Omega-0 est le premier d'une série, dans la lignée des modèles vision-langage-action qui structurent la recherche humanoïde depuis pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI. Omega-0 se mesure directement à ces références ainsi qu'à EgoVLA et psi-0, avec un protocole pensé pour limiter les biais de benchmark répandus dans le secteur. Aucun calendrier de commercialisation, de partenariat industriel ou de déploiement pilote n'est communiqué à ce stade: il s'agit d'une publication de recherche académique, pas d'un produit livré ni d'un déploiement réel à grande échelle. Les suites attendues portent vraisemblablement sur l'extension du jeu de données Omega-HOME au-delà de la sphère domestique et sur la validation de l'architecture latente sur d'autres plateformes robotiques, alors que la course humanoïde oppose désormais un nombre croissant de laboratoires universitaires chinois aux groupes commerciaux occidentaux.

EchoVLA : mémoire déclarative synergique pour un modèle vision-langage-action robotique en manipulation mobile

EchoVLA, un modèle vision-langage-action (VLA) pour la manipulation mobile, est décrit dans la version 3 d'un preprint arXiv (2511.18112). Il ajoute aux VLA classiques, limites a des taches courtes sur table fixe, une mémoire déclarative en deux volets inspirée du cerveau humain : une mémoire de scene qui conserve des cartes spatio-sémantiques de l'environnement, et une mémoire épisodique qui archive les expériences passées sous forme de traits multimodaux. Les deux mémoires sont mises a jour et interrogées séparément puis fusionnées par attention fine et grossière pour piloter des politiques de diffusion coordonnant base mobile et bras. Les auteurs introduisent aussi MoMani, un benchmark automatise générant des trajectoires expertes par planification via un modèle de langage multimodal, complète par des démonstrations sur robot réel. En simulation, EchoVLA atteint 0,52 de réussite sur les taches de manipulation/navigation et 0,31 sur la manipulation mobile complète, devançant la référence Pi-0.5 de +0,20 et +0,11 point. Ce résultat cible un angle mort connu du secteur : la plupart des VLA actuels opèrent a horizon court sur un bras fixe, sans mémoire persistante d'un contexte spatial évolutif, ce qui les rend mal adaptes aux robots devant naviguer puis manipuler dans un même environnement. Pour les intégrateurs combinant AMR et bras robotises, et pour les décideurs évaluant les promesses des VLA généralistes, l'écart avec Pi-0.5 montre un progrès réel, mais des taux de réussite de 0,31 a 0,52, obtenus surtout en simulation, restent loin d'une fiabilité industrielle et confirment que la manipulation mobile a grande échelle demeure un chantier ouvert. EchoVLA s'inscrit dans la vague de recherche visant a doter les agents incarnes d'une mémoire proche de celle d'un humain, aux cotes d'autres familles de VLA comme Pi-0, prises ici comme référence de comparaison plutôt que comme concurrent commercial. Aucun déploiement industriel ni partenariat n'est mentionne : la publication reste, a ce stade, un travail académique valide en simulation et par un nombre limite de démonstrations sur robot réel. Les auteurs ne communiquent pas de calendrier de transfert vers un pilote ou un produit ; la suite logique serait une validation plus large en conditions réelles, au-delà des tests déjà réalisés.

Humanoïdes : mouvement complet du corps et raisonnement multi-étapes avec Gemini Robotics 2

Google a présenté Gemini Robotics 2, un modèle conçu pour piloter des robots humanoïdes dans leur intégralité, marche, flexion, équilibre et manipulation d'objets inclus, avec la capacité de coordonner plusieurs machines et de s'adapter à différents corps robotiques après seulement quelques heures d'entraînement. Le système s'accompagne de deux modèles complémentaires, Gemini Robotics ER 2, dédié au raisonnement de haut niveau, et Gemini Robotics On-Device 2, exécuté localement sans connexion cloud. Lors des démonstrations, le modèle a piloté l'Apollo 2 d'Apptronik pour ramasser un arrosoir, traverser une pièce et le poser sur une étagère basse, et le même checkpoint a également fonctionné sur d'autres plateformes comme le Franka Duo. Google évoque aussi des gains de dextérité: les mains à cinq doigts d'Apollo 2 peuvent nouer un sac poubelle, refermer un sachet Ziploc ou dévisser une ampoule, tandis que sur des pinces industrielles à deux doigts le modèle réalise des insertions précises et de la manipulation d'outils. ER 2 est disponible via Google AI Studio et en prévisualisation privée sur la Gemini Enterprise Agent Platform, le modèle vision-langage-action et la version embarquée restant réservés à des partenaires en accès anticipé. Google a également introduit ASIMOV-Agentic, un benchmark de sécurité évaluant si un robot refuse une action dangereuse, détecte l'incertitude ou sollicite une aide humaine. Ce saut du pilotage de bras isolés au contrôle corporel complet est significatif pour l'industrie: la plupart des humanoïdes actuels restent limités à des tâches répétitives programmées, et la promesse d'un même modèle transférable d'une morphologie à l'autre avec moins de 200 exemples d'entraînement collectés en quelques heures s'attaque directement au problème du sim-to-real et du coût d'intégration, un point clé pour les industriels qui hésitent encore à déployer ces machines à grande échelle. Il faut toutefois noter que les métriques avancées, plusieurs minutes de tâches enchaînant des centaines de décisions, proviennent de démonstrations contrôlées et que le déploiement reste cantonné à des partenaires triés sur le volet: on est encore loin d'un produit généralisé sur le terrain. Cette annonce prolonge Gemini Robotics, lancé plus tôt dans l'année et limité à la manipulation sur table, en l'étendant au mouvement corporel complet. Elle intervient dans un paysage où Figure AI développe son propre modèle Helix, Tesla avance sur Optimus, Physical Intelligence mise sur Pi-0 et NVIDIA sur GR00T N2, chacun cherchant à imposer son architecture VLA comme standard pour les humanoïdes de nouvelle génération. Apptronik, partenaire de longue date de Google pour Apollo, reste pour l'instant le principal terrain de test visible de cette technologie, dont l'ouverture à d'autres intégrateurs dépendra des retours de ce programme d'accès anticipé.

TiPToP : un système modulaire de manipulation robotique en vocabulaire ouvert, capable de planifier

TiPToP, un système modulaire de manipulation robotique présenté dans un article arXiv (2603.09971), combine des modèles de fondation pré-entraînés avec un planificateur de tâches et de mouvements (TAMP) accéléré par GPU pour exécuter des consignes directement à partir d'images RGB et de langage naturel, sans aucune donnée d'entraînement robotique spécifique. Le système se déploie sur une configuration DROID standard en moins d'une heure et s'adapte à de nouvelles morphologies de robot avec un effort minimal. Les chercheurs l'ont comparé à Pi-0.5-DROID, un modèle vision-langage-action (VLA) affiné sur 350 heures de démonstrations, sur deux installations DROID réelles (dont une opérée par une équipe externe) ainsi qu'en simulation. TiPToP y obtient un taux de réussite moyen supérieur et un temps d'exécution plus rapide. Sur le benchmark MolmoSpaces, il se classe premier sur les tâches de préhension simple et de préhension-et-placement parmi les méthodes n'ayant pas été entraînées sur des données de la même distribution. Le code et le site du projet sont disponibles en libre accès (tiptop-robot.github.io). Ce résultat pèse dans un débat central du secteur : celui de l'approche VLA de bout en bout, gourmande en démonstrations réelles, face à des architectures modulaires combinant perception, planification et exécution séparées. En battant un VLA entraîné sur 350 heures de téléopération sans utiliser de données robot du tout, TiPToP suggère que la planification symbolique appuyée sur des modèles de fondation généralistes peut rivaliser, voire dépasser, l'apprentissage bout-en-bout sur des tâches de manipulation courantes. Pour les intégrateurs et équipes de recherche en robotique, l'argument de déploiement en moins d'une heure sur du matériel standard, sans collecte de données propriétaire, change potentiellement le calcul coût/bénéfice face aux VLA qui nécessitent des semaines de téléopération avant le moindre test. L'atout de traçabilité des échecs par composant, propre à la modularité, est aussi un argument pratique pour le débogage industriel, souvent absent des architectures VLA monolithiques. Le projet s'inscrit dans la lignée des travaux combinant TAMP classique et modèles de fondation, à mesure que des benchmarks comme MolmoSpaces et le protocole DROID (plateforme de collecte et d'évaluation partagée entre laboratoires) se standardisent pour comparer objectivement les approches. Les résultats restent toutefois auto-rapportés par les auteurs, sur un nombre limité de configurations matérielles, et demandent confirmation par des équipes tierces indépendantes à plus grande échelle avant de trancher définitivement le débat modulaire contre bout-en-bout.

CycleVLA : correction proactive et autonome des modèles vision-langage-action par retour en arrière des sous-tâches et décodage à risque bayésien minimal

Des chercheurs présentent CycleVLA, un système qui dote les modèles Vision-Language-Action (VLA) d'une capacité d'autocorrection proactive, c'est à dire anticiper un échec avant qu'il ne se produise plutôt que le corriger après coup comme le font les approches existantes. L'architecture combine trois briques : un VLA conscient de sa progression qui repère les points de transition critiques entre sous-tâches, là où les échecs surviennent le plus souvent, un prédicteur d'échec basé sur un VLM qui déclenche un retour en arrière ciblé (subtask backtracking) dès qu'un risque est détecté, et une stratégie de test-time scaling fondée sur le décodage à risque bayésien minimal (Minimum Bayes Risk, MBR) pour améliorer les chances de réussite lors des tentatives suivantes. Sur les bancs d'essai en simulation LIBERO et LIBERO-Plus, CycleVLA dépasse le modèle de référence pi-0.5 et améliore les taux de réussite sur des politiques VLA de maturité variable, des modèles sous-entraînés aux versions pleinement convergées. Sur robot réel, le système atteint un taux de réussite moyen de 91% sur trois tâches de manipulation, dont une exigeant une grande précision et deux à horizon long. Des tests de robustesse avec perturbations injectées manuellement, comme l'échange d'un objet distracteur à l'emplacement attendu pendant que la vraie cible est déplacée en cours d'exécution, montrent que CycleVLA corrige environ 80% des échecs provoqués artificiellement. Ce travail s'attaque à un point faible connu des VLA en conditions réelles : la plupart des systèmes actuels ne réagissent qu'après l'échec constaté, ce qui coûte du temps et de la fiabilité en environnement industriel ou domestique. Démontrer une correction proactive, avant la manifestation complète de l'erreur, constitue un argument concret pour rapprocher les démonstrations en simulation des déploiements réels, un écart qui reste l'un des principaux freins à l'adoption des VLA par les intégrateurs robotiques. CycleVLA s'inscrit dans la lignée des travaux récents sur la détection et la correction d'échecs pour les modèles de type VLA, aux côtés de références comme GR00T N2 ou Helix, et se positionne explicitement contre pi-0.5 dans ses comparaisons de performance. Les auteurs présentent leur travail comme une réplique (replace) sur arXiv, signe d'une itération après une première version, et mettent à disposition une page projet dédiée avec démonstrations vidéo pour documenter les résultats sur robot réel.

VLASH : des VLA en temps réel grâce à une inférence asynchrone anticipant les états futurs

Des chercheurs du MIT Han Lab publient VLASH, une méthode d'inférence asynchrone pour les modèles Vision-Language-Action (VLA) qui vise à résoudre le problème de latence de réaction sur les robots. Aujourd'hui, la plupart des VLA fonctionnent en mode synchrone : le robot suspend son action pendant que le modèle calcule la suivante, ce qui crée des à-coups visibles et l'empêche de réagir aux changements de son environnement pendant l'exécution. L'inférence asynchrone permettait déjà d'agir et de calculer en parallèle, mais générait un décalage temporel entre l'état prédit et l'état réel au moment de l'exécution, provoquant de l'instabilité. VLASH corrige ce décalage en projetant l'état futur du robot à partir du chunk d'action précédent, sans changement d'architecture ni surcoût de calcul. Les auteurs annoncent une réduction de la latence de réaction jusqu'à 11,8 fois par rapport à l'inférence synchrone, une précision supérieure à toutes les méthodes asynchrones existantes, et, combinée à une quantification des actions, une accélération de 1,5 à 2 fois du temps de complétion des tâches avec une perte de précision minime. Le code est disponible sur GitHub (mit-han-lab/vlash). Pour l'industrie robotique, cette avancée s'attaque directement à un goulot d'étranglement connu des VLA à l'échelle : leur difficulté à gérer des tâches rapides et dynamiques, un point faible régulièrement cité face aux approches de contrôle classiques. En améliorant un modèle existant comme π0.5 sans le réentraîner ni alourdir son architecture, VLASH illustre une voie d'optimisation logicielle low-cost pour rendre les VLA déployables sur des cas d'usage à haute cadence, un enjeu clé pour les intégrateurs qui cherchent à sortir ces modèles du seul cadre de la démonstration en laboratoire. Les auteurs démontrent concrètement ce gain sur des tâches exigeant une réaction fine et rapide, comme jouer au ping-pong ou au jeu de la taupe, des scénarios où l'inférence synchrone échoue purement et simplement. Ce travail s'inscrit dans une course plus large autour des VLA temps réel, aux côtés de modèles comme GR00T N2, Pi-0 ou Helix, où la latence de contrôle devient un critère de différenciation aussi important que la précision des gestes.

N₀-TWAM : passage à l'échelle d'un modèle monde-action tactile natif pour la manipulation à contacts riches

Des chercheurs présentent N0-TWAM, un modèle monde-action "tactile natif" conçu pour la manipulation robotique dans des tâches à contact riche, capable de prédire à la fois l'image future et le contact physique futur. Selon les auteurs, il s'agirait du premier modèle monde-action tactile entraîné à grande échelle, une affirmation à prendre avec la prudence habituelle pour ce type de papier arXiv (2607.23783, non encore relu par les pairs). Le pré-entraînement combine vision et tactile sur des démonstrations couvrant six morphologies de robots différentes et 450 tâches. Le système s'appuie sur NeoForce, une représentation tactile unifiée basée sur la force, censée fournir un signal de contact physiquement ancré pour guider la génération d'actions. Pour gérer les tâches longues et multi-étapes, les auteurs introduisent des "événements de contact tactile" qui marquent la progression d'une étape à l'autre. Côté architecture, un Mixture-of-Transformers asymétrique associe un expert large pour la prédiction vidéo à des experts plus légers pour l'action et le tactile, dans un souci d'efficacité temps réel. Le modèle a été évalué sur des benchmarks réels et simulés, et le code ainsi que les poids seront publiés en open source. L'enjeu dépasse la simple prouesse technique. Les modèles vision-langage-action actuels, de π0 à GR00T N2 en passant par Helix, reposent presque exclusivement sur la vision, ce qui explique une bonne partie de leurs échecs sur les tâches fines de contact : insertion de pièces, préhension d'objets déformables, assemblage. Un modèle qui démontre un gain mesurable grâce au passage à l'échelle des données tactiles apporterait un signal utile pour les intégrateurs industriels confrontés à ce fossé entre démonstration en vidéo et fiabilité en production. Le manque de jeux de données tactiles standardisés à grande échelle est resté un frein connu du secteur, contrairement à la vision où les corpus type RT-X abondent. En couvrant six embodiments, N0-TWAM s'inscrit dans cette logique de généralisation multi-robots. La publication annoncée du code et des checkpoints permettra à la communauté de vérifier ces résultats et d'évaluer si l'approche tient face à des déploiements réels sur des tâches d'assemblage ou de manipulation fine.

AXIS : un moteur de données communautaire évolutif pour la manipulation robotique à grande échelle

Des chercheurs ont présenté AXIS, un moteur de données communautaire et évolutif pour l'apprentissage de la manipulation robotique, décrit dans un article déposé sur arXiv le 24 juillet 2026. Le système permet de collecter des démonstrations à grande échelle via téléopération directement dans le navigateur, sans matériel spécialisé ni opérateurs centralisés, et génère puis valide automatiquement de nouvelles tâches de manipulation. Un pipeline automatisé filtre la qualité des trajectoires, les lisse et applique des augmentations visuelles et physiques pour produire des données prêtes à l'entraînement. Le jeu de données AXIS compte actuellement 207 tâches diverses et plus de 50 000 trajectoires, organisées en "task snapshots" évalués selon un protocole strict à données retenues (held-out). Ce travail cible un goulot d'étranglement bien identifié du secteur : la difficulté à faire grandir les jeux de démonstrations utilisés pour entraîner les politiques vision-langage-action (VLA), jusqu'ici souvent limités par du matériel dédié ou des catalogues de tâches figés. Les auteurs montrent que le pré-entraînement continu sur AXIS améliore le taux de réussite global du modèle π0.5 de 5,8 points, et dépasse de 37,3 points un modèle pré-entraîné sur RoboCasa365, avec des gains qui s'accentuent à mesure que le volume de données augmente. Les progrès les plus nets apparaissent sous perturbations de disposition, de bruit capteur et de point de vue caméra, un signal utile pour les intégrateurs cherchant des politiques robustes hors laboratoire plutôt que de simples démonstrations réussies en conditions idéales. Le projet s'inscrit dans une tendance émergente consistant à traiter la collecte de données robotiques comme un problème d'échelle communautaire, à l'image de ce que le crowdsourcing a permis pour les grands modèles de langage. Il se positionne explicitement face à RoboCasa365, utilisé comme référence de comparaison, et s'appuie sur des politiques VLA existantes telles que π0.5 pour évaluer l'apport réel des données AXIS. Il s'agit à ce stade d'un article de recherche déposé en preprint, dont les résultats n'ont pas encore été validés par relecture par les pairs ni reproduits par des équipes tierces.

« FabriVLA de Youibot, modèle 1 milliard de paramètres, dépasse Pi-Zero et prend la tête du classement en IA incarnée »

Youibot a annoncé que son modèle FabriVLA, doté d'à peine 1 milliard de paramètres, s'est hissé en tête du classement Evo-SOTA sur le benchmark Meta-World MT50, avec un taux de réussite moyen de 90,0%, devançant ainsi Pi-Zero de Physical Intelligence. MT50 évalue la maîtrise simultanée de 50 tâches de manipulation distinctes, un test jugé représentatif des exigences multi-tâches du secteur industriel. L'innovation revendiquée par Youibot ne tient pas à la taille du modèle mais à son architecture, pensée spécifiquement pour la manipulation robotique plutôt que calquée sur la course générale au nombre de paramètres. Deux mécanismes sont mis en avant : une fusion de caractéristiques visuelles profondes et superficielles, censée permettre au modèle de saisir à la fois l'objectif sémantique global d'une tâche et le positionnement spatial fin, et un mécanisme d'auto-attention à portes qui relie chaque étape d'une séquence d'actions aux étapes précédentes et suivantes pour fluidifier les transitions. Une étude d'ablation fournie par l'entreprise indique que retirer la fusion profonde/superficielle fait chuter le score moyen de 90,0% à 82,9%, l'auto-attention à portes étant présentée comme le composant le plus déterminant de la tête d'action. Youibot revendique par ailleurs plus de 800 déploiements industriels réels dans les secteurs des semi-conducteurs, de l'énergie et des batteries, ainsi que 4 000 commandes enregistrées dès le lancement de son robot humanoïde Fengxi. L'enjeu commercial de ce résultat, s'il se confirme au-delà du seul classement, tient à la taille du modèle. Un modèle plus compact consomme moins de puissance de calcul, réduit la latence et peut fonctionner directement sur le matériel embarqué du robot sans dépendre du cloud, un facteur clé dans des usines où la connectivité réseau n'est pas garantie. Cela vient contredire l'hypothèse dominante selon laquelle la performance en intelligence embarquée passerait nécessairement par une montée en échelle massive des paramètres, à l'image des modèles VLA les plus lourds du marché. Il convient toutefois de noter que les classements de type Evo-SOTA reposent sur des benchmarks en simulation, dont la représentativité vis-à-vis de conditions industrielles réelles reste à démontrer au cas par cas. Ce résultat s'inscrit dans une compétition de plus en plus vive entre modèles VLA (vision-langage-action), aux côtés d'acteurs comme Physical Intelligence, Nvidia avec GR00T N2, ou Figure AI avec Helix. Youibot, déjà présent industriellement en Chine, affiche un objectif de déploiement sur 10 000 sites, un chiffre que la légèreté de FabriVLA rendrait, selon l'entreprise, plus atteignable qu'auparavant faute d'infrastructure de calcul massive à installer sur chaque site.

RobustVLA : robustesse d'un modèle vision-langage-action face aux perturbations multimodales

RobustVLA s'attaque à un angle mort des modèles Vision-Language-Action (VLA) : leur fragilité face aux perturbations réelles. Une équipe de recherche a d'abord testé les principaux VLA sous 17 types de perturbations réparties sur quatre modalités (actions, instructions, environnement, observations visuelles). Résultat : les actions constituent la modalité la plus fragile, les modèles réputés robustes visuellement (comme BYOVLA) ne conservent aucun gain sur les autres modalités, et pi0 se distingue par une robustesse supérieure aux autres backbones testés. Pour corriger ces faiblesses, les chercheurs proposent RobustVLA, qui combine une optimisation robuste hors ligne contre le pire cas de bruit sur les actions (via l'objectif de flow matching) et un mécanisme forçant des actions cohérentes malgré les variations d'entrée. La sélection automatique des perturbations les plus nuisibles est traitée comme un problème de bandit multi-bras, résolu par un algorithme d'upper confidence bound. Sur le benchmark LIBERO, RobustVLA gagne 12,6% de réussite absolue sur backbone pi0 et 10,4% sur OpenVLA face aux 17 perturbations combinées, avec une inférence 50,6 fois plus rapide que BYOVLA, qui dépend de LLM externes. Cette avancée touche un point sensible pour l'industrie robotique : la plupart des démonstrations de VLA impressionnent en conditions contrôlées mais s'effondrent face au bruit réel (mauvaise calibration caméra, instructions ambiguës, occlusions, dérive capteurs). En identifiant les actions comme le maillon le plus faible, l'étude remet en question l'hypothèse répandue selon laquelle la robustesse visuelle suffirait à garantir un déploiement fiable. Sur robot réel FR5, RobustVLA dépasse pi0 de 65,6% de taux de réussite avec seulement 25 démonstrations, un résultat clé pour les intégrateurs qui manquent de données d'entraînement en environnement industriel. Même avec des données abondantes, le gain reste de 30%, ce qui suggère que la méthode n'est pas qu'un palliatif pour le few-shot mais une amélioration structurelle. Le papier s'inscrit dans la lignée des travaux récents sur pi0 (Physical Intelligence) et OpenVLA, deux architectures de référence dans la course aux modèles génériques de manipulation robotique. Il répond directement aux limites de BYOVLA, une approche antérieure de robustesse visuelle jugée coûteuse en calcul car dépendante de LLM externes. Les auteurs positionnent RobustVLA comme une alternative légère et généralisable, testée à la fois en simulation (LIBERO) et en conditions réelles. Le code et des vidéos de démonstration sont disponibles sur GitHub, ce qui permettra une validation indépendante par la communauté avant une adoption plus large en environnement industriel.

AC-VLA : exécution robuste d'actions hors distribution par apprentissage compositionnel

Des chercheurs présentent AC-VLA (Action Compositional Vision-Language-Action), un framework destiné à corriger les lacunes des modèles VLA lorsqu'ils doivent recombiner des sous-tâches déjà apprises dans des configurations inédites. L'équipe identifie deux défauts qui se renforcent mutuellement : le "trajectory overfitting", où le modèle mémorise des trajectoires globales plutôt que la sémantique des sous-compétences, et le "perceptual shortcut", où les tokens d'action s'appuient excessivement sur les textures visibles par la caméra poignet au détriment d'un ancrage spatial global. AC-VLA combine deux briques indépendantes de l'architecture : un module d'apprentissage compositionnel, qui utilise un LLM pour décomposer les instructions et un aligneur de trajectoires proprioceptives afin de générer une supervision dense par sous-tâche, entraîné en mélange avec des démonstrations complètes ; et une stratégie de masquage asymétrique conditionné à l'état, qui coupe les entrées de la caméra poignet pendant les phases de préhension fermée pour forcer le modèle à s'appuyer sur une vision globale. Implémenté sur le modèle π0.5 et testé sur les benchmarks LIBERO et LIBERO-OOD, AC-VLA obtient environ 28 points de pourcentage de gain absolu sur les tâches compositionnelles hors distribution, sans dégrader les performances sur les tâches classiques. Ce résultat touche un point sensible du secteur robotique : la capacité réelle des modèles VLA à généraliser au-delà de ce qu'ils ont vu à l'entraînement, plutôt qu'à simplement reproduire des démonstrations mémorisées. C'est précisément l'écart entre démonstration scénarisée et robustesse en conditions réelles que pointent régulièrement les critiques adressées aux vidéos promotionnelles de humanoïdes comme Figure ou Optimus. Un gain de 28 points sur des scénarios recombinés, sans architecture spécifique ni perte en distribution, suggère qu'une partie du problème de généralisation compositionnelle peut se résoudre par la donnée et la supervision plutôt que par des modèles plus gros. AC-VLA se positionne comme une méthode "plug-and-play", compatible avec n'importe quel backbone VLA existant, dans la lignée des travaux récents comme π0, GR00T N2 ou Helix qui cherchent à industrialiser l'apprentissage par imitation à grande échelle. Le choix de π0.5 comme base d'évaluation ancre directement la contribution dans l'écosystème Physical Intelligence. Les auteurs ne mentionnent pas de déploiement matériel réel ni de calendrier de transfert vers des robots physiques : à ce stade, les résultats restent circonscrits aux benchmarks de simulation LIBERO.

Vision qui prime sur le langage : évaluer et corriger les échecs contrefactuels dans les VLA

Des chercheurs viennent de documenter un défaut structurel des modèles Vision-Language-Action (VLA), ces systèmes censés traduire une instruction en langage naturel en commande robotique. Dans un article mis à jour sur arXiv (2602.17659v2), l'équipe montre que face à des instructions peu représentées dans les données d'entraînement, les VLA ignorent souvent le langage et se rabattent sur des raccourcis visuels : ils répètent l'action la plus fréquemment apprise ou saisissent l'objet le plus vu pendant l'entraînement, sans tenir compte de la consigne réelle. Ce phénomène, baptisé "échec contrefactuel", est évalué grâce à un nouveau benchmark, LIBERO-CF, premier du genre à tester la fidélité au langage en assignant des instructions alternatives sur des scènes visuellement plausibles issues de LIBERO. Pour y remédier, les auteurs proposent Counterfactual Action Guidance (CAG), une méthode d'inférence à double branche qui combine la politique VLA standard avec un module Vision-Action non conditionné par le langage, permettant une comparaison contrefactuelle au moment de choisir l'action. Sur LIBERO-CF, CAG améliore le modèle π0.5 de 9,7% en fidélité au langage et 3,6% en taux de réussite sur les tâches sous-représentées, sans entraînement supplémentaire ; associé à un modèle VA dédié, les gains montent à 15,5% et 8,5%. En conditions réelles, la méthode réduit les échecs contrefactuels de 9,4% et améliore la réussite des tâches de 17,2% en moyenne. Cette découverte pèse directement sur la crédibilité des VLA comme π0, GR00T N2 ou Helix pour un usage industriel : elle confirme qu'un robot peut sembler compétent en démonstration tout en étant en réalité biaisé par ses données, un écart classique entre performance affichée et robustesse réelle. Pour un intégrateur, cela signifie qu'une consigne inhabituelle en environnement de production risque d'être mal exécutée sans erreur visible, un risque de sécurité et de fiabilité difficile à détecter sans benchmark dédié. L'approche s'inscrit dans un effort plus large de la recherche VLA pour renforcer l'ancrage langage-action, jusqu'ici dominé par l'augmentation du volume de démonstrations plutôt que par des corrections architecturales. L'atout de CAG est de ne nécessiter ni données supplémentaires ni modification des modèles pré-entraînés, ce qui facilite son adoption en complément d'architectures existantes. Les auteurs annoncent des expériences étendues à divers VLA, ouvrant la voie à une adoption comme brique standard d'évaluation et de correction avant déploiement réel.

NVIDIA explique comment évaluer les politiques robotiques polyvalentes en conditions réelles

NVIDIA a publié un billet technique détaillant les limites actuelles des méthodes d'évaluation des modèles fondation pour la robotique généraliste, ainsi que RoboLab, sa plateforme de benchmarking en simulation censée y répondre. L'entreprise identifie quatre failles structurelles dans les protocoles de test existants. D'abord, un chevauchement du domaine visuel entre entraînement et évaluation : quand un modèle est affiné puis testé dans le même environnement simulé, un bon score ne prouve que sa mémorisation du décor, pas sa capacité de généralisation. Les approches dites real2sim, qui reconstruisent des scènes photoréalistes à partir d'images réelles via inpainting ou Gaussian splatting, corrigent partiellement ce biais mais exigent souvent plus d'une heure de préparation par scène, ce qui rend les tests à grande échelle peu praticables. Ensuite, la plupart des benchmarks reposent sur un jeu de tâches figé, vite saturé : lorsque tous les modèles dépassent 90% de réussite sur le même test, les chiffres perdent leur pouvoir discriminant. NVIDIA pointe aussi un déficit de diagnostic, un simple score de succès binaire ne dit rien sur la cause d'un échec (confusion de couleur, formulation de l'instruction, décalage de caméra). Enfin, l'entreprise soulève un problème de fiabilité statistique : un taux de succès mesuré sur un petit nombre d'essais peut tromper. Exemple donné, une politique affichant 90% de réussite sur seulement 70 rollouts a, selon la méthode de Clopper-Pearson pour calculer un intervalle de confiance binomial exact, un intervalle de confiance à 95% qui s'étend sur 15,4 points de pourcentage, un écart énorme pour un chiffre présenté comme une performance unique. L'exemple illustratif porte sur la politique pi-0.5 de Physical Intelligence testée sur une tâche de tri d'objets ("poser la tasse à mesurer orange et la tasse bleue en dehors de l'assiette"). Pour les intégrateurs et décideurs B2B qui doivent choisir entre plusieurs modèles vision-language-action (VLA) pour équiper des bras ou des humanoïdes, ce travail est une mise en garde directe contre les chiffres de communiqués de presse. Un score de succès affiché sans intervalle de confiance ni contrôle du chevauchement visuel peut masquer un simple surapprentissage plutôt qu'une réelle capacité de généralisation en conditions réelles. Cela renforce l'hypothèse, déjà répandue dans le secteur, d'un écart persistant entre démonstrations et déploiement effectif, et invite à exiger des fournisseurs des protocoles d'évaluation reproductibles plutôt que des vidéos sélectionnées. Cette initiative s'inscrit dans l'effort plus large de NVIDIA autour des fondations robotiques, aux côtés de ses plateformes Isaac Sim et Isaac Lab, dans un secteur où rivalisent des laboratoires comme Physical Intelligence (pi-0, pi-0.5), Google DeepMind (Gemini Robotics) ou Figure AI. À mesure que les modèles VLA généralistes se multiplient, la question de la mesure standardisée devient centrale pour départager annonces marketing et progrès réels, et RoboLab se positionne comme une tentative de fournir un cadre commun avant que le marché ne soit inondé de comparatifs invérifiables.

Xiaomi-Robotics-U0 : synthèse incarnée unifiée avec modèle fondation du monde

Xiaomi Robotics a publié U0, un modèle multimodal autorégressif de 38 milliards de paramètres conçu pour unifier plusieurs tâches de génération liées à la robotique au sein d'un seul système. Décrit dans un article déposé sur arXiv, U0 traite la synthèse de contenus "incarnés" comme une extension directe des modèles de génération d'images et de vidéos fondationnels, en optimisant conjointement le texte-vers-image, l'édition d'images, la génération de scènes incarnées, le transfert incarné et la génération vidéo incarnée. Selon les auteurs, il s'agit du premier modèle capable de générer des scènes cohérentes en multi-vues pour plusieurs types de robots différents, et il introduit un mécanisme de transfert structuré et contrôlable permettant une édition fine tout en préservant la cohérence géométrique et la dynamique d'interaction. Les résultats rapportés indiquent que U0 dépasse GPT-Image-2.0 lors d'évaluations humaines sur la génération et le transfert de scènes incarnées, se classe premier sur le classement World Arena pour la génération vidéo incarnée, et fait passer le taux de succès hors distribution du modèle de manipulation pi0.5 de 36,9% à 63,2% sur des tâches de manipulation réelle jugées difficiles. Le code et les checkpoints sont mis à disposition sur le site de Xiaomi Robotics. L'enjeu principal ne se situe pas dans la démonstration visuelle mais dans l'usage de U0 comme moteur de données synthétiques pour l'entraînement de politiques robotiques. Le gain mesuré sur pi0.5, un modèle vision-langage-action tiers développé par Physical Intelligence, est le point le plus significatif: il suggère qu'un monde fondationnel bien conçu peut générer des données d'entraînement suffisamment réalistes pour améliorer la généralisation d'un VLA existant sur des tâches de manipulation réelles, et pas seulement sur des métriques internes. C'est une piste concrète pour réduire l'écart simulation-vers-réel qui freine encore le déploiement à grande échelle des robots humanoïdes et bras manipulateurs, en offrant une alternative à la collecte coûteuse de données physiques. Le travail part d'un constat classique dans le secteur: adapter un modèle fondationnel pré-entraîné avec des données robotiques limitées tend à dégrader les connaissances visuelles acquises lors du pré-entraînement à grande échelle. U0 cherche à préserver cette généralisation tout en l'adaptant aux contraintes des embodiments robotiques. Il se positionne face à des approches comme GR00T N2 de NVIDIA ou les modèles Pi de Physical Intelligence, dans une course où Xiaomi investit désormais explicitement la recherche en IA incarnée. Pour l'instant, la publication reste au stade recherche: code et poids sont ouverts, mais aucun déploiement produit ni pilote industriel n'est annoncé.

L'efficacité du fine-tuning LoRA pour les modèles vision-langage-action dans la manipulation robotique industrielle

Une équipe de recherche publie une étude systématique sur l'adaptation à faible rang (LoRA) appliquée à π0, un modèle Vision-Language-Action (VLA) à correspondance de flux, testé sur quatre tâches d'assemblage de précision avec un bras robotique UR5e. Les chercheurs ont balayé des rangs LoRA de 8 à 256, plusieurs stratégies d'allocation des paramètres, et testé le gel sélectif de composants du modèle. Résultat principal : aucune différence statistiquement significative de performance entre le fine-tuning complet (FFT), qui exige des GPU de datacenter, et certaines configurations LoRA. Les performances plafonnent dès un rang de 32, avec une allocation uniforme des paramètres entraînables entre le backbone vision-langage (VLM) et l'expert d'action qui suffit à égaler le FFT. Geler le VLM ou limiter le LoRA au seul encodeur visuel dégrade nettement les résultats. Avec cette configuration optimale (rang 32, encodeur visuel entièrement ajustable), la mémoire VRAM statique de pointe chute de 36,2 à 10,8 Gio, hors mémoire d'activation, sans perte de performance mesurable. Pour l'industrie robotique, ce résultat a une portée pratique directe : il abaisse fortement la barrière matérielle pour spécialiser un modèle VLA préentraîné à un cas d'usage industriel précis, sans avoir besoin d'un cluster GPU dédié à l'entraînement complet. C'est un signal utile pour les intégrateurs et PME qui veulent déployer des politiques de manipulation fine sans les moyens des grands laboratoires. L'étude apporte aussi un contrepoint méthodologique à l'hypothèse selon laquelle seul un réentraînement complet permettrait de combler le "gap d'incarnation" entre un modèle généraliste et un robot physique donné : ici, un ajustement ciblé mais bien réparti sur les couches sémantiques et visuelles suffit. π0 est le modèle VLA développé par Physical Intelligence, l'un des laboratoires de référence sur les politiques de manipulation par apprentissage à grande échelle, aux côtés d'acteurs comme NVIDIA (GR00T N2) ou Figure AI. Cette publication, un preprint arXiv, s'inscrit dans une tendance plus large de recherche sur l'efficacité des VLA plutôt que sur leur seule capacité brute. Aucun acteur français ou européen n'apparaît dans ce travail, mais ses conclusions concernent directement les intégrateurs européens qui évaluent l'adoption de VLA préentraînés sur du matériel limité.

Mistral AI lance Robostral Navigate

Reformuler ce communiqué en article journalistique neutre, en signalant que les chiffres proviennent uniquement de la communication Mistral, sans donnée sim-to-real indépendante. --- Mistral AI a présenté Robostral Navigate, un modèle de navigation robotique construit selon une architecture Vision-Language-Action : une caméra RGB classique et des instructions en langage naturel remplacent la combinaison habituelle LiDAR, caméras de profondeur, centrale inertielle et cartographie SLAM. Le modèle compte 8 milliards de paramètres, une taille pensée pour tourner sur des plateformes embarquées à ressources limitées plutôt que sur des clusters distants. Selon Mistral, l'entraînement s'est appuyé sur près de 400 000 trajectoires générées dans plus de 6 000 environnements simulés, couvrant bureaux, entrepôts, usines et logements. En fonctionnement, le pipeline doit interpréter le flux vidéo, comprendre la consigne, localiser la cible, planifier une trajectoire, éviter les obstacles fixes et mobiles, et corriger sa position en continu, l'ensemble devant tenir dans un budget de quelques dizaines de millisecondes par cycle de décision. L'intérêt pour les fabricants de robots mobiles tient d'abord au coût : une caméra RGB se chiffre en dizaines d'euros contre plusieurs centaines, voire milliers d'euros pour un LiDAR industriel, ce qui allège aussi bien la facture matérielle que l'intégration logicielle. Sur le fond, Robostral Navigate teste à l'échelle de la navigation pure une hypothèse déjà explorée côté manipulation par les modèles VLA : qu'un système entraîné majoritairement en simulation puisse généraliser à des environnements réels variés sans empiler les capteurs. C'est une promesse à vérifier plutôt qu'un résultat acquis, les chiffres de 400 000 trajectoires et 6 000 environnements provenant uniquement de la communication de Mistral, sans benchmark tiers ni donnée publiée sur l'écart sim-to-real en conditions réelles. Pour les intégrateurs et décideurs industriels, la question qui reste ouverte est celle de la robustesse hors simulation, dans des lieux encombrés, mal éclairés ou changeants. Mistral AI, jusque-là identifiée aux grands modèles de langage (Mistral Large, Mixtral) et positionnée comme l'alternative européenne face à OpenAI et Google, franchit ici son premier pas affiché vers la Physical AI, terrain déjà occupé par NVIDIA avec GR00T N2, Figure AI avec Helix, ou Physical Intelligence avec Pi-0. L'entreprise française n'a pas communiqué de calendrier de déploiement industriel ni de partenariat matériel identifié à ce stade ; Robostral Navigate reste, en l'état des informations disponibles, une annonce de capacité logicielle plutôt qu'un produit livré ou testé en flotte réelle.

Diagnostiquer les échecs de transfert sémantique dans la composition de compétences VLA orchestrée par agents

Des chercheurs ont testé un système d'orchestration d'agents pour l'exécution de tâches robotiques longues sur le benchmark BEHAVIOR-1K, qui simule des tâches ménagères nécessitant l'enchaînement de plusieurs compétences comme la navigation, la saisie, la pose d'objets et l'ouverture de portes. Le système s'appuie sur des checkpoints de compétences basés sur le modèle vision-langage-action Pi-0.5, entraînés à partir de démonstrations nettoyées issues de BEHAVIOR-1K. Chaque compétence reçoit des arguments typés et un budget d'étapes, et un modèle vision-langage multi-vues vérifie si l'exécution doit continuer, réessayer ou replanifier. Les auteurs comparent deux conditions de départ : des instantanés "propres" pris à la frontière entre deux compétences, et des états "chaînés" issus réellement de l'exécution de la compétence précédente. Résultat : les compétences testées individuellement atteignent 77 à 100% de réussite depuis des instantanés propres, sous vérification validée par des humains. Mais une fois enchaînées dans des rollouts complets, ces mêmes compétences échouent fréquemment à partir des états chaînés, avec un taux de réussite de bout en bout proche de zéro. Cette étude pointe un problème central pour l'industrie robotique qui cherche à déployer des VLA généralistes : le "handoff sémantique" entre compétences. Un modèle peut valider parfaitement sa propre postcondition tout en laissant le robot, les objets ou la caméra dans un état dont la compétence suivante ne peut pas repartir. Cela contredit l'hypothèse implicite de nombreux pipelines actuels selon laquelle empiler des compétences individuellement performantes suffit à obtenir un comportement fiable sur le long horizon. Pour les intégrateurs et décideurs B2B qui évaluent des démonstrations VLA impressionnantes en isolation, ce travail rappelle que le taux de réussite d'une compétence seule ne prédit pas la robustesse en conditions réelles d'enchaînement, où l'état de départ est "sale" plutôt que propre. Le travail s'inscrit dans la lignée de BEHAVIOR-1K, benchmark de tâches ménagères longues, et s'appuie sur la famille Pi-0.5, une architecture vision-langage-action comparable à des approches comme GR00T N2 ou Helix développées ailleurs dans le secteur. Les auteurs analysent les traces d'exécution et attribuent les échecs à trois causes : le manque de préparation pour la compétence suivante, une mauvaise identification de la cible, et des erreurs de contrôle bas niveau. Plutôt que d'annoncer des résultats de succès, l'article transforme un taux de réussite quasi nul en diagnostic actionnable, plaidant pour que les futures bibliothèques de compétences VLA intègrent explicitement la robustesse aux états chaînés, largement sous-représentés dans les démonstrations propres utilisées à l'entraînement.

DynaWM : un modèle du monde guidé par un VLA de base pour la manipulation d'objets en mouvement

DynaWM, un nouveau modèle du monde ("world foundation model") piloté par des architectures vision-langage-action (VLA), vient d'être présenté dans un preprint publié sur arXiv début juillet 2026. Le système cible un point faible connu des modèles VLA actuels : la manipulation d'objets en mouvement. Techniquement, DynaWM combine trois briques, un encodeur d'actions basé sur Mamba-3 qui traite les séquences d'actions produites par le modèle VLA de base, un encodeur visuel V-JEPA 2.1 qui exploite l'historique d'observations multi-vues, et un encodeur d'état proprioceptif du bras robotique, le tout conditionnant un transformeur à diffusion par flow-matching qui régénère des trajectoires d'action adaptées au mouvement de l'objet. Les auteurs ont aussi construit deux jeux de données : le benchmark DynaGrasp-32, qui couvre six catégories de tâches (variation de vitesse, de trajectoire, manipulation multi-objets), et DynaGrasp-1600, soit 32 scénarios, 1 600 démonstrations et environ 1,53 million d'images. Sur des checkpoints VLA finement réglés, DynaWM améliore les taux de réussite de 7,19 à 45,31 points de pourcentage selon le modèle de base (SmolVLA, X-VLA, Pi-0, Pi-0.5) ; sur des checkpoints seulement grossièrement réglés, les gains grimpent à 26 voire 44 points. L'enjeu dépasse la simple performance chiffrée : la plupart des modèles du monde existants sont fine-tunés directement dans l'architecture VLA, ce qui dégrade souvent les capacités du modèle pré-entraîné. En gardant le VLA de base intact et en ajoutant un module de guidage séparé, DynaWM évite ce compromis, un argument qui parle directement aux équipes de recherche en robotique confrontées à la fragilité des VLA lors du fine-tuning. Pour les intégrateurs, cela touche un cas d'usage concret : le tri ou la préhension d'objets sur convoyeur, en environnement non statique, un scénario encore largement absent des démonstrations spectaculaires de préhension immobile. Le travail s'inscrit dans la lignée des modèles VLA généralistes comme Pi-0, Pi-0.5, SmolVLA ou X-VLA, utilisés ici comme bases de comparaison, ainsi que des travaux sur les modèles du monde en robotique et sur l'encodeur visuel auto-supervisé V-JEPA de Meta. À ce stade, il s'agit d'un résultat de recherche académique évalué sur benchmark simulé et jeu de données maison, sans déploiement industriel annoncé ; la suite logique serait une validation sur bras robotiques réels et une comparaison avec d'autres approches de manipulation dynamique comme GR00T N2 ou Helix.

Restauration de l'ancrage linguistique dans les modèles VLA par recalibrage de l'attention sans entraînement

Une équipe de recherche a mis en évidence une faille critique dans les modèles Vision-Language-Action (VLA), ces systèmes qui permettent à des robots d'exécuter des tâches de manipulation à partir d'instructions en langage naturel. Le problème, baptisé "cécité linguistique", survient lorsque le robot continue d'exécuter une action visuellement plausible même quand l'instruction textuelle contredit explicitement la scène observée : le modèle privilégie alors ce qu'il voit au détriment de ce qu'on lui dit. Pour quantifier ce phénomène, les chercheurs ont créé ICBench, un benchmark diagnostique dérivé du jeu de données LIBERO, qui injecte des contradictions contrôlées entre instruction et environnement visuel. Testés sur trois architectures VLA de référence, Pi-0, Pi-0.5 et OpenVLA OFT, les modèles réussissent fréquemment leur tâche malgré des instructions logiquement impossibles, preuve d'un biais visuel marqué dans la génération d'action. Face à ce constat, l'équipe propose IGAR (Instruction-Guided Attention Recalibration), un mécanisme appliqué au moment de l'inférence, sans réentraînement ni modification architecturale, qui rééquilibre l'attention du modèle pour restaurer le poids de l'instruction linguistique. Cette découverte fragilise un postulat central du secteur robotique actuel : que les modèles VLA génèrent des actions réellement pilotées par le langage, condition indispensable pour des robots généralistes capables de suivre des consignes fiables en environnement industriel ou domestique. Un robot qui ignore silencieusement une instruction contradictoire, sans signaler d'erreur, représente un risque direct pour les intégrateurs et les décideurs B2B qui envisagent de déployer ces modèles sur des lignes de production ou en logistique, où une mauvaise interprétation peut coûter cher en sécurité ou en qualité. IGAR intéresse particulièrement car il s'agit d'un correctif applicable sans réentraînement aux modèles existants. Sur 30 tâches issues de LIBERO, IGAR réduit sensiblement les exécutions erronées face à des instructions contradictoires hors distribution, tout en préservant les performances de base sur les tâches normales. Les chercheurs ont aussi validé l'approche sur un bras robotique Franka réel, où IGAR a effectivement empêché des manipulations déclenchées par des instructions incohérentes, un test important puisqu'il dépasse la simple simulation. Ce travail s'inscrit dans une tendance plus large d'audit critique des modèles VLA, où la question du "sim-to-real" et de la robustesse aux cas limites reste largement sous-explorée face à l'engouement commercial entourant Pi-0, GR00T N2 ou Helix.

Rapport technique RhinoVLA

HuixiAI a publié un rapport technique sur RhinoVLA, un modèle vision-langage-action (VLA) conçu spécifiquement pour tourner en temps réel sur du matériel embarqué, en co-conception avec le SoC edge Huixi R1. Le modèle s'appuie sur un backbone Qwen3-VL optimisé pour limiter le nombre de tokens visuels et contextuels traités, identifiés par les auteurs comme le principal goulot d'étranglement en latence des VLA sur puce embarquée : dans les opérateurs de projection dominés par le calcul matriciel (GEMM), le coût croît linéairement avec le nombre de tokens en entrée. RhinoVLA associe ce backbone allégé à un Action Expert à sortie continue, ainsi qu'à une interface unifiée combinant un registre de vues (View Registry), un espace d'état-action physique à 72 dimensions et des adaptateurs LoRA propres à chaque instance de robot, pour aligner des observations et schémas d'action hétérogènes sous une politique commune. Résultat annoncé : des performances comparables à π0.5 à taille de paramètres équivalente, avec une inférence de bout en bout à 11,69 Hz sur le Huixi R1, au-dessus du seuil de 10 Hz jugé nécessaire pour un contrôle en boucle fermée temps réel. L'enjeu dépasse la simple performance brute : la plupart des VLA démontrés en laboratoire (π0, GR00T N2, Helix) tournent sur GPU serveur ou desktop, loin des contraintes de puissance et de latence d'un robot mobile ou d'un bras industriel autonome. En optimisant simultanément l'architecture du modèle et la compilation matérielle (précision mixte, encodage visuel parallélisé), RhinoVLA s'attaque directement au fossé entre démonstration et déploiement réel, un point sensible pour les intégrateurs qui évaluent la viabilité commerciale des VLA en usine ou en logistique plutôt qu'en simple preuve de concept. Le projet doit être publié en open source sur GitHub (HuixiAI/RhinoVLA), une démarche qui s'inscrit dans la compétition croissante autour des architectures VLA généralistes multi-robots, aux côtés des travaux de Physical Intelligence (π0, π0.5) et NVIDIA (GR00T). Le document constitue une version révisée (v2) d'un rapport déjà déposé sur arXiv, sans calendrier de déploiement industriel précisé à ce stade.

Z-1 : apprentissage par renforcement efficace pour les modèles vision-langage-action

Des chercheurs présentent Z-1, un framework de post-entraînement par apprentissage par renforcement (RL) pour les modèles Vision-Language-Action (VLA) à base de flow matching, décrit dans un article publié sur arXiv (2606.31846v1). Construit sur l'architecture π0.5 de Physical Intelligence, Z-1 s'appuie uniquement sur les démonstrations publiques RoboCasa pour la phase de fine-tuning supervisé (SFT), puis applique une stratégie de Group Relative Policy Optimization (GRPO) tâche par tâche sur 24 tâches standard du benchmark RoboCasa. Pour rendre cette optimisation en ligne plus stable et efficace, les auteurs combinent quatre techniques: construction de rollouts à préfixe partagé, branchement arborescent des trajectoires, calibration des récompenses tenant compte de la complétion des tâches, et entraînement conjoint sélectif du modèle vision-langage et de l'"Action Expert". Résultat: un taux de réussite moyen de 80,6% sur les 24 tâches, soit un gain de 13,2 points par rapport au modèle SFT de départ, et une performance supérieure aux meilleurs modèles publiés jusqu'ici. L'enjeu dépasse le simple gain de benchmark. La grande majorité des politiques VLA actuelles restent bridées par le behavior cloning ou le SFT sur données figées, une approche qui plafonne dès que le robot rencontre une situation absente des démonstrations. En montrant qu'un post-entraînement RL structuré peut améliorer significativement une politique flow-based sans données de démonstration privées supplémentaires, Z-1 apporte un argument concret en faveur du RL comme étape standard après le SFT, plutôt qu'une simple option de recherche. Pour les équipes qui entraînent des VLA pour la manipulation robotique, cela suggère une voie pour corriger les échecs récurrents d'une politique sans repasser par une collecte de données coûteuse. Le travail s'inscrit dans la lignée des modèles génération π (π0, π0.5 de Physical Intelligence) et fait écho aux efforts similaires chez GR00T N2 (NVIDIA) ou Helix (Figure AI), qui cherchent tous à faire passer les VLA du stade de la démonstration à celui d'une robustesse exploitable en conditions réelles. GRPO, popularisé dans l'entraînement de modèles de langage, est ici adapté aux contraintes du contrôle continu. Les auteurs présentent Z-1 comme une preuve de concept méthodologique, sans annoncer de déploiement matériel ni de calendrier commercial.

ELASTIC : passage à l'échelle adaptatif du calcul en temps de test pour l'apprentissage efficace de politiques de contrôle génératives

Un nouvel article de recherche publié sur arXiv (identifiant 2606.31132) présente ELASTIC, un algorithme conçu pour optimiser le calcul mobilisé au moment de l'exécution par les politiques de contrôle génératives, notamment les diffusion policies et les modèles vision-langage-action (VLA) de type flow-based. Ces politiques peuvent allouer davantage de ressources selon deux axes : la mise à l'échelle séquentielle, qui augmente le nombre d'étapes de débruitage pour affiner une action, et la mise à l'échelle parallèle, qui échantillonne plusieurs actions candidates pour explorer différents modes de la distribution. ELASTIC formule ce choix comme un meta-processus de décision markovien : une meta-politique observe l'état du robot et décide, à chaque itération de débruitage, combien d'étapes séquentielles et d'échantillons parallèles allouer, entraînée par apprentissage par renforcement sans accès aux données d'entraînement de la politique de base. Sur des benchmarks de manipulation simulés avec des diffusion policies, ELASTIC domine au sens de Pareto les approches à budget fixe ou à échelle unique. En conditions réelles, avec le modèle VLA pi-0.5, la méthode égale les performances d'un "best-of-10" (dix tentatives échantillonnées) tout en réduisant la latence de 34%. L'enjeu dépasse la seule performance de laboratoire : l'allocation de calcul test-time reste aujourd'hui largement empirique, fixée à la main selon la tâche. Un mécanisme qui adapte automatiquement l'effort de calcul, par exemple en explorant davantage lors d'une phase de saisie éloignée de l'objet puis en resserrant la précision près du contact, s'attaque directement au compromis latence/fiabilité qui freine le déploiement industriel des VLA. Pour les intégrateurs, cela ouvre la voie à des politiques capables de s'exécuter plus vite sans sacrifier le taux de réussite, un point critique pour des cycles de production. Le travail s'inscrit dans la lignée des recherches sur le test-time scaling, déjà popularisé en robotique par les diffusion policies et par des modèles comme GR00T N2 ou Pi-0 de Physical Intelligence, dont pi-0.5 sert justement de base expérimentale ici. Les auteurs ne précisent pas de calendrier de déploiement industriel ; il s'agit pour l'instant d'un résultat de recherche destiné à orienter la conception des futures architectures VLA plutôt qu'un produit prêt à intégrer.

Où regardent les humains lors des démonstrations à des robots : analyse du comportement visuel dans les tâches de prise-et-dépose

Une équipe de chercheurs publie sur arXiv (référence 2506.05808v2) une étude expérimentale portant sur le comportement oculaire des opérateurs humains lors de sessions de téleopération robotique, dans le cadre spécifique de tâches de saisie et de dépose (pick-and-place). Le protocole expérimental compare plusieurs dispositifs de démonstration, des interfaces qui émulent l'incarnation et les conditions visuelles d'un robot, et mesure précisément où le regard humain se fixe pendant l'exécution. Les résultats montrent que certaines propriétés des dispositifs provoquent un déplacement systématique de l'attention visuelle : l'opérateur cesse de regarder les indices liés à l'objectif de la tâche (les objets à manipuler) pour se concentrer sur les indices de supervision du contrôle (l'effecteur terminal, c'est-à-dire la pince ou le bras du robot). Ce n'est pas un effet marginal, il est suffisamment prononcé pour mesurer son impact en aval sur les modèles d'apprentissage. L'enjeu pour les équipes qui construisent des pipelines d'imitation learning est direct. L'apprentissage par imitation, qui fonde une part croissante des architectures VLA (Vision-Language-Action) comme Pi-0, GR00T N2 ou OpenVLA, repose sur des volumes massifs de données de démonstration humaine, dont le coût de collecte est élevé. Une hypothèse structurante du domaine est que le regard humain encode des informations cognitives de haut niveau, priorité aux objets, anticipation de la trajectoire, que les modèles peuvent exploiter pour généraliser. Or cette étude montre que, selon le dispositif utilisé, ce signal se dégrade au point de faire chuter les performances des modèles gaze-based en dessous des baselines sans information oculaire. En d'autres termes, le choix du matériel de collecte de données n'est pas neutre : il peut silencieusement empoisonner le signal superviseur. Ce travail s'inscrit dans un débat actif autour de la qualité versus la quantité des données de démonstration, dans un secteur où Physical Intelligence, Hugging Face (LeRobot) et des laboratoires comme Stanford (ALOHA) ou Berkeley (DROID) investissent massivement dans des infrastructures de collecte standardisées. La question de quel dispositif utiliser, manette, bras maître, interface VR, exosquelette, n'avait jusqu'ici été abordée que sous l'angle ergonomique ou de la fidélité de contrôle. Cette étude introduit une nouvelle dimension : l'effet du dispositif sur la qualité du signal cognitif implicite, avec des implications directes pour la conception des futures campagnes de collecte de données à grande échelle.

TAP-VLA : annotation tactile pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (réf. 2606.29089) une méthode appelée TAP-VLA (Tactile Annotation Prompting for Vision-Language-Action models) visant à doter les modèles vision-langage-action du sens du toucher sans modifier leur architecture. Sur quatre tâches de manipulation à contacts complexes (vissage, insertion, assemblage de précision), TAP-VLA atteint un taux de succès de 78 %, contre moins de 50 % pour un fine-tuning purement visuel et pour les approches alternatives de fusion tactile, certaines de ces baselines ne faisant pas mieux qu'un résultat aléatoire. Le principe repose sur des capteurs visuo-tactiles capables de mesurer les champs de cisaillement (shear fields) à la surface de contact ; ces champs sont ensuite superposés sous forme de vecteurs spatialement alignés directement sur les images RGB multi-vues que le modèle consomme déjà, sans ajouter de modalité d'entrée distincte. L'enjeu est réel : les VLAs de génération actuelle, comme π0 de Physical Intelligence, OpenVLA ou RT-2 de Google DeepMind, offrent un raisonnement robuste sur les variations visuelles, sémantiques et spatiales grâce à leur pré-entraînement à grande échelle, mais restent aveugles aux forces de contact, pourtant centrales dans toute manipulation industrielle sérieuse (emboîtement de précision, vissage, gestion d'objets déformables). Intégrer le toucher comme nouvelle modalité d'entrée détériore précisément ce pré-entraînement, car les données tactiles sont absentes des corpus à grande échelle sur lesquels ces modèles sont construits, un problème de distribution shift bien documenté dans la littérature. TAP-VLA contourne l'obstacle en restant dans l'espace d'observation natif du modèle : pas de modification architecturale, pas de pré-entraînement tactile spécifique, surcoût computationnel négligeable. Ce travail s'inscrit dans une course active autour de l'embodied AI pour la manipulation de précision, où Physical Intelligence (π0, π0-FAST), Figure AI ou Apptronik cherchent à étendre les capacités de leurs humanoïdes et bras industriels au-delà du pick-and-place visuel. La question du sim-to-real pour les contacts reste l'un des derniers verrous majeurs avant un déploiement industriel à l'échelle. En évitant la refonte architecturale, TAP-VLA propose une voie d'intégration compatible avec les VLAs existants, ce qui simplifie son adoption par des équipes qui travaillent à partir de modèles déjà entraînés. La publication sur arXiv sans conférence associée indique que ce travail est encore en cours d'évaluation par les pairs ; aucun déploiement réel ou pilote industriel n'est annoncé à ce stade.

FADA : adaptation de domaine few-shot par alignement des dynamiques pour le contrôle humanoïde

Des chercheurs du LECAR Lab (Learning, Computing and Autonomous Robots) ont publié le 30 juin 2026 sur arXiv (référence 2506.28476) un préprint décrivant FADA, un cadre d'adaptation en quelques exemples pour le contrôle de robots humanoïdes. L'architecture, baptisée Planner-IDM (Planner, Inverse Dynamics Model), fonctionne en trois étapes : entraînement d'une politique oracle avec accès à des informations privilégiées (état complet du simulateur), distillation de ce comportement dans un modèle étudiant déployable via DAgger, puis fine-tuning ciblé du seul module IDM à partir d'environ deux minutes de données collectées dans l'environnement réel. La supervision ne requiert ni démonstrations expertes ni signal de récompense : uniquement les paires (actions, observations) enregistrées lors de ces brefs rollouts. Les expériences montrent que FADA surpasse les baselines d'adaptation in-context et d'adaptation end-to-end sur des tâches whole-body à haute précision exécutées sur robot physique. L'enjeu pratique est réel : le "dynamics mismatch", écart entre les dynamiques simulées et celles du domaine cible dues aux variations de terrain, de charge utile ou de réponse actionneur, reste l'un des principaux freins au déploiement industriel des humanoïdes. Les approches actuelles forcent un compromis inconfortable entre la randomisation de domaine (zero-shot, mais sous-spécialisée) et le recalibrage complet du modèle ou le ré-entraînement de politique (précis, mais coûteux en données et en temps). Deux minutes de rollouts pour aligner un IDM représentent un point d'équilibre opérationnellement crédible pour des intégrateurs qui ne peuvent pas interrompre une ligne de production plusieurs heures. Cela dit, les vidéos hardware présentées sur le site du projet sont sélectionnées par les auteurs ; aucune évaluation statistique robuste sur variété de terrains ou charges n'est encore disponible dans ce préprint non relu par les pairs. Le sim-to-real gap est un problème structurel que l'ensemble de l'écosystème humanoïde, Figure (02/03), Tesla Optimus, Boston Dynamics Atlas, Physical Intelligence (pi-zero), tente de résoudre, principalement par randomisation massive en simulation ou par apprentissage en contexte (in-context RL). FADA s'inscrit dans une troisième voie, plus proche des travaux sur l'adaptation rapide de politiques (MAML, RMA) mais appliquée à l'architecture Planner-IDM. Le LECAR Lab, affilié à l'Université de Californie San Diego, capitalise ici sur des travaux antérieurs en locomotion et manipulation whole-body. Prochaine étape attendue : validation sur une plus large variété de dynamiques et de morphologies robotiques, ainsi qu'une soumission à conférence (ICRA ou CoRL) pour passer le filtre de la revue par les pairs.

Fiez-vous à vos instincts : RL à l'inférence guidé par la confiance pour les modèles VLA

Des chercheurs ont publié le 30 juin 2026 sur arXiv (ref. 2506.29892) un framework d'apprentissage par renforcement baptisé T²VLA (Test-time VLA), conçu pour améliorer les modèles Vision-Language-Action sans recourir à aucun signal de récompense externe. Le principe central repose sur une observation empirique : dans les VLA à actions discrètes, les trajectoires générées avec un niveau de confiance interne plus élevé ont statistiquement une probabilité nettement supérieure de réussir la tâche. T²VLA exploite cette propriété en utilisant la similarité de chaque trajectoire produite avec des démonstrations expertes à haute confiance comme signal de récompense intrinsèque. Le framework intègre un mécanisme appelé Confidence-Driven Dual Expert Bootstrapping, qui arbitre dynamiquement entre un Local Pseudo-Expert (favorisant l'exploration locale) et un Global Expert Pool (garantissant la stabilité de l'entraînement). Les expériences portent sur les benchmarks LIBERO et RoboTwin, deux environnements de référence en manipulation robotique simulée, et couvrent plusieurs architectures VLA dont OpenVLA-OFT et la série pi (pi-0, pi-0.5). L'intérêt pratique de T²VLA est de supprimer le principal frein au déploiement du RL pour les robots incarnés : la nécessité d'instrumenter l'environnement avec des détecteurs de succès ou des fonctions de récompense prédéfinies. En robotique industrielle ou logistique, concevoir ces signaux externes est coûteux, fragile, et souvent impossible hors d'un laboratoire contrôlé. Le fait que le modèle puisse s'auto-améliorer à partir de ses propres évaluations internes représente un changement de paradigme potentiellement significatif pour le sim-to-real : les résultats publiés montrent que T²VLA dépasse les baselines supervisées et s'approche des performances d'un RL oracle (disposant des vraies récompenses), ce qui suggère que le signal intrinsèque capture bien la qualité des trajectoires. Il convient néanmoins de noter que les évaluations restent pour l'instant confinées à des environnements simulés, et l'écart sim-to-real sur du matériel réel n'est pas abordé dans ce papier. T²VLA s'inscrit dans une dynamique plus large autour des VLA généralistes, portée notamment par Physical Intelligence (pi-0), DeepMind (RT-2), et les équipes autour d'OpenVLA. Ces modèles combinent vision, langage et contrôle moteur dans une architecture unifiée, mais leur amélioration post-déploiement butait jusqu'ici sur la nécessité d'un retour environnemental explicite. Le framework proposé est décrit comme agnostique à l'architecture, ce qui facilite théoriquement son intégration sur les VLA existants. Les auteurs ne mentionnent pas de partenaire industriel ni de timeline de déploiement réel, et le travail reste au stade de preuve de concept académique sur simulateurs ; des validations sur robots physiques et en conditions de variabilité industrielle seront déterminantes pour confirmer la portée opérationnelle de l'approche.

Apprentissage de dynamiques transférables : des modèles d'action aux modèles du monde

Des chercheurs ont publié en juin 2026 un préprint arXiv (2606.29501) décrivant A2World, un modèle de monde diffusion multi-vues conditionné par les actions, pré-entraîné sur de larges volumes de données de manipulation robotique avec annotations d'actions réelles. L'idée centrale est que prédire comment une action modifie visuellement une scène, plutôt que simplement générer des vidéos plausibles, force le modèle à capturer des dynamiques d'interaction réutilisables. Ce pré-entraînement produit ce que les auteurs appellent des "priors de dynamiques transférables". À partir des mêmes poids pré-entraînés, deux variantes sont dérivées : A2World-sim, adapté en simulateur spécialisé par tâche ou environnement, et A2World-policy, un modèle de prédiction jointe vidéo-action conditionné par des instructions visuelles. Les expériences sont validées sur des benchmarks de simulation et en conditions réelles, sans que les auteurs ne publient de métriques quantitatives précises dans le résumé. L'enjeu concret pour les équipes de robotique industrielle est le coût des données de rollout réel : A2World-sim vise à remplacer les passages physiques sur robot par des déroulements dans le modèle de monde, permettant une évaluation de politique à grande échelle et des analyses contrefactuelles ("que se passerait-il si...") sans mobiliser de hardware. C'est le noeud dur du problème sim-to-real : les simulateurs classiques (Isaac Sim, MuJoCo) échouent sur la fidélité visuelle et de contact, tandis qu'un modèle de monde appris sur des données réelles devrait, en théorie, hériter de la physique implicite du monde réel. A2World-policy s'inscrit dans la lignée des VLA (Vision-Language-Action models) comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, en conditionnant la prédiction d'action sur le flux visuel et des instructions en langage naturel. Il s'agit toutefois d'un préprint non revu par les pairs, et les métriques présentées (benchmarks de simulation) restent à confirmer sur des déploiements réels à l'échelle. Ce travail s'inscrit dans une dynamique de recherche active sur les modèles de monde pour la robotique, portée depuis 2023-2024 par des approches comme UniSim (Google), RoboDreamer, ou Genie, qui toutes cherchent à découpler l'apprentissage de politique du coût de la collecte de données physiques. Physical Intelligence (pi-0, pi-0.5), Figure AI (Figure 02/03) et 1X Technologies misent sur des architectures VLA similaires pour la généralisation multi-tâches. La contribution spécifique d'A2World est de partager les poids pré-entraînés entre le simulateur et le modèle de politique, plutôt que de les traiter comme deux systèmes distincts. Les prochaines étapes attendues dans ce type de travaux sont la publication de benchmarks ouverts, une comparaison directe contre des rollouts réels, et, pour les acteurs industriels, la question de savoir si ces approches tiennent sur des environnements non structurés hors laboratoire.

BMW Group déploie le robot humanoïde Figure 03 après les tests de la version précédente

BMW Group a annoncé le déploiement de Figure 03, le dernier robot humanoïde de Figure AI, dans son usine de Spartanburg, en Caroline du Sud. Ce déploiement fait suite à un pilote de onze mois avec le modèle précédent, Figure 02, qui a participé à la production de plus de 30 000 véhicules BMW X3 en 2025. Dans cet atelier de carrosserie, Figure 02 insérait des pièces en tôle pour le processus de soudage, une tâche à la fois cadencée et physiquement contraignante. Figure 03 se voit confier une nouvelle mission en logistique : trier des composants arrivant en vrac dans de grands conteneurs, les placer dans des chariots de séquençage, puis les acheminer vers des points de collecte pour une livraison en flux tiré ("just in sequence") aux opérateurs d'assemblage. Le nouveau modèle introduit plusieurs évolutions techniques : mains dotées de capteurs tactiles et de caméras palmaires pour plus de précision, recharge sans fil pour une meilleure disponibilité opérationnelle, composants souples pour la sécurité de coopération homme-robot, et un module audio de communication vocale bidirectionnelle. L'annonce valide un argument central du débat sur les humanoïdes industriels : le passage du laboratoire à la production réelle est possible. Onze mois de fonctionnement en atelier de carrosserie constituent une référence concrète dans un secteur dominé jusqu'ici par des démonstrations contrôlées. Pour les intégrateurs et décideurs industriels, le cas BMW-Figure AI déplace la question de "est-ce que ça marche ?" vers "à quelle cadence et à quel coût peut-on scaler ?". L'usage logistique de séquençage choisi pour Figure 03 est particulièrement significatif : il est répétitif, non structuré (flux de pièces non triées) et à fort impact sur la fluidité de la chaîne d'assemblage. C'est exactement le type de tâche où les robots sur AGV classiques atteignent leurs limites. Cependant, ni BMW ni Figure AI n'ont communiqué de chiffres sur la cadence horaire, le taux d'erreur ou le coût opérationnel, ce qui rend difficile toute comparaison rigoureuse avec des solutions d'automatisation alternatives. Figure AI, fondée par Brett Adcock et basée à San José en Californie, avait initié son partenariat avec BMW comme premier déploiement industriel public à grande échelle, face à des concurrents comme Tesla (Optimus), Boston Dynamics (Atlas), Agility Robotics (Digit) ou encore Physical Intelligence avec son modèle de politique Pi-0. BMW, de son côté, diversifie ses expérimentations robotiques : l'entreprise teste également AEON, le robot humanoïde à roues d'Hexagon AB, dans son usine de Leipzig depuis décembre 2025, avec un déploiement pilote prévu à partir de l'été 2026. Spartanburg reste le site de référence pour la fabrication série, tandis que Leipzig sert de terrain d'essai pour des architectures de mobilité alternatives. Les prochaines étapes pour Figure 03 concerneront la scalabilité du cas d'usage logistique et son extension potentielle à d'autres halls de production BMW en Europe ou en Amérique du Nord.

X Square Robot boucle quatre levées consécutives et atteint 2,8 milliards de dollars de valorisation grâce à ses modèles fondation d'IA physique

X Square Robot, startup pékinoise fondée en 2023 et spécialisée dans l'IA incarnée pour environnements réels, vient de boucler quatre tours de financement consécutifs dont une Série C portant sa valorisation à 2,8 milliards de dollars (20 milliards de yuans). IDG Capital a participé à la Série C, tandis que HongShan et Xiaomi ont soutenu l'entreprise sur plusieurs tours antérieurs. Surtout, Meituan, Alibaba et ByteDance ont chacun conduit un tour précédent, faisant de X Square Robot la seule société d'IA incarnée en Chine à avoir obtenu un lead investment des quatre plus grands groupes tech nationaux. En avril 2026, la société a dévoilé WALL-B, un modèle fondation basé sur son architecture "World Unified Model" (WUM) : contrairement aux approches VLA modulaires qui assemblent des composants vision, langage et action distincts, WALL-B entraîne l'ensemble perception-langage-action-prédiction physique dans un réseau unique. Deux modèles complémentaires ont été mis en open source : WALL-OSS-0.5, qui atteint plus de 80 % de complétion autonome sur 4 des 17 tâches testées en conditions réelles sans fine-tuning post-entraînement, et WALL-WM, un modèle de prédiction monde alignant données langagières, visuelles et gestuelles autour d'événements physiques significatifs. Sur le terrain, X Square Robot a déployé ses robots en partenariat avec 58.com pour un service de nettoyage assisté par IA à Shenzhen et Pékin, les machines opérant aux côtés d'agents humains dans des immeubles résidentiels réels. Depuis mai 2026, un programme "X Family Member" place des robots en foyers volontaires jusqu'à un mois en tant qu'assistants domestiques. La valorisation à 2,8 milliards de dollars positionne X Square Robot parmi les startups d'IA incarnée les mieux capitalisées de Chine, dans une course mondiale où Figure AI, Physical Intelligence et Agility Robotics mobilisent des montants comparables aux États-Unis. L'architecture unifiée de WALL-B constitue un pari architectural distinct des approches modulaires dominantes comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. Le score de 80 % sur 4 tâches sélectionnées parmi 17 sans post-training est encourageant, mais l'échantillon invite à la prudence : les 13 tâches restantes ne sont pas documentées, ce qui laisse le demo-to-reality gap partiellement ouvert. Les déploiements effectifs chez 58.com et en appartements résidentiels donnent néanmoins plus de crédit à ces métriques que les démonstrations habituelles en laboratoire contrôlé. Fondée en 2023, X Square Robot s'inscrit dans un écosystème chinois de robotique humanoïde incluant Unitree Robotics, Fourier Intelligence et AgiBot, face aux acteurs américains Figure AI (valorisé 2,6 Md$ fin 2024), Boston Dynamics et Physical Intelligence. La présence simultanée de Meituan, Alibaba et ByteDance au capital signale des débouchés ciblés dans la logistique, la livraison et les services à domicile, secteurs que ces groupes cherchent activement à automatiser. La mise en open source de WALL-OSS-0.5 et WALL-WM suit une stratégie classique d'adoption académique et industrielle avant commercialisation. Les fonds levés seront alloués au développement technologique core et à la recherche fondamentale en intelligence incarnée, avec pour horizon déclaré des systèmes robotiques polyvalents capables d'opérer dans des environnements non structurés du quotidien.

L'injection directe d'un point 3D ancré dans la tête d'action débloque la généralisation spatiale et des tâches

Des chercheurs ont publié fin juin 2026 (arXiv:2606.27663) une méthode légère pour améliorer la généralisation des modèles Vision-Language-Action (VLA) en manipulation robotique. Le module proposé représente le signal d'ancrage spatial en 3D, calcule son déplacement relatif au préhenseur, et injecte l'embedding résultant directement dans la tête d'action via une normalisation de couche adaptative (AdaLN). Concrètement, c'est un MLP à deux couches qui n'exige aucune modification du backbone préentraîné ni du pipeline d'entraînement. Sur le benchmark LIBERO-PRO, appliqué à GR00T-N1.6 de NVIDIA, le taux de succès moyen passe de 31,2 à 77,5 points sous perturbation de tâche (+46,3 points) et de 28,1 à 60,2 points sous perturbation de position (+32,1 points). Des gains comparables sont mesurés sur π0.5 de Physical Intelligence, ce qui valide l'approche sur deux architectures distinctes. Les VLA souffrent de deux formes structurelles de fragilité à l'inférence : la généralisation spatiale, lorsqu'un objet cible se trouve à une position non vue à l'entraînement, et la généralisation de tâche, lorsqu'une instruction légèrement reformulée dans un contexte visuel familier fait chuter la politique. Les approches précédentes par prompting textuel ou visuel avec coordonnées 2D en pixels s'avèrent insuffisantes. Ce travail identifie le vrai levier : ni la richesse du prompt, ni l'ajout de capteurs, mais la représentation 3D de l'ancrage et son point d'injection en bout de chaîne, directement dans la tête d'action. Pour les intégrateurs industriels, cela signifie qu'un VLA déjà déployé peut théoriquement être augmenté de ce module sans réentraînement complet, ouvrant la voie à des adaptations sur des lignes de production à géométrie variable. Ce résultat s'inscrit dans une course intense à la généralisation en manipulation dextère. Physical Intelligence a sorti π0 puis π0.5 sur des données multi-tâches à grande échelle ; NVIDIA déploie GR00T N1.6 et prépare GR00T N2 pour des capacités humanoïdes. D'autres méthodes d'ancrage spatial comme SpatialVLA ou RoboPoint cherchaient déjà à résoudre ce problème via des coordonnées 2D ou des cartes de profondeur ; ce travail tranche le débat en faveur de la 3D injectée en bout de chaîne. À ce stade, c'est un résultat de recherche validé uniquement en simulation sur LIBERO-PRO ; le passage au réel, sur des robots physiques en environnement industriel, reste à démontrer.

💬 Deux couches de MLP bien placées, et ton VLA passe de 31 à 77% de succès sous perturbation de tâche. Le vrai insight du papier, c'est que le problème venait pas du manque de données ou de capteurs, mais de l'endroit où injecter le signal 3D dans la chaîne. Bon, c'est encore de la simulation, mais comme preuve de concept validée sur GR00T et π0.5 en même temps, c'est difficilement contestable.

LA4VLA : apprendre à agir sans vision par pré-entraînement langage-action

Des chercheurs ont publié sur arXiv (2606.27295, juin 2026) un cadre de pré-entraînement baptisé LA4VLA qui s'attaque à un défaut structurel des modèles Vision-Langage-Action (VLA) : en supervision conjointe visuelle et textuelle, le signal visuel écrase le signal langage, poussant les politiques de contrôle à exploiter des raccourcis visuels spécifiques à une scène plutôt qu'à exécuter des instructions généralisables. LA4VLA introduit une phase de pré-entraînement sans images : les trajectoires de démonstration existantes sont découpées en segments atomiques, chacun associé à une description textuelle bas-niveau, produisant LA4-33K, un dataset de 33 000 épisodes Langage-Action construits entièrement à partir de données existantes sans collecte robotique supplémentaire. Le modèle LA4VLA-1B (1 milliard de paramètres) est évalué selon trois paradigmes : pré-entraînement LA seul, séquentiel LA puis VLA, et mixte LA+VLA. Le pré-entraînement mixte améliore le taux de succès moyen de 17,8 points de pourcentage en simulation et de 45 points sur tâches réelles par rapport à l'absence de pré-entraînement. Ces résultats ont une portée directe pour les développeurs de politiques robotiques polyvalentes. Le problème des raccourcis visuels est bien documenté dans la littérature : les robots apprennent à reconnaître un arrangement de scène particulier plutôt qu'à interpréter une instruction générique, ce qui fragilise les politiques dès que l'environnement varie légèrement. Le gain de 45 points sur les tâches réelles, contre 17,8 en simulation, est particulièrement notable : il suggère que l'approche atténue précisément le sim-to-real gap, principal obstacle aux déploiements industriels. Pour les intégrateurs, la méthode permet de valoriser des datasets de démonstrations existants sans mobiliser de ressources robotiques supplémentaires, réduisant substantiellement le coût d'entrée vers des politiques plus robustes. Les modèles VLA ont connu une forte accélération depuis 2023, portée par des travaux comme RT-2 (Google DeepMind), OpenVLA ou π0 de Physical Intelligence, qui s'appuient tous sur un pré-entraînement visuel massif suivi d'un fine-tuning robotique. LA4VLA propose une direction complémentaire et orthogonale : renforcer le conditionnement langage indépendamment du flux visuel, en exploitant la structure sémantique des trajectoires plutôt que leur apparence. L'abstract ne mentionne ni affiliations institutionnelles précises ni partenaires industriels ; il s'agit d'une contribution académique validée en laboratoire, sans pilote commercial annoncé. La suite logique serait une évaluation sur des benchmarks standardisés comme LIBERO ou CALVIN, ainsi qu'une intégration dans des pipelines humanoïdes à manipulation complexe où la généralisation au langage est particulièrement critique.

Les modèles d'action du monde permettent un apprentissage par imitation continu avec rejeu génératif récurrent

Publiés en juin 2026 sur arXiv (référence 2606.27374), des chercheurs présentent REGEN (Recurrent Generative Replay), un cadre d'apprentissage continu par imitation fondé sur les World Action Models (WAMs). Contrairement aux modèles de politique classiques qui se contentent de prédire les actions du robot, les WAMs génèrent également des observations visuelles futures, combinant ainsi deux capacités distinctes dans un seul modèle. REGEN exploite cette dualité en interrogeant récursivement le WAM pour synthétiser des trajectoires de pseudo-replay, conditionnées uniquement sur les instructions des tâches antérieures et les observations de la tâche courante. Testée en simulation et en manipulation réelle, l'approche réduit l'oubli catastrophique de 50 % en comparaison au fine-tuning séquentiel classique, tout en s'approchant des performances des méthodes dites "privileged" qui, elles, conservent l'accès aux démonstrations humaines originales. L'enjeu industriel est direct : l'oubli catastrophique constitue l'un des verrous majeurs au déploiement continu de robots en environnement réel. Dès qu'un système est refiné sur une nouvelle tâche, il dégrade ses capacités acquises précédemment. Les solutions actuelles imposent de conserver les démonstrations humaines originales, ce qui soulève des contraintes de stockage, de coût de collecte et parfois de confidentialité des données opérationnelles. REGEN casse cette dépendance : le robot répète mentalement ses tâches passées sans jamais avoir besoin des vidéos source. Cela ouvre la voie à des déploiements adaptatifs dans des cellules de production ou d'entrepôt où les tâches évoluent en continu. Le gain de 50 % reste cependant partiel, et les auteurs reconnaissent que leur méthode n'atteint pas encore le niveau des méthodes ayant accès aux données réelles. Le travail s'inscrit dans la dynamique des world models appliqués à la robotique, un axe de recherche en forte accélération depuis 2023 porté par des acteurs comme Physical Intelligence (avec π0), Google DeepMind, ou NVIDIA (GR00T N2). L'originalité de REGEN réside dans l'usage génératif du WAM pour l'apprentissage continu, plutôt que pour la planification ou le sim-to-real. Les auteurs identifient deux goulots d'étranglement principaux : la dégradation visuelle sur les horizons longs et l'incohérence entre actions générées et observations synthétisées, deux limites qui dessinent clairement l'agenda de recherche pour les prochaines itérations. Aucun partenaire industriel ni calendrier de commercialisation n'est mentionné ; il s'agit à ce stade d'une contribution académique, non d'un produit déployé.

PAMAE : mélange d'experts d'action sensible aux phases pour des politiques VLA fiables par flow matching

Des chercheurs ont publié le 27 juin 2026 sur arXiv (2606.27144) un module baptisé PAMAE (Phase-Aware Mixture-of-Experts Action Experts), conçu pour améliorer la fiabilité des politiques d'action dans les modèles Vision-Language-Action (VLA) appliqués à la manipulation robotique multi-étapes. Le principe est simple : remplacer l'expert d'action unique partagé des architectures VLA à flow-matching par un mélange sparse d'experts spécialisés, sans toucher au backbone VLA pré-entraîné. Un routeur "phase-aware" oriente dynamiquement la génération d'actions vers l'expert approprié selon la phase d'exécution en cours, grâce à une tête de prédiction de phase légère et un objectif d'alignement de routage. L'entraînement se déroule en deux temps : d'abord un échauffement standard sous la loss de flow-matching, puis une optimisation du routage phase-cohérent sous supervision auxiliaire. Sur des benchmarks de simulation de manipulation multi-étapes, PAMAE affiche jusqu'à 9,2 % de gain en taux de succès par rapport à des baselines VLA solides. Ce résultat est notable parce qu'il s'attaque à un goulot d'étranglement concret des VLA à flow-matching : la tendance à lisser les comportements de contrôle à travers toutes les phases d'exécution avec un seul expert, ce qui nuit aux transitions critiques (saisie, repositionnement, insertion). L'approche "plug-and-play" est stratégiquement importante pour les intégrateurs -- elle évite le coût d'un réentraînement complet du backbone et reste compatible avec des fondations VLA existantes comme Pi-0 ou OpenVLA. Le gain de 9,2 % en simulation est mesuré sur des tâches multi-étapes, là où les architectures à expert unique échouent le plus souvent, ce qui rend la comparaison pertinente. Cela dit, la validation reste exclusivement en simulation, et le transfert sim-to-real n'est pas encore démontré : le "reality gap" demeure le vrai test pour ce type d'amélioration. Les VLA à flow-matching sont apparus comme une alternative aux politiques de diffusion classiques (Diffusion Policy, ACT) en combinant ancrage multimodal fort et généralisation, notamment via des modèles comme Pi-0 de Physical Intelligence ou les travaux de OpenVLA. L'idée des Mixture-of-Experts (MoE) pour les politiques de robot n'est pas nouvelle -- elle est empruntée au monde des LLMs (Mixtral, Switch Transformer) -- mais son application phase-conditioned dans un pipeline VLA end-to-end constitue une contribution originale. Côté concurrents, des approches comme HiRT, RoboVLMs ou les travaux de DeepMind sur RT-2 et ses successeurs explorent des trajectoires similaires pour améliorer la robustesse sur les tâches longues. La prochaine étape naturelle pour PAMAE serait une évaluation sur robot réel (plateforme Franka, UR5 ou bras humanoïde) et une comparaison directe avec des politiques récentes comme Pi-0.5 ou GR00T N2 de NVIDIA, dont les résultats terrain commencent à circuler.

Découplage de la sémantique et de l'ancrage géométrique : prompts visuels spatiaux pour l'apprentissage par imitation guidé par le langage

Une équipe de chercheurs présente SVP-IL dans un préprint publié sur arXiv le 25 juin 2026 (arXiv:2606.25360), une architecture destinée à l'apprentissage par imitation conditionné par le langage naturel en robotique de manipulation. Le constat de départ est précis : les modèles Vision-Language-Action (VLA) de bout en bout actuels couplent dans un même réseau le raisonnement sémantique et le contrôle spatial, ce qui génère un goulot d'étranglement d'alignement quand les données d'entraînement sont rares. SVP-IL découple ces deux fonctions : un modèle fondation vision-langage analyse les instructions textuelles pour produire des masques géométriques zero-shot, traduits en "Spatial Visual Prompts" (SVP), qui sont ensuite injectés dans un générateur d'actions continu via une fusion légère au niveau des features. Résultats sur des tâches à ambiguïté linguistique élevée : avec seulement 50 à 100 démonstrations, le taux de succès moyen passe de 24,0 % à 39,5 %, et atteint 67,8 % sur les benchmarks standards. Des expériences en environnement physique non structuré ont validé la robustesse de l'approche hors laboratoire. L'enjeu industriel de ce résultat est le coût de collecte de données. Les VLA monolithiques comme RT-2, OpenVLA ou π0 (Physical Intelligence) exigent des milliers à des dizaines de milliers de démonstrations pour généraliser à de nouvelles tâches ou de nouveaux environnements, ce qui rend leur déploiement chez les intégrateurs robotiques coûteux et lent. SVP-IL ramène ce seuil à 50-100 démos, soit une réduction d'un ou deux ordres de grandeur, tout en surpassant l'état de l'art sur les tâches à désambiguïsation difficile. Pour un COO industriel ou un intégrateur, cela signifie un temps de mise en service radicalement plus court pour chaque nouvelle cellule de travail. L'approche valide aussi l'hypothèse que le couplage sémantique-spatial n'est pas une nécessité architecturale mais un choix de conception contournable. Les architectures VLA ont émergé à partir de 2022-2023 avec les travaux de Google DeepMind (RT-2), avant d'être popularisées par des modèles open-source et des acteurs comme Physical Intelligence avec π0 ou l'initiative GR00T N2 de NVIDIA. La tendance dominante reste le paradigme monolithique de bout en bout, considéré comme plus simple à scaler. SVP-IL conteste cette hypothèse en montrant qu'un découplage explicite donne de meilleurs résultats en régime de faibles données, sans compromis sur la généralisation. Le préprint ne mentionne pas de partenaire industriel ni de calendrier de déploiement, ce qui en fait pour l'instant une contribution académique ouverte, sans produit shipé associé. Les prochaines étapes naturelles seraient une validation sur des robots commerciaux multi-DOF (bras industriels 6-7 axes, manipulateurs mobiles) et une intégration avec des pipelines de collecte de données synthétiques pour réduire encore davantage le besoin en démonstrations humaines.

Prior Reinforce : manipulation dynamique conditionnée par objectif avec peu d'essais

Des chercheurs présentent dans l'arXiv 2505.21916 (version 3, juin 2026) Prior Reinforce (P.R.), un cadre d'apprentissage pour la manipulation dynamique conditionnée par objectif en faible nombre d'essais. La méthode opère en deux phases : elle apprend d'abord un manifold de mouvements structuré à partir d'un petit jeu de démonstrations via un modèle de diffusion conditionnel, puis adapte ces mouvements vers de nouveaux objectifs par optimisation guidée par le retour d'expérience dans un espace de conditions de basse dimension. Sur des tâches réelles comme le lancer de basketball dans un panier (mouvement open-loop rapide et précis), P.R. atteint de nouveaux objectifs en dix essais terrain au total, avec robustesse au bruit de perception et aux incertitudes matérielles. L'intérêt de cette contribution tient à un verrou bien identifié : la manipulation dynamique agile reste résistante aux méthodes dominantes (apprentissage par renforcement à grande échelle, imitation learning classique, modélisation dynamique précise) parce que de faibles variations de trajectoire y produisent de larges écarts d'issue, rendant le signal d'apprentissage rare et bruité. En séparant génération de mouvement et adaptation par résultat, P.R. contourne le besoin d'un modèle dynamique précis et réduit drastiquement le coût d'acquisition : dix essais réels là où les approches RL standard en exigent souvent plusieurs milliers. Pour un intégrateur ou un opérateur industriel, cela se traduit par une reconfiguration rapide sur site sans phase de simulation extensive ni budget d'essais prohibitif. La manipulation dynamique constitue l'un des derniers angles morts des politiques visuomotrices récentes : les VLA (Vision-Language-Action) et les diffusion policies (Diffusion Policy de Chi et al., 2023, π0 de Physical Intelligence) excellent sur les tâches précises et quasi-statiques, mais peinent sur les mouvements balistiques à forte vitesse. P.R. s'inscrit dans un courant de travaux cherchant à marier la richesse des modèles génératifs de trajectoires avec l'efficacité de l'adaptation en ligne, une direction également explorée par des équipes comme celles de Stanford (SAILOR) ou de l'ETH Zurich. Le projet est hébergé sur adap-robotics.github.io ; aucun partenaire industriel ni calendrier de déploiement n'est mentionné, ce qui situe ce travail clairement au stade de la preuve de concept académique.

💬 Dix essais terrain pour apprendre à lancer un ballon dans un panier, c'est le genre de chiffre qui fait mal à tous ceux qui tournent encore avec des boucles RL à plusieurs milliers d'itérations. Ce qui compte ici, c'est moins la démo en elle-même que ce qu'elle révèle : les grandes politiques visuomotrices du moment (VLA, diffusion policies) sont excellentes sur les gestes précis et lents, mais les mouvements balistiques rapides restent leur angle mort presque intouché. P.R. n'est encore qu'une preuve de concept académique, mais la direction est bonne.

Des milliards investis dans l'IA incarnée, mais le déploiement en usine reste hors de portée

Au premier semestre 2026, le secteur chinois de la robotique embodied AI a absorbé 46 milliards de yuans (environ 6,2 milliards d'euros) répartis sur 288 opérations de financement impliquant 226 entreprises, selon les données d'IT Juzi. La concentration est massive : les cinq premiers acteurs (Qianxun Intelligence, Xiwang Sunrise, Xinghaitu, Zibianliang Robot et Jijia Vision) ont capté 17,1 milliards de yuans, soit 37 % du total, et le top 20 emporte 70 % des fonds. Qianxun Intelligence seule a levé 4,5 milliards de yuans en quatre tours en quatre mois. Le profil des investisseurs change : les grandes rondes au-dessus du milliard de yuans sont désormais pilotées à plus de 40 % par des industriels et des entités publiques (Baidu, ByteDance, Xiaomi, Meituan, SAIC, fonds gouvernementaux), le capital d'État participant à 42 % des transactions à plusieurs centaines de millions. Ce flux d'argent masque un écart criant entre vitrine et déploiement réel. Le cas Daluo est emblématique : valorisée à plus de 20 milliards de yuans, ayant levé 5,4 milliards, la société n'a vendu que 1,4 million de yuans de produits sur les sept premiers mois de 2025 tout en enregistrant 84,25 millions de pertes nettes. La cause structurelle identifiée par le secteur est le manque de données d'interaction physique de qualité : on estime à 500 000 heures seulement le volume mondial de données réelles utilisables pour entraîner des robots, contre des milliards de tokens texte pour les LLM. Les réponses sont proportionnelles : Xinghaitu a lancé une campagne "un million d'heures" à Yizhuang, Qianxun Intelligence a déployé 300 000 points de collecte à l'échelle nationale, JD.com vise 10 millions d'heures sous deux ans. Les résultats restent modestes : un responsable algorithmique a reconnu que des dizaines de millions de yuans investis pour collecter 100 000 heures n'avaient amélioré la capacité des modèles que de 5 %. Le secteur reste en phase de recherche appliquée, loin d'une industrialisation. L'état de l'art interne, estimé sur 100 points par un praticien du domaine, place les bras industriels à 50, les châssis à roues à 40, les quadrupèdes à 30, les humanoïdes bipèdes à 15, les mains dextères à 5, et l'IA embarquée de support à 3. Les approches VLA (Vision-Language-Action) et World Model convergent techniquement mais sans consensus sur la feuille de route. Les acteurs occidentaux comme Figure (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2) font face aux mêmes verrous de sim-to-real et de données, mais le déploiement à l'échelle usine reste introuvable partout. Malgré l'étiquette "année de la production de masse" accolée à 2026, aucun robot polyvalent fiable ne s'est encore imposé commercialement dans des environnements industriels non contrôlés.

Humanoid Everyday : un jeu de données robotique complet pour la manipulation humanoïde en monde ouvert

Une équipe de recherche a publié sur arXiv (identifiant 2510.08807v2) Humanoid Everyday, un jeu de données massif dédié à l'apprentissage de la manipulation par les robots humanoïdes en conditions ouvertes. Le dataset compile 10 300 trajectoires et plus de 3 millions de frames couvrant 260 tâches réparties en 7 catégories larges : manipulation dextère d'objets, interaction humain-humanoïde, actions intégrant de la locomotion bipède, et d'autres scénarios du quotidien. Les données sont multimodales, RGB, profondeur, LiDAR, retour tactile, accompagnées d'annotations en langage naturel. La collecte repose sur un pipeline de télé-opération supervisée par des humains, optimisé pour maximiser le débit tout en maintenant la qualité des démonstrations. Les auteurs publient simultanément une plateforme d'évaluation cloud permettant à des équipes extérieures de déployer leurs propres politiques de contrôle et d'obtenir des métriques comparables dans un environnement standardisé. Ce dataset comble un vide structurel dans la recherche robotique : la quasi-totalité des benchmarks existants (Open X-Embodiment, DROID, BridgeData V2) ciblent des bras fixes, et les rares datasets humanoïdes disponibles se limitent à des environnements contrôlés, un faible nombre de tâches, et excluent généralement la locomotion et l'interaction avec des personnes. Pour un intégrateur ou un décideur industriel, la portée pratique est double : des données hétérogènes permettent d'entraîner des politiques plus généralisables, notamment des architectures VLA (vision-language-action) ; la plateforme d'évaluation cloud offre pour la première fois un cadre reproductible pour comparer des méthodes d'apprentissage par imitation ou par renforcement sur des tâches humanoïdes réalistes. L'article analyse aussi les performances de plusieurs politiques de référence, en identifiant leurs forces et limites par catégorie. La publication intervient dans un contexte de forte concurrence autour des données d'entraînement pour humanoïdes. Physical Intelligence (Pi-0, π0.5), NVIDIA (GR00T N2), Unitree et Figure AI misent chacun sur des datasets propriétaires pour différencier leurs politiques de contrôle. Côté recherche ouverte, AgiBot World et RH20T ont posé des jalons, mais restent limités dans leur couverture humanoïde. Humanoid Everyday est rendu entièrement public, dataset, code de collecte et plateforme d'évaluation inclus, ce qui en fait une ressource directement exploitable par des laboratoires et startups sans accès à des infrastructures de collecte massives. Les auteurs présentent cette release comme un socle pour de futurs agents incarnés généralistes, sans préciser d'échéancier pour des suites expérimentales.

💬 Le vrai sujet ici, c'est pas juste le volume (10 300 trajectoires, bon), c'est que les benchmarks humanoïdes existants ignoraient presque tous la locomotion et l'interaction avec des humains réels depuis le début. Des acteurs comme Pi-0 ou GR00T N2 misaient sur leurs données propriétaires comme avantage concurrentiel, et une release open-source de cette ampleur vient rogner ce levier directement. Reste à voir si ça tient face à des politiques entraînées en conditions réelles, mais pour des labos sans infrastructure de collecte massive, ça change le rapport de force.

Mouvement primitif en robotique : une étude approfondie

Publiée sur arXiv sous l'identifiant 2601.02379v2, une revue encyclopédique sur les movement primitives en robotique recense et compare l'ensemble des cadres théoriques développés ces trente dernières années pour représenter les trajectoires de contrôle de robots à partir de démonstrations humaines. Ces primitives de mouvement, blocs élémentaires de motion analogues aux phonèmes du langage, permettent à un système autonome de décomposer un geste complexe en segments réutilisables et recombinables. Les approches couvertes incluent les Dynamic Movement Primitives (DMP), formulés comme des systèmes dynamiques de type amortisseur-ressort, les Probabilistic Movement Primitives (ProMP) couplant statistiquement plusieurs démonstrations, et les extensions neuronales adaptées aux espaces d'état de haute dimension. La revue présente ces frameworks en ordre chronologique, évalue leurs forces et faiblesses, et identifie des applications concrètes : saisie d'objets, mouvements balistiques, enchaînements de tâches en manipulation robotique. Pour les praticiens (intégrateurs, équipes R&D en manipulation, COO industriels), cette synthèse positionne les primitives de mouvement comme une couche intermédiaire critique entre démonstration brute et politique généraliste de bout en bout. Elles permettent le transfert de compétences motrices sans rejeu complet des données d'entraînement et restent interprétables, contrairement aux architectures VLA (Vision-Language-Action) comme π0 de Physical Intelligence ou OpenVLA. La revue souligne en particulier des défis non résolus que ces dernières n'ont pas encore surmontés à l'échelle industrielle : segmentation automatique des démonstrations, passage à l'échelle en environnements non structurés, et couplage de contraintes en temps réel. Les primitives de mouvement ont émergé au début des années 2000 avec les travaux d'Auke Ijspeert, Jun Nakanishi et Stefan Schaal sur les DMP, puis étendues par Paraschos et al. avec les ProMP en 2013. Le champ s'est depuis fragmenté en nombreuses variantes sans synthèse unifiée. Face aux approches purement neuronales (ACT, Diffusion Policy) popularisées par les groupes de Sergey Levine et Chelsea Finn, les primitives se repositionnent comme solution modulaire et interprétable. Les auteurs identifient leur intégration dans des architectures de type foundation model pour la robotique comme prochaine étape structurante, un axe qui mobilise des acteurs aux États-Unis (Boston Dynamics AI Institute, CMU) comme en Europe (DLR, LAAS-CNRS).

Bien partir pour bien arriver : exécution asynchrone par sélection du bruit initial

Des chercheurs ont publié sur arXiv (2606.19774) une méthode baptisée PAINT, destinée à éliminer les discontinuités de mouvement dans les robots contrôlés par des politiques basées sur le flow matching. Le problème ciblé est l'exécution asynchrone dans le cadre de l'action chunking : pendant qu'un robot exécute une séquence d'actions prédéfinie (le "chunk" courant), la politique génère le chunk suivant ; si cette génération prend trop de temps, les deux séquences se raccordent mal, créant des à-coups visibles. PAINT résout ce problème non pas en corrigeant la trajectoire de génération en cours, mais en sélectionnant le bruit initial optimal avant que la génération commence, requalifiant ainsi le problème de guidage de trajectoire en problème de sélection de bruit. La méthode utilise une inversion d'Euler backward pour identifier ce bruit de départ, puis applique une règle de "repainting" pour construire le chunk final cohérent avec le préfixe déjà exécuté. Aucun gradient, aucun réentraînement ni modification de la politique existante ne sont requis. Les auteurs rapportent des améliorations sur 12 benchmarks simulés et 6 tâches de manipulation réelles, couvrant des bras simples, des systèmes bimanaux et des robots humanoïdes. L'enjeu pour les équipes robotique est concret : une méthode training-free s'applique directement à n'importe quelle politique flow-based déjà entraînée, sans coût de réentraînement. Pour les déploiements industriels, où l'action chunking est prisé précisément parce qu'il améliore la cohérence temporelle des mouvements, les discontinuités aux frontières de chunks sont un frein réel à la cadence de production. PAINT adresse ce goulot sans toucher à l'architecture ni aux poids du modèle. La validation sur des embodiments variés, du bras simple à l'humanoïde, renforce la généralité revendiquée, même si les 12 benchmarks simulés restent des conditions contrôlées dont la portée terrain reste à confirmer sur des lignes de production réelles. L'action chunking a été popularisé par ACT (Zhao et al., 2023) et le Diffusion Policy (Chi et al., 2023), avant d'être adopté dans des modèles VLA plus récents comme π0 (Physical Intelligence) ou GR00T N2 (NVIDIA). Les méthodes concurrentes pour gérer la latence asynchrone s'appuient sur un guidage ou recadrage de la trajectoire de génération, approches qui nécessitent des gradients ou des modifications du modèle. PAINT se positionne comme une alternative légère dans cet espace. Aucun partenariat industriel ni calendrier de déploiement n'est annoncé ; la publication reste au stade de la recherche académique, avec un site de démonstration accessible.

Apporte ma tasse ! Personnalisation des modèles vision-langage-action par prompting visuel attentionnel

Des chercheurs ont publié en décembre 2024 (arXiv:2512.20014) une méthode appelée Visual Attentive Prompting (VAP), conçue pour permettre aux modèles Vision-Language-Action (VLA) de répondre à des consignes personnalisées du type "apporte ma tasse". Le problème adressé est précis : un VLA classique, même performant sur des instructions génériques, échoue à identifier un objet spécifique parmi plusieurs visuellement identiques sans avoir été entraîné sur cet objet. VAP fonctionne sans ré-entraînement (training-free), c'est son argument central. Il prend quelques images de référence de l'objet cible, effectue une détection en vocabulaire ouvert dans la scène, compare les embeddings visuels pour localiser l'instance correcte, puis injecte cette localisation directement dans le flux d'entrée du VLA : surlignage de l'objet et réécriture de l'instruction. Les auteurs ont construit deux benchmarks en simulation (Personalized-SIMPLER et Personalized-VLABench) et un benchmark réel sur table pour valider l'approche sur plusieurs robots et tâches. VAP surpasse les politiques génériques et les baselines par apprentissage de tokens, à la fois en taux de succès global et en taux de manipulation du bon objet. L'enjeu industriel derrière ce travail est la personnalisation au niveau de l'instance, un verrou jusqu'ici sous-traité dans la recherche VLA. Pour un intégrateur ou un COO déployant des robots en environnement résidentiel ou hospitalier, la capacité à distinguer "la tasse de Paul" de "la tasse de Marie" sans pipeline d'apprentissage dédié par utilisateur représente un gain opérationnel significatif. VAP démontre que l'attention sélective top-down, couplée à une mémoire visuelle non-paramétrique, peut combler l'écart entre compréhension sémantique et contrôle au niveau de l'instance, un problème que les approches fondées sur le langage seul ne résolvent pas. L'absence de ré-entraînement est un avantage de déploiement réel, même si les benchmarks restent à l'échelle tabletop, loin de la chaîne logistique. Ce travail s'inscrit dans la dynamique post-RT-2 et post-OpenVLA : les VLA généralistes (π0 de Physical Intelligence, GR00T N2 de NVIDIA, ou encore les approches Octo et RoboFlamingo) excellent sur des distributions larges mais restent aveugles à la sémantique d'instance. VAP propose une surcouche légère compatible avec n'importe quel VLA gelé, ce qui le positionne comme un adaptateur potentiel pour des systèmes existants plutôt qu'un modèle concurrent. Les prochaines étapes naturelles incluent des tests hors tabletop (manipulation mobile, environnements encombrés), l'évaluation à plus grande échelle d'objets personnels, et l'intégration dans des frameworks open-source comme LeRobot d'Hugging Face. Aucun partenariat industriel ni timeline de commercialisation n'est mentionné dans la publication.

💬 Le vrai verrou des robots en environnement réel, c'est pas la compréhension du langage, c'est la sémantique d'instance : distinguer "ma tasse" de "ta tasse" sans ré-entraîner le modèle pour chaque utilisateur. VAP règle exactement ça, avec quelques photos de référence et une surcouche légère compatible avec n'importe quel VLA existant. Reste à voir ce que ça donne hors tabletop, mais comme brique vers des robots vraiment personnalisables en déploiement réel, c'est ce qui manquait.

Génération d'actions robotiques continues et cohérentes par correspondance de flux sensible aux fréquences

Une équipe de recherche propose FAFM (Frequency-Aware Flow Matching), une méthode de génération d'actions robotiques présentée en préprint arXiv (2606.20135, juin 2026), qui reformule le problème du flow matching pour la manipulation robotique dans le domaine fréquentiel. Le principe : plutôt que de prédire directement des séquences d'actions discrètes (des "chunks"), FAFM applique une transformée en cosinus discrète (DCT) sur ces séquences pour les convertir en coefficients fréquentiels, effectue le flow matching sur ces coefficients, puis reconstruit des actions continues via expansion en base cosinus. Pour garantir la cohérence temporelle, la méthode ajoute une contrainte de type Sobolev sur la dérivée temporelle du premier ordre, ce qui pénalise les changements brusques et atténue les erreurs hautes fréquences. L'approche s'applique sans paramètres réseau supplémentaires, aussi bien aux politiques de flow matching autonomes qu'aux modèles vision-langage-action (VLA). Les résultats sont validés sur les benchmarks LapGym, LIBERO et évitement d'obstacles, ainsi qu'en déploiement réel sur un bras Franka. L'intérêt industriel est direct : la fragmentation des fréquences de contrôle est un problème concret lors de l'agrégation de données de démonstration provenant de robots différents (certains à 10 Hz, d'autres à 50 Hz), et les méthodes actuelles de diffusion policy ou de flow matching standard y sont explicitement vulnérables. Les actions temporellement incohérentes qui en résultent dégradent la stabilité du contrôle en boucle fermée, un facteur bloquant pour le déploiement en production. Le fait que FAFM améliore simultanément le taux de succès, la fluidité du mouvement, la robustesse aux biais mécaniques et la vitesse de convergence sans modifier l'architecture existante est une proposition de valeur claire pour les intégrateurs : pas de refonte du pipeline, pas de surcoût computationnel. La compatibilité avec les VLA est également notable, car ces modèles dominent les annonces récentes (pi-0 de Physical Intelligence, GR00T N2 de NVIDIA) et souffrent précisément de ce type d'artefacts temporels à l'inférence. Le flow matching s'est imposé ces dix-huit derniers mois comme alternative crédible à la diffusion policy (Chi et al., 2023, Columbia), avec des temps d'inférence plus courts et une meilleure expressivité multimodale. Les travaux récents de Physical Intelligence (pi-0, pi-0.5) et de Figure AI ont largement adopté ce paradigme pour leurs politiques générales. FAFM s'inscrit dans une tendance de raffinement de ces fondations plutôt que de rupture : on optimise la stabilité et la généralisation inter-fréquences, deux verrous identifiés lors des premiers déploiements industriels à grande échelle. La validation sur Franka reste modeste en termes de diversité de tâches, et le code est disponible sous revue anonyme, ce qui signifie que la méthode n'est pas encore auditée par la communauté. Les prochaines étapes naturelles seraient une validation sur des plateformes humanoïdes multi-articulées et sur des datasets hétérogènes à grande échelle, là où la question des fréquences mixtes est la plus aiguë.

ROBOSHACKLES : un jeu de données de sécurité pour la prévention des blessures humaines dans les modèles fondation incarnés

Une équipe de chercheurs publie ROBOSHACKLES, un jeu de données de 10 000 clips vidéo robotiques conçu pour évaluer la sécurité des modèles de fondation embarqués (EFMs, Embodied Foundation Models) face aux risques de blessures humaines. Disponible sur HuggingFace, le dataset est construit à partir d'observations réelles du corpus DROID, un jeu de téléopération robotique existant. Le pipeline suit quatre étapes : compréhension de scène, édition d'image orientée dangers, génération de prompts temporels décrivant l'évolution attendue, puis synthèse en un seul passage via le modèle vidéo Wan2.7. Les clips couvrent six catégories de risques : deux de dommages directs (contact physique avec un humain) et quatre de dommages indirects (situations domestiques dangereuses créées par le robot). L'évaluation de six EFMs représentatifs selon un critère de refus d'action donne un résultat sans équivoque : 100% de taux de génération d'actions dangereuses dans tous les scénarios testés. Ce chiffre interpelle directement les intégrateurs et décideurs industriels envisageant le déploiement de robots à base d'EFMs en environnements mixtes. Il expose un angle mort structurel : contrairement aux LLMs textuels, les EFMs ne disposent pas encore de mécanismes d'alignement de sécurité pour anticiper les séquences d'actions dangereuses avant leur exécution physique. La difficulté est méthodologique : collecter des données réelles de robots blessant des humains est éthiquement et légalement impossible, ce qui explique l'absence de benchmarks dans ce domaine jusqu'ici. ROBOSHACKLES propose une voie scalable via la synthèse vidéo, pour entraîner des modèles à refuser des actions à risque et à anticiper les dangers en amont de l'exécution. Les EFMs sont au cœur d'une compétition intense entre les principaux acteurs : Physical Intelligence avec π0, Google DeepMind avec RT-2, NVIDIA avec GR00T N2, et plusieurs implémentations open-source comme OpenVLA. Ces modèles combinent compréhension multimodale, raisonnement sur les états futurs et génération d'actions directement exécutables sur le robot, un paradigme qui accélère la commercialisation mais expose à des risques que le RLHF classique ne couvre pas. ROBOSHACKLES s'inscrit dans un effort émergent de safety spécifique à la robotique physique, avec pour suites logiques son intégration dans des pipelines de refusal learning et son extension à des scénarios industriels à plus haute énergie cinétique.

HALOMI : apprentissage de la loco-manipulation humanoïde avec perception active à partir de démonstrations humaines

Une équipe de chercheurs vient de publier sur arXiv (réf. 2606.18772) HALOMI, un framework permettant à un humanoïde d'apprendre la "loco-manipulation" -- navigation et manipulation d'objets combinées -- à partir de démonstrations humaines captées en conditions réelles. Le système étend l'Universal Manipulation Interface (UMI) avec une perception égocentrique double : caméras en vue subjective (ego-view) et au niveau du poignet (wrist-view), enregistrant simultanément les trajectoires tête-mains de l'opérateur. La validation s'effectue sur le Unitree G1, humanoïde équipé d'un cou motorisé, sur cinq catégories de tâches réelles : navigation, préhension, manipulation bimane, coordination corps entier, et comportements dynamiques incluant lancer d'objets et accroupissement profond. HALOMI atteint un taux de réussite moyen de 85 % sur les trois tâches évaluées quantitativement. Ce résultat cible l'un des obstacles fondamentaux du retargeting humain-humanoïde : au-delà du sim-to-real gap, il existe un "human-to-humanoid gap" dans la perception égocentrique et l'exécution motrice. HALOMI l'attaque sur deux fronts : un alignement de la vue subjective, et une adaptation de trajectoire dite "controller-aware" qui intègre les contraintes dynamiques propres au robot. Le contrôleur de suivi tête-main opère dans un espace latent appris (manifold contraint), ce qui le rend plus robuste face aux cibles hors distribution -- écueil classique du retargeting direct. Le 85 % est à nuancer : les tâches qualitatives comme le lancer dynamique n'ont pas de métriques publiées, et les conditions expérimentales exactes (nombre d'essais, variabilité de scène) restent non précisées dans le papier. HALOMI s'inscrit dans la tendance qui exploite les démonstrations humaines pour réduire le coût de collecte de données sur robot, dans la lignée directe d'UMI (Stanford, 2023), et en parallèle des approches Vision-Language-Action comme Pi-Zero (Physical Intelligence) ou GR00T N2 (NVIDIA). La particularité ici est l'accent mis sur la perception active : le cou motorisé du G1 est un élément fonctionnel du pipeline, pas un détail cosmétique. Le Unitree G1, commercialisé autour de 16 000 dollars, s'est imposé comme banc de test académique commun depuis 2024. Aucun partenaire industriel ni calendrier de déploiement n'est mentionné dans le papier : HALOMI reste pour l'heure une contribution de recherche, sans annonce de commercialisation.

GCNGrasp-VP : planification de vue guidée par les affordances pour une préhension efficace orientée tâche

Une équipe de recherche publie ce mois-ci sur arXiv (référence 2606.19091) GCNGrasp-VP, un framework destiné à améliorer la saisie orientée tâche en robotique de manipulation, en particulier lorsque l'objet cible est partiellement masqué. Le système repose sur deux composants : GCNGrasp-v2, un modèle de préhension qui évalue simultanément la qualité d'une prise et prédit un champ d'affordance en temps constant, et Affordance-VP, un planificateur de points de vue qui utilise ce champ d'affordance comme métrique de gain d'information pour repositionner la caméra du robot vers les zones fonctionnellement pertinentes. Les auteurs rapportent une validation en environnement réel sur des scénarios mono-objet, avec une latence de calcul annoncée à l'échelle de la milliseconde et une correction de point de vue obtenue en un seul déplacement caméra. Le code et les modèles sont rendus publics sur GitHub. L'intérêt technique de cette approche réside dans la dissociation entre perception active et reconstruction de scène. Les méthodes existantes de view planning s'appuient généralement sur une reconstruction 3D complète avant de décider où observer, ce qui introduit une latence incompatible avec les contraintes de cycle industriel. GCNGrasp-VP contourne ce goulot en substituant la carte d'affordance à l'incertitude géométrique comme critère d'exploration, ce qui réduit le nombre d'ajustements nécessaires à un seul dans les tests publiés. Pour les intégrateurs travaillant sur des cellules de picking ou d'assemblage, c'est un angle pertinent : gérer les occlusions partielles sans recourir à un système de vision multi-caméras fixe ou à une reconstruction volumétrique coûteuse. Ce travail s'inscrit dans une tendance plus large vers les modèles de préhension sémantiquement informés, où la notion d'affordance, popularisée par des travaux comme GCNGrasp original et les approches VLA (Vision-Language-Action) de type pi-zero ou GR00T, commence à descendre au niveau de la planification perceptuelle. La contribution reste pour l'instant un preprint non peer-reviewed, validé sur des scénarios mono-objet en laboratoire. Les benchmarks sur des configurations multi-objets avec occlusions sévères, ou dans un contexte industriel réel, n'ont pas encore été publiés. Aucun partenaire industriel ni calendrier de déploiement n'est mentionné.

💬 Ce qui est malin ici, c'est de remplacer la reconstruction 3D complète par une carte d'affordance pour guider la caméra. Un robot qui cherche à voir ce qu'il veut saisir plutôt que de tout reconstruire avant d'agir, c'est un vrai changement de logique dans la perception active, et ça ramène les ajustements caméra à un seul dans les tests. Bon, c'est un preprint sur scénarios mono-objet, donc on garde la tête froide.