Harness Robotic OS : un runtime unifié d'agents…

1arXiv cs.RO

EWAM : un modèle d'action du monde amélioré pour l'adaptation en ligne en boucle fermée dans l'IA incarnée

Une équipe de recherche publie sur arXiv (arXiv:2606.12690, juin 2026) une architecture baptisée EWAM (Enhanced World Action Model), conçue pour adapter un robot à de nouvelles configurations de tâches sans aucun jeu de démonstrations supplémentaires et sans réentraîner le réseau de base. EWAM s'appuie sur Cosmos3, le modèle fondationnel de simulation-prédiction monde développé par NVIDIA, maintenu entièrement gelé. Quatre couches neuronales légères y sont greffées : une couche mémoire d'expérience (Neural Experience Memory Layer) insérée dans les couches intermédiaires du Diffusion Transformer (DiT), qui injecte du contexte d'exécution ; une couche de détection d'anomalies (Neural Anomaly Detection Layer) placée après la tête de prédiction d'état, qui mesure en temps réel la divergence entre état prédit et état observé ; une couche de routage de politique (Neural Policy Routing Layer) qui choisit dynamiquement entre exécution directe, replanification conservative ou rollback de récupération selon la sévérité de l'anomalie ; et une couche de correction d'action (Neural Action Correction Layer) qui affine les séquences d'actions générées à partir des diagnostics d'exécution. L'ensemble est évalué exclusivement en protocole zéro-shot. Ce que montre EWAM, c'est qu'il est possible d'obtenir des gains de performance significatifs à l'inférence uniquement, sans toucher aux poids du modèle de base et sans collecter de nouvelles démonstrations spécifiques à chaque tâche. Pour un intégrateur industriel ou un COO, c'est un signal important : le coût de redéploiement sur de nouveaux layouts d'atelier, qui constitue aujourd'hui l'un des freins majeurs à la généralisation des robots mobiles et des manipulateurs apprenants, pourrait être absorbé par de l'adaptation en ligne plutôt que par des cycles coûteux de collecte de données et de fine-tuning. Le module de détection d'anomalies couplé au routage de récupération adresse directement le "demo-to-reality gap" : les modèles génératifs de type monde peuvent prédire des états plausibles mais diverger sur le terrain ; EWAM tente de corriger cette dérive en boucle fermée. La différenciabilité des modules mémoire, détection et correction dans le chemin forward de Cosmos3 distingue cette approche d'une simple fusion de features en post-processing. Cosmos3 est le modèle monde physique de NVIDIA, successeur de Cosmos1 et Cosmos2, entraîné sur des volumes massifs de vidéos de manipulation et de navigation pour prédire des trajectoires d'états futurs vraisemblables. L'architecture EWAM s'inscrit dans une vague de travaux qui cherchent à exploiter ces fondations gelées plutôt qu'à les réentraîner, une tendance que l'on retrouve aussi dans Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA Robotics) ou les approches VLA (Vision-Language-Action) basées sur des backbones pré-entraînés. Les acteurs concurrents sur ce créneau de l'adaptation légère incluent les équipes de DeepMind (RT-2, AutoRT), de Physical Intelligence et de plusieurs laboratoires universitaires américains et chinois. EWAM est pour l'instant un résultat de recherche académique non déployé en production, et les auteurs ne précisent pas de partenaires industriels ni de calendrier de transfert. Les prochaines étapes naturelles seraient une validation sur hardware réel à grande échelle et une comparaison directe en termes de coût de déploiement face aux méthodes de fine-tuning léger (LoRA, QLoRA) appliquées à ces mêmes backbones.

IA physiqueOpinion

1 source

2arXiv cs.RO

Robotique par imitation autorégressive : un VLM incarné unifié pour l'action robotique

Des chercheurs présentent GenieReasoner, un modèle Vision-Langage-Action (VLA) conçu pour combler l'écart entre raisonnement sémantique et précision d'exécution motrice chez les robots généralistes. L'équipe introduit d'abord ERIQ (Embodied Reasoning Intelligence Quotient), un benchmark de plus de 6 000 paires question-réponse couvrant quatre dimensions du raisonnement incarné, qui permet d'évaluer séparément la capacité de raisonnement d'un modèle et sa capacité à agir. Cette évaluation découplée révèle une corrélation forte entre le score de raisonnement d'un modèle et sa capacité de généralisation en tâche réelle. Pour traduire ce raisonnement en gestes précis, les auteurs développent FACT, un tokenizer d'actions basé sur le flow matching, qui convertit des trajectoires de contrôle continues en séquences discrètes tout en préservant une reconstruction fidèle du mouvement. GenieReasoner, le modèle final, optimise conjointement raisonnement et action dans un espace unifié et surpasse, selon les auteurs, les approches à action continue comme les approches à action discrète existantes sur des tâches de manipulation en conditions réelles. L'enjeu dépasse la simple performance sur un jeu de tests: c'est le compromis raisonnement-précision, souvent cité comme le principal frein à la généralisation des VLA hors laboratoire, que ce travail cherche à quantifier puis à résoudre. Pour les intégrateurs et équipes R&D en robotique, disposer d'un benchmark comme ERIQ offre un outil de diagnostic pour repérer si un modèle échoue par manque de compréhension sémantique de la scène ou par imprécision motrice, deux problèmes qui appellent des solutions très différentes. Les résultats annoncés restent toutefois issus des auteurs eux-mêmes, sans validation tierce indépendante à ce stade. Ce travail s'inscrit dans la lignée des modèles VLA à grande échelle type Pi-0 ou GR00T N2, qui cherchent tous à unifier compréhension du langage, de la vision et génération d'actions robotiques dans une seule architecture. La tokenisation discrète des actions, plutôt que leur régression continue, est une piste explorée par plusieurs laboratoires pour rapprocher l'entraînement des VLA de celui des grands modèles de langage. Le code et les détails du projet sont disponibles sur la page dédiée des auteurs; les prochaines étapes attendues portent sur l'extension du benchmark ERIQ et des tests sur une plus grande diversité de plateformes robotiques.

IA physiqueActu

1 source

3arXiv cs.RO

Cher LLaVA, conduis" : un agent vision-langage sensible à la profondeur pour le contrôle robotique en boucle fermée

Une équipe de recherche a publié le 22 septembre 2026 sur arXiv (référence 2609.22925v1) un article intitulé "Dear LLaVA, Please Drive", décrivant une méthode pour adapter un modèle vision-langage (VLM) préentraîné, dérivé de l'architecture LLaVA, à la navigation autonome de robots mobiles. Contrairement aux approches classiques qui reposent sur l'apprentissage par imitation et nécessitent de vastes jeux de trajectoires annotées, le système utilise un paradigme dit d'Imperative Learning : il optimise directement contre des champs de coût géométriques différentiables, calculés à partir d'observations de profondeur stéréoscopique, plutôt que d'apprendre à partir de trajectoires étiquetées. L'architecture combine un backbone VLM partagé avec des modules d'adaptation Low-Rank (LoRA) spécifiques à chaque tâche, reliant la sélection sémantique d'une cible en langage naturel à la planification bas niveau de trajectoire. Moins de 1 % des paramètres totaux du modèle sont mis à jour lors du fine-tuning. Les auteurs rapportent un score SPL (Success weighted by Path Length) compétitif dans des environnements inédits, ainsi que des essais qualitatifs en conditions réelles démontrant une généralisation du simulateur au monde physique sans réentraînement sur données réelles. Pour l'industrie robotique, ce travail s'attaque à un goulot d'étranglement connu des architectures VLA appliquées à la navigation : le coût et la rareté des données de trajectoires labellisées, qui freinent le passage à l'échelle des agents pilotés par instructions en langage naturel. En s'appuyant sur un fine-tuning paramétrique léger plutôt que sur un réentraînement massif, l'approche illustre une voie pour déployer des capacités de navigation sémantique sur des robots mobiles à moindre coût de collecte de données, un argument pertinent pour les intégrateurs cherchant à réduire la dépendance aux pipelines d'annotation. Le papier s'inscrit dans la vague plus large des travaux combinant VLM et robotique mobile, où la question centrale reste la fiabilité du transfert simulation vers réel. Il s'agit ici de résultats qualitatifs et d'une preuve de concept académique, sans mention de partenaire industriel, de déploiement commercial ni de calendrier de suite, l'article se présentant comme une contribution méthodologique plutôt qu'une annonce produit.

IA physiqueActu

1 source

4arXiv cs.RO

VLCP : réplanification de code en boucle fermée par politique de contrôle vision-langage pour la manipulation robotique

Des chercheurs publient sur arXiv (2608.16978, mis en ligne le 19 août 2026) VLCP, pour Vision Language Control Policy, une méthode qui transforme un modèle vision-langage (VLM) figé en politique de contrôle robotique sans fine-tuning ni démonstrations. Au lieu de réentraîner le modèle pour qu'il produise une représentation d'action inédite, VLCP le fait écrire directement une courte fonction de contrôle en Python, puis referme la boucle au niveau du code lui-même : toutes les K étapes, le VLM réobserve la scène via des flux RGB multi-vues, l'état proprioceptif et un delta d'état, et réécrit la fonction de contrôle si nécessaire, avant qu'un échec ne se propage jusqu'à la fin de l'épisode. Testée sur un ensemble de 57 tâches en simulation MuJoCo/RoboVerse, cette politique sans entraînement atteint un taux de succès combiné de 35,1 %, contre seulement 3,5 % pour le même système interrogé une seule fois par épisode en boucle ouverte, soit un écart d'un facteur dix confirmé par des intervalles de confiance non chevauchants sur toutes les familles de scènes. Le système affiche aussi un taux de récupération intra-épisode de 27,3 % sur les préhensions ratées, un coût de calcul limité (environ 10 requêtes compactes par épisode, 84 % des tokens en cache) et une bibliothèque de compétences réutilisée d'un épisode à l'autre. Le résultat cible directement l'écart entre démonstration et réalité qui pèse sur les politiques VLA (vision-language-action) actuelles : plutôt que de retenter une politique figée ou de basculer vers une autre sous-tâche en cas d'échec, comme le font les méthodes en boucle fermée existantes, VLCP corrige la cause réelle de l'échec, le code de contrôle lui-même. Pour les intégrateurs et équipes de recherche en robotique manipulatrice, cela suggère qu'un VLM générique, sans adaptation coûteuse à un robot ou une tâche spécifique, peut produire des politiques nettement plus robustes simplement en fermant la boucle au bon niveau d'abstraction, celui du code plutôt que de l'action bas niveau. Le gain de robustesse provient moins de la puissance brute du modèle que de la fréquence et du niveau auquel il est autorisé à se corriger, un point qui interroge les architectures de contrôle en boucle ouverte encore courantes dans les démonstrations commerciales du secteur. Cette approche s'inscrit dans la lignée des travaux qui exploitent les VLM frontières comme cerveaux de raisonnement plutôt que comme modèles à réentraîner pour produire des trajectoires, une piste alternative aux politiques VLA de bout en bout comme Pi-0 ou GR00T N2. Les auteurs ne précisent pas de déploiement sur robot physique ni de partenariat industriel : il s'agit à ce stade d'une preuve de concept en simulation, publiée en prépublication, sans date de mise en œuvre réelle annoncée. Les prochaines étapes attendues porteraient sur la validation sur du matériel physique et sur des tâches de manipulation plus complexes que celles du benchmark RoboVerse utilisé ici.

IA physiquePaper

1 source

Harness Robotic OS : un runtime unifié d'agents incarnés pour l'inspection en boucle fermée par robot quadrupède

À lire aussi

EWAM : un modèle d'action du monde amélioré pour l'adaptation en ligne en boucle fermée dans l'IA incarnée

Robotique par imitation autorégressive : un VLM incarné unifié pour l'action robotique

Cher LLaVA, conduis" : un agent vision-langage sensible à la profondeur pour le contrôle robotique en boucle fermée

VLCP : réplanification de code en boucle fermée par politique de contrôle vision-langage pour la manipulation robotique