RecherchearXiv cs.RO 15 juillet 2026

Contract-Grounded Behavior Tree Synthesis via Agents de Codage

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent une architecture de synthèse d'arbres de comportement (behavior trees, BT) pour robots, pilotée par un agent de codage qui interroge un serveur MCP (Model Context Protocol) côté robot avant de générer le BT. Ce contrat renvoie une bibliothèque de compétences exécutables, la liste des opérateurs BT autorisés, et éventuellement des templates de composition. Un opérateur non expert formule une commande en langage naturel, puis une passerelle de validation intégrée au runtime du robot vérifie la correction du BT avant toute exécution. L'équipe a testé deux modèles de langage, Sonnet 4.6 (fermé) et Gemma4:31b (open source, plus petit), sur 110 tâches simulées dans l'environnement PyRoboSim et 14 tâches sur un robot physique Husarion Panther équipé d'une pile de navigation Nav2.

L'intérêt est de déplacer la charge du "grounding", c'est-à-dire s'assurer que le BT généré ne référence que des actions réellement exécutables, du rédacteur de prompt vers un protocole standardisé interrogé dynamiquement. Concrètement, cela réduit la fragilité des déploiements dans les usines et entrepôts où l'opérateur ignore souvent le détail des capacités du robot ou de son runtime. Les résultats montrent une validation de BT quasi parfaite et un taux de réussite élevé grâce au contrat, et surtout que les templates de composition permettent au modèle open source, moins capable seul, de rattraper une bonne partie de son retard sur les tâches à logique de contrôle réactive. Le transfert réussi sur robot physique, avec une pile Nav2 opaque à la fois pour l'opérateur et pour l'agent, va dans le sens d'une réduction de l'écart simulation-réel souvent observé sur ce type de démonstrations.

La synthèse de BT par LLM s'inscrit dans la tendance à rendre les robots pilotables en langage naturel, en alternative aux machines à états codées à la main. Le protocole MCP, popularisé pour connecter des agents IA à des outils et données externes, est ici détourné pour exposer les capacités robotiques de façon structurée plutôt que de tout confier au prompt. Ce travail reste à ce stade une publication académique (arXiv), sans déploiement commercial annoncé, mais pointe vers une piste concrète pour fiabiliser les architectures agentiques face aux approches concurrentes de type VLA telles que Pi-0, GR00T N2 ou Helix, qui misent elles sur l'exécution directe plutôt que sur une couche symbolique intermédiaire.

Impact France/UE

Le robot physique testé (Husarion Panther) provient d'une entreprise polonaise, mais aucun déploiement ou implication commerciale n'est annoncé pour la France ou l'UE.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

VIA : agent d'interface visuelle pour le contrôle de robots

Le laboratoire d'IA publie sur arXiv (référence 2607.11119v1) un framework baptisé VIA, pour Visual Interface Agent, qui aborde le contrôle robotique sous un angle radicalement différent des approches dominantes. Plutôt que d'entraîner un modèle vision-langage-action (VLA) spécialisé sur des données robotiques, VIA fait piloter un bras manipulateur par un agent génériste (Claude Code ou Codex) via une interface 3D dans un navigateur : l'agent prend des captures d'écran, envoie des commandes simples, observe le résultat et ajuste sa trajectoire en boucle fermée. Aucun fine-tuning spécifique au robot, aucun accès à des données d'état privilégiées : seulement de la perception visuelle et un petit ensemble d'outils génériques. Avec le modèle le plus performant testé, Fable 5, VIA atteint 96,7% de réussite sur trois tâches de la suite LIBERO-Goal et 100% sur une tâche complexe d'assemblage séquentiel ("rainbow assembly"). L'enjeu dépasse la simple prouesse technique. Les modèles VLA actuels (dérivés de familles comme pi-0 ou GR00T N2) restent des ordres de grandeur plus petits que les modèles généralistes de pointe, faute de données et de calcul disponibles pour le fine-tuning robotique, ce qui plafonne mécaniquement leurs capacités de raisonnement. VIA suggère au contraire que les capacités générales des agents de codage ou d'usage d'ordinateur se transfèrent directement au contrôle physique, à condition de leur fournir la bonne interface. Autre signal notable : la performance de VIA progresse avec l'échelle et la puissance du modèle sous-jacent, ce qui laisserait entrevoir des gains automatiques à mesure que les modèles génériques s'améliorent, sans réentraînement robotique dédié. Pour les intégrateurs et décideurs du secteur, cela questionne la nécessité de collecter des données robotiques coûteuses pour chaque nouvelle tâche. Le travail s'inscrit dans la vague de recherche sur les VLA (RT-2, OpenVLA, Helix et consorts), qui reste aujourd'hui le paradigme dominant pour la robotique généraliste. VIA en propose une alternative agentique, sans fine-tuning, testée pour l'instant uniquement sur des tâches de manipulation de table en environnement contrôlé. Il s'agit d'un préprint arXiv, non encore validé par les pairs, et les auteurs eux-mêmes présentent leurs résultats comme des indices de transférabilité plutôt que comme une solution de déploiement industriel : les prochaines étapes attendues porteront sur l'élargissement à des tâches plus diverses et des environnements réels au-delà du tabletop.

RechercheActu

1 source

2arXiv cs.RO

« À base d'agents » ou pas, ce titre parle de synthèse de politiques robotiques guidées par le langage

Traduction et résumé français de l'article ARCHITECT : Une équipe de recherche présente ARCHITECT, un framework qui reformule l'apprentissage de politiques robotiques comme une tâche de synthèse de programme interactive plutôt que comme un modèle de bout en bout. Contrairement aux modèles vision-langage-action (VLA) qui produisent des politiques opaques et difficiles à corriger, ARCHITECT s'appuie sur des agents de codage basés sur des LLM pour générer des programmes robotiques modulaires exploitant une bibliothèque d'outils de perception et de contrôle. Un superviseur humain peut intervenir par des corrections en langage naturel, que le système relie directement au code de la politique grâce aux traces d'exécution du programme, puis distille dans une bibliothèque de compétences persistante, une forme d'apprentissage en contexte à long terme. Sur un benchmark utilisant un bras robotique Franka Panda, ARCHITECT surpasse à la fois les modèles VLA de référence et les méthodes de synthèse de programme concurrentes sur des tâches longues et complexes, dont la manipulation d'objets articulés et le pliage de tissu. L'intérêt principal réside dans la réponse apportée à un problème récurrent du secteur : le décalage entre les démonstrations impressionnantes des modèles VLA et leur fragilité en conditions réelles, où un changement de distribution provoque des échecs en cascade difficiles à diagnostiquer. En rendant chaque politique modulaire et traçable, ARCHITECT permet d'isoler précisément l'origine d'un échec et de corriger uniquement le module fautif, plutôt que de réentraîner un modèle entier. Pour les intégrateurs et décideurs industriels, cela ouvre la voie à des systèmes plus auditables et moins gourmands en données d'entraînement, un argument clé face au coût et à l'opacité des grands modèles de fondation robotiques. Ce travail s'inscrit dans un mouvement de recherche cherchant des alternatives aux VLA monolithiques, en misant sur les capacités de raisonnement des LLM pour écrire et corriger du code robotique plutôt que d'apprendre des politiques end-to-end. La bibliothèque de compétences accumulée permettrait au système de transférer ses acquis vers des tâches nouvelles avec une intervention humaine décroissante, un axe que les auteurs présentent comme une alternative data-efficiente et pilotable à l'apprentissage robotique en boîte noire. Il s'agit pour l'instant d'un résultat de recherche évalué en laboratoire, sans indication de déploiement industriel.

RecherchePaper

1 source

3arXiv cs.RO

ACE : contrôle à base d'agents pour la manipulation incarnée via raisonnement de flux de travail zéro-shot

Une équipe de recherche publie sur arXiv (arXiv:2607.04162v1) ACE, pour Agentic Control for Embodied Manipulation, un cadre de raisonnement en zero-shot destiné à la manipulation d'objets sur table à partir d'instructions en langage naturel. Plutôt que de faire correspondre directement le langage à des actions motrices bas niveau, comme le font la plupart des politiques VLA de bout en bout, ACE orchestre un raisonnement de type workflow agentique couplé à deux compétences robotiques réutilisables : une interface de repérage visuel et une primitive générique de saisie-dépose. Le sous-objectif actif est traduit en un masque visuel qui désigne à la fois l'objet cible et sa destination, masque qui est suivi dans le temps, exposé à la vérification humaine, puis transmis à une politique d'exécution indépendante de la tâche. Le système fonctionne en boucle fermée grâce à une mémoire multi-échelle temporelle qui vérifie après chaque action si le sous-objectif a réussi, avant de décider de poursuivre, réessayer, corriger ou replanifier. Sur des tâches longues et logiquement complexes, comme la formation d'équations avec des cubes numérotés ou la récupération d'objets sous contrainte, ACE atteint 50% de réussite pour la formation d'équations et 70% pour la récupération sous contrainte, quand les approches de bout en bout classiques échouent largement sur ces mêmes tâches. Ce résultat cible un point de friction précis du secteur : la capacité d'un système à généraliser à des scènes et contraintes sémantiques inédites sans réentraînement spécifique à la tâche, ce qui reste l'un des principaux écarts entre les démonstrations en laboratoire et un déploiement robuste en environnement réel. En montrant qu'un raisonnement explicite par étapes, combiné à un contrôle médié par masque, surpasse des politiques end-to-end sur des tâches à horizon long, ACE apporte un argument concret pour les intégrateurs et équipes de R&D qui cherchent des architectures de manipulation capables de gérer l'échec d'exécution et la correction humaine en cours de tâche, plutôt que de miser uniquement sur l'échelle des données d'entraînement. ACE s'inscrit dans la lignée des travaux récents sur les architectures agentiques pour la robotique, qui cherchent à combiner les capacités de raisonnement des grands modèles de langage avec des compétences robotiques modulaires et vérifiables, en alternative aux politiques VLA monolithiques comme Pi-0 ou GR00T. Les auteurs positionnent explicitement leur approche contre des baselines de bout en bout sur les mêmes bancs d'essai, mais l'évaluation reste limitée à des scénarios de manipulation tabletop en conditions contrôlées, sans indication de déploiement industriel ni de partenariat annoncé à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

In-Context VLA : doter les modèles VLA de langage via post-entraînement en contexte et outils à base d'agents

Une étude publiée sur arXiv (2608.05738v1) identifie un défaut structurel des modèles vision-langage-action (VLA), la méthode dominante pour la manipulation robotique généraliste, entraînés par clonage comportemental à partir d'une image statique et d'une instruction fixe. Les auteurs montrent qu'ajouter un raisonnement textuel explicite (chain-of-thought, CoT) dégrade le contrôle bas niveau : ce raisonnement n'est pas ancré dans la perception réelle, sa latence casse le timing de la boucle fermée, et texte et action, optimisés selon des objectifs contradictoires, poussent la politique à commenter plutôt qu'à agir. Leur réponse, baptisée In-Context VLA, combine un post-entraînement en contexte, où les preuves perceptuelles sont injectées comme contexte structuré et où seule la supervision des actions est utilisée, et une interface agentique qui interroge des détecteurs en vocabulaire ouvert, un module de profondeur monoculaire et un modèle vision-langage. Sur les bancs d'essai RoboCasa-GR1, SimplerEnv et LIBERO, plus 8 tâches de manipulation réelles, la méthode atteint l'état de l'art en performance et en efficacité face aux approches CoT à configuration égale. Ce résultat pèse sur un débat central du secteur : le CoT, efficace pour les grands modèles de langage, était vu comme une voie naturelle pour rendre les VLA plus performants et plus interprétables. L'étude montre l'inverse pour des systèmes de contrôle temps réel, où la latence du texte entre en conflit direct avec les contraintes de boucle fermée d'un bras ou d'un robot mobile. Pour les équipes qui évaluent des architectures candidates à la manipulation industrielle, la leçon est de séparer la capacité à produire du langage de celle à l'exploiter comme information de perception, un choix de conception qui conditionne directement la fiabilité des futures politiques robotiques face à des instructions inédites. Le clonage comportemental s'est imposé comme recette par défaut à mesure que se multipliaient les démonstrations téléopérées et les architectures VLA, et plusieurs travaux récents avaient tenté d'y greffer un raisonnement CoT dans la lignée des gains observés côté modèles de langage purs. In-Context VLA prend le contre-pied en s'appuyant sur un moteur de données qui génère des descriptions spatiales diverses et paraphrasées, conditionnées par des preuves perceptuelles réelles, plutôt qu'une légende unique et gabarisée, pour que la politique apprenne à interpréter un langage jamais vu mot pour mot. Les auteurs positionnent leur approche comme une alternative directe aux méthodes fondées sur le CoT, avec des résultats state-of-the-art annoncés sur trois bancs de simulation distincts et des tests physiques, que de futures reproductions viendront confirmer ou nuancer.

RechercheOpinion

1 source