RecherchearXiv cs.RO 15 septembre 2026

Relier pensée et action : stabiliser les agents LLM open source sur le long terme avec un framework ROS enrichi par MetaTool

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Ce papier de recherche présente une architecture logicielle qui vise a résoudre l'instabilité des agents robotiques bases sur des LLM open-source lors de taches longues et complexes. L'équipe introduit un mécanisme intermédiaire baptise MetaTool, intègre a une architecture ROS-Agent, qui force le modèle de langage a générer un plan en pseudo-code des outils qu'il compte invoquer avant même de commencer l'exécution. Ce plan est stocke dans un scratchpad du ROS-Agent et persiste tout au long de la tache, ce qui sépare explicitement la phase de planification de la phase d'action. Le système a été valide sur une plateforme robotique mobile personnalisée, dotée de capacités de perception multimodale et de contrôle moteur. Sur des taches interactives en conditions réelles, les chercheurs rapportent des gains de complétion de tache et de cohérence contextuelle allant jusqu'a environ 24% sur les taches complexes, par rapport a une architecture de référence sans ce mécanisme.

Ce résultat s'adresse directement a un problème concret pour quiconque déploie des agents robotiques bases sur des LLM en dehors des laboratoires des grands acteurs propriétaires: les modèles open-source, moins optimises pour le raisonnement agentique de bout en bout, ont tendance a boucler sur des actions inefficaces ou a perdre le fil d'une tache longue. En forçant une planification explicite avant l'exécution, l'approche s'attaque a une limite bien identifiée des architectures agentiques actuelles, ou le raisonnement et l'action sont souvent entremêlés sans garde-fou structurel. Pour les intégrateurs qui cherchent a éviter la dépendance a des modèles propriétaires couteux comme ceux utilises dans certains systèmes commerciaux, ce type de mécanisme intermédiaire montre une voie pour rendre les LLM open-source plus fiables sans changer de modèle de base, une piste pertinente pour les budgets serres en robotique industrielle. Le gain de 24% reste toutefois mesure sur une plateforme et un jeu de taches propres aux auteurs, sans comparaison publiée face a des frameworks agentiques commerciaux ou a d'autres architectures ROS-Agent existantes.

L'article s'inscrit dans la lignée des travaux récents combinant ROS (Robot Operating System) et agents LLM pour piloter des robots via des commandes en langage naturel, un domaine qui a explose avec la multiplication de frameworks agentiques génériques (type ReAct) mal adaptes aux contraintes temps réel et de fiabilité de la robotique. Contrairement aux approches qui misent sur des modèles vision-langage-action (VLA) entraines de bout en bout comme Pi-0 ou GR00T N2, cette équipe choisit une voie orthogonale: garder un LLM généraliste open-source et l'encadrer par une couche logicielle de planification structurée. Publie sur arXiv en tant que nouvelle soumission, ce travail reste a ce stade une preuve de concept en environnement contrôle, sans indication de partenariat industriel, de déploiement en usine ou de calendrier de commercialisation.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

ROMA : un système LLM pour la perception active multisensorielle centrée sur les objets en conditions réelles

Des chercheurs publient sur arXiv (2610.06955v1) ROMA, un système à base de grand modèle de langage (LLM) pour la perception active multi-sensorielle centrée sur l'objet, testé en conditions réelles. Il intègre la vision, l'audio, le tactile et la force dans une boucle raisonnement, interaction, retour sensoriel. Le modèle repère les preuves manquantes, puis choisit l'objet cible, l'interaction et la modalité à utiliser. Une interface physique exécute l'action et renvoie les mesures. Pour l'entraîner, l'équipe a construit ROMI-2K, un jeu de données d'interactions réelles couvrant près de 2 000 objets et 6 interactions atomiques, avec un retour sensoriel synchronisé. L'entraînement se fait en deux étapes : alignement des modalités, puis apprentissage de trois compétences. Ces compétences sont évaluer si les preuves suffisent, sélectionner les interactions les plus informatives et raisonner sur le retour multi-sensoriel. Les auteurs définissent aussi des « chaînes de perception », où chaque preuve acquise guide l'interaction suivante. Ils proposent ROMA Bench, qui évalue trois cas : un seul attribut, plusieurs attributs sur un long horizon, et une perception guidée par l'intention. L'abstract ne donne ni chiffres de performance, ni noms des modèles comparés, ni détail sur le matériel robotique. L'intérêt tient au déplacement du problème. La plupart des systèmes multi-sensoriels fusionnent des entrées déjà disponibles. ROMA traite la perception comme une décision : quelle information manque, comment l'obtenir, quand s'arrêter. C'est utile pour les tâches où la vision seule ne suffit pas, comme estimer la masse, la rigidité, le contenu d'un contenant ou la matière d'une surface. Le travail suggère aussi qu'un LLM peut servir de planificateur d'interactions informatives, pas seulement d'exécutant de commandes. Reste une réserve : le papier ne précise pas ici le taux de réussite, le temps par chaîne de perception ni la robustesse hors des objets du jeu de données. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel annoncé. Ce travail s'inscrit dans la montée des modèles vision-langage-action (VLA) et des modèles de fondation pour la manipulation. Ceux-ci restent surtout dominés par la vision et le langage, et le tactile, la force et l'audio y sont encore peu exploités. ROMI-2K et ROMA Bench pourraient servir de références communes, à condition d'être publiés et reproductibles. Aucun pilote ni calendrier n'est annoncé. La prochaine étape logique est de brancher cette perception sur des agents incarnés capables d'agir sur les objets identifiés, ce que les auteurs présentent comme une « base perceptuelle ». Un intégrateur devra surtout vérifier si ces gains tiennent sur des pièces industrielles, en cadence réelle, avec des capteurs tactiles et de force du commerce.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Vers le paradigme vision-son-langage-action : le framework HEAR pour la manipulation centrée sur le son

Une équipe de recherche a publié sur arXiv (2603.16086v2) une version révisée de l'article "Towards the Vision-Sound-Language-Action Paradigm: The HEAR Framework for Sound-Centric Manipulation", qui formalise le paradigme Vision-Sound-Language-Action (VSLA), étendant les modèles Vision-Language-Action (VLA) avec un flux audio continu, en plus de la vision, du langage et de la proprioception. L'instanciation HEAR combine quatre modules: un Historizer qui maintient un contexte audio causal compact malgré les interruptions d'exécution, un Envisioner dérivé de modèles de fondation omni-modaux, un Advancer qui prédit les codes audio à court terme pour modéliser la dynamique temporelle, et un Realizer, une politique par flow-matching générant les chunks d'action. Les auteurs publient aussi OpenX-Sound pour le pré-entraînement et HEAR-Bench, premier benchmark de manipulation centré sur le son. Code et vidéos sont disponibles sur hear.irmv.top. Les modèles VLA actuels traitent le son comme une instruction ponctuelle donnée avant l'exécution ou se limitent à la parole humaine, restant aveugles aux sons transitoires de l'environnement pendant la tâche, alors qu'un objet qui glisse, un liquide qui déborde ou une pièce mal vissée constituent souvent le seul signal de vérification d'état disponible en temps réel. Le papier nomme ce trou le "Blind Execution Interval": le chunking d'actions en boucle ouverte, largement utilisé pour la fluidité des mouvements, rend le robot sourd aux événements sonores survenant entre deux fenêtres d'observation audio. Pour les intégrateurs et chercheurs en manipulation robotique, ce travail montre que la perception "vision plus langage" ne suffit pas quand le retour sonore prime sur le visuel, et qu'il faut traiter l'audio comme un problème d'apprentissage temporel à part entière, pas comme un simple capteur additionnel. Ce travail s'inscrit dans la généralisation des VLA comme standard du contrôle robotique de bout en bout, où l'ajout de modalités comme le tactile, la force et désormais l'audio continu devient un axe de différenciation académique une fois l'architecture vision-langage-action stabilisée. Contrairement à une annonce produit, HEAR reste à ce stade un résultat de recherche publié sur arXiv, accompagné de code et de bancs d'essai ouverts, sans déploiement industriel ni partenariat robotique annoncé. Les auteurs le présentent comme une étape pratique vers des modèles de fondation multi-sensoriels pour les agents incarnés. La suite logique est l'adoption de HEAR-Bench et d'OpenX-Sound comme références par d'autres équipes pour comparer de futures architectures intégrant un canal audio continu, avant une éventuelle intégration chez des fabricants de robots manipulateurs.

RechercheActu

1 source

3arXiv cs.RO

RobotDancing : l'apprentissage par renforcement à action résiduelle permet un suivi robuste des mouvements humanoïdes sur le long terme

Des chercheurs présentent RobotDancing, une méthode d'apprentissage par renforcement en une seule étape pour faire exécuter à des robots humanoïdes des mouvements de danse longs et dynamiquement exigeants, avec une robustesse accrue face aux erreurs d'accumulation. Le principe : plutôt que de demander à la politique de recréer entièrement un mouvement de référence retargeté (transposé depuis une capture humaine vers la cinématique du robot), RobotDancing prédit des corrections résiduelles sur les cibles articulaires. La politique se concentre ainsi sur la compensation des écarts dynamiques entre la référence et le robot réel (limites d'actionneurs, latence, friction, inertie) plutôt que sur la resynthèse complète du geste. Une politique est entraînée par séquence de référence, avec une recette d'entraînement et de déploiement commune réutilisée entre mouvements et plateformes. L'équipe a évalué la méthode sur huit chorégraphies issues du jeu de données LAFAN1, exécutées sur le robot Unitree G1, avec des expériences complémentaires de transfert inter-plateforme sur les Unitree H1 et H1-2. Le problème ciblé est central dans la robotique humanoïde actuelle : les mouvements retargetés depuis des captures humaines sont cinématiquement plausibles mais dynamiquement incohérents avec le robot réel, ce qui fait dériver le suivi de trajectoire sur les séquences longues et finit par déstabiliser le contrôleur. En montrant des politiques G1 capables d'exécuter des comportements longs et énergétiques directement sur matériel, sans ajustement au moment du test, RobotDancing apporte un signal concret sur la viabilité du transfert simulation-vers-réel pour du contrôle whole-body à haute dynamique, un point souvent démontré en vidéo mais rarement quantifié avec rigueur dans la littérature. Le travail s'inscrit dans la lignée des méthodes de motion tracking par RL pour humanoïdes, où LAFAN1 sert de banc d'essai de référence pour les mouvements complexes. La publication, une version révisée sur arXiv (2509.20717v2), inclut des clips qualitatifs sur H1 et H1-2 pour illustrer la généralisation inter-plateforme, sans toutefois fournir de métriques chiffrées équivalentes à celles obtenues sur le G1, ce qui invite à la prudence sur l'ampleur réelle du transfert démontré.

RecherchePaper

1 source

4arXiv cs.RO

BAT : concilier agilité et stabilité par commutation de politiques en ligne pour le contrôle du corps entier d'un robot humanoïde sur de longs horizons

Des chercheurs proposent BAT, un cadre de commutation de politiques en ligne pour le contrôle du corps entier d'humanoïdes sur de longs enchaînements de mouvements. Le travail, publié sur arXiv (2604.01064, version 2), part d'un constat : les approches existantes suivent deux paradigmes. Les politiques couplées coordonnent tout le corps de façon globale, tandis que les politiques découplées traitent chaque module séparément pour gagner en précision. BAT choisit dynamiquement entre deux contrôleurs généralistes entraînés par apprentissage par renforcement, l'un couplé et l'autre découplé, selon le contexte du mouvement en cours. Deux prédicteurs de commutation travaillent en parallèle. OpVQ-VAE s'appuie sur des « tokens » de mouvement et généralise bien. OpHRL est un prédicteur en boucle fermée qui tient compte de l'état du robot. Un routeur de familiarité des tokens (Token-Familiarity Router) arbitre lorsque les deux divergent : il privilégie OpHRL pour les séquences de tokens connues et OpVQ-VAE pour les séquences inédites. Les auteurs annoncent 85,2 % de réussite sur des combinaisons de mouvements longues déjà vues à l'entraînement, et 71,3 % sur des mouvements jamais rencontrés. Ils rapportent aussi de meilleurs résultats que les contrôleurs corps entier existants sur les mouvements pris isolément, ainsi qu'un déploiement zéro-shot sur le Unitree G1. L'intérêt pratique tient au compromis que les équipes rencontrent sans cesse. Une politique couplée donne des gestes dynamiques et agiles, comme des sauts ou des mouvements amples, mais elle perd en précision. Une politique découplée manipule ou positionne mieux, mais elle devient moins robuste quand le mouvement exige une coordination globale. Plutôt que de chercher un contrôleur unique qui concilie tout, BAT montre qu'on peut combiner des spécialistes et basculer entre eux à l'exécution. Le point à surveiller est l'écart entre mouvements vus et inédits : 85,2 % contre 71,3 %, soit près de 14 points perdus, ce qui reste loin de la fiabilité attendue en production. Ces chiffres viennent de benchmarks de recherche, sans durée de tâche, nombre d'essais ni conditions détaillés dans le résumé. Le transfert zéro-shot sur G1 est encourageant, mais rien ne dit qu'il couvre toute la distribution de mouvements testée en simulation. Ce travail s'inscrit dans la vague des contrôleurs généralistes corps entier pour humanoïdes, nourrie par l'apprentissage par renforcement en simulation et l'imitation de mouvements humains. Le Unitree G1, peu coûteux et très répandu dans les laboratoires, sert désormais de plateforme de référence pour valider ces méthodes. Les auteurs ne se positionnent pas ici face aux modèles VLA commerciaux (Figure, Tesla, NVIDIA), car BAT agit à la couche basse de contrôle, pas au niveau du raisonnement ou de la planification. Cette couche reste pourtant un goulot d'étranglement pour passer des démonstrations à des tâches longues et enchaînées. La version 2 laisse penser que l'article a été révisé après relecture. Les suites logiques seraient des tests sur d'autres plateformes, des tâches de manipulation plus longues et une mesure de la robustesse hors laboratoire. Aucun calendrier de déploiement industriel n'est annoncé.

RecherchePaper

1 source