Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Modèle de fondation à base d'agents : combler la lacune d'orchestration des robots généralistes grâce à l'agentivité physique
RecherchearXiv cs.RO 

Modèle de fondation à base d'agents : combler la lacune d'orchestration des robots généralistes grâce à l'agentivité physique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article de recherche publié sur arXiv (2607.21725v1) présente Pigey, un orchestrateur d'agence physique conçu pour piloter des robots généralistes sans données supplémentaires ni post-entraînement. Plutôt que d'entasser perception, planification, détection de succès, récupération d'erreurs et contrôle bas niveau dans une seule politique apprise par pré-entraînement massif, comme le font les modèles vision-langage-action (VLA) actuels, les auteurs séparent le problème en deux couches : un agent de contrôle langage-conditionné classique, et un gestionnaire de haut niveau qui décompose les objectifs en sous-tâches, envoie des commandes moteur, vérifie les résultats à partir des observations bas niveau et déclenche des routines de récupération en cas d'échec. Pigey peut commander aussi bien des politiques VLA existantes que des compétences paramétrées préexistantes. Sur le benchmark de simulation LIBERO-PRO, le taux de réussite passe de 12,8% à 53,3%, soit plus du quadruple, sans aucun réglage spécifique à la tâche. Sur un robot réel, les tâches nécessitant du raisonnement voient leur taux de succès grimper de quasi zéro à plus de 90% une fois la politique figée intégrée dans la boucle agentique de Pigey.

Ce résultat vient alimenter un débat déjà vif dans la robotique humanoïde et manipulatrice : les modèles VLA de bout en bout, aussi impressionnants soient-ils en démonstration, échouent souvent dès que la tâche exige un raisonnement séquentiel ou une récupération après erreur, un écart que les auteurs baptisent "orchestration gap". En montrant qu'une simple couche d'orchestration explicite, sans ré-entraînement, suffit à multiplier par quatre les performances, l'étude suggère que l'échelle des données de pré-entraînement n'est pas le seul levier disponible pour combler ce fossé entre démonstration et fiabilité réelle, un enjeu direct pour les intégrateurs qui doivent déployer ces systèmes en environnement industriel non contrôlé.

Cette approche s'inscrit dans une tendance plus large de la recherche en robotique généraliste, où des laboratoires développent des modèles comme Pi-0, GR00T N2 ou Helix pour unifier perception et action. Pigey se positionne comme une alternative complémentaire plutôt qu'un concurrent direct : il ne remplace pas ces politiques mais les pilote depuis l'extérieur, ce qui laisse ouverte la question de son adoption par les fournisseurs de VLA propriétaires et de son passage à l'échelle sur des tâches de manipulation encore plus complexes.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

Une mémoire simple à base d'agents pour les politiques robotiques généralistes
1arXiv cs.RO 

Une mémoire simple à base d'agents pour les politiques robotiques généralistes

Des chercheurs proposent SimpleARM (Simple Agentic Robot Memory), une couche de mémoire sans entraînement pour politiques robotiques généralistes gelées, décrite dans un preprint arXiv (v1). Le système fonctionne en quatre temps : à partir de l'instruction de la tâche, il détermine ce qu'il faut surveiller ; des outils perceptifs gelés maintiennent en ligne un état compact et typé ; un accès structuré ne récupère cet état que lorsqu'un sous-objectif proposé dépend de l'historique ; enfin, un ancrage dans la vue courante résout les entités rappelées avant l'exécution. L'évaluation porte sur RoboMME, un benchmark de 16 tâches de manipulation dont la réussite exige des informations qui ne sont plus visibles dans l'observation actuelle. Sur les 16 tâches et trois graines de politique, SimpleARM atteint 67,17 % de réussite moyenne, contre 44,51 % pour la meilleure base de comparaison non oracle. Des ablations appariées montrent que retirer l'état de relation, de référence, de progression ou d'itinéraire provoque de fortes chutes là où cet état est mobilisé, et épargne largement les autres tâches. L'enjeu dépasse le gain chiffré, soit environ 22,7 points. Les systèmes de mémoire visuelle actuels conservent ou compressent des observations passées, en supposant que l'historique utile se retrouve dans les images. Or le contrôle robotique dépend aussi d'un état issu de l'interaction, qu'aucune image ne représente explicitement : quel objet est lequel après avoir été déplacé, où en est la tâche, dans quel ordre exécuter une procédure. Les résultats plaident pour une mémoire conçue comme un état compact et pertinent pour la tâche, plutôt que comme un historique visuel étendu. Pour les intégrateurs et les équipes qui déploient des politiques VLA gelées, l'intérêt pratique est réel : la couche s'ajoute sans réentraînement, donc sans coût de collecte de données ni de fine-tuning. La spécificité des ablations renforce la crédibilité du mécanisme. Des réserves s'imposent toutefois : les résultats proviennent d'un benchmark, avec des tâches vraisemblablement simulées, sans preuve de déploiement réel, et l'écart avec les approches plus complexes reste à vérifier hors de RoboMME. Ce travail s'inscrit dans la montée des modèles généralistes gelés, de type VLA, qui excellent en réactivité mais restent faibles sur les tâches à longue portée dépendant du passé. Les approches concurrentes se répartissent entre conservation brute de trames, compression de contexte visuel et mémoires apprises de bout en bout, toutes exposées au même défaut : ne pas capter l'état implicite. SimpleARM adopte une orientation « agentique », où des outils spécialisés remplissent l'état plutôt que la politique elle-même. Les suites logiques seraient des tests sur robot physique, d'autres benchmarks de mémoire et une comparaison avec des politiques entraînées avec mémoire native. Le preprint n'annonce ni code, ni pilote, ni calendrier, et n'a pas encore été évalué par des pairs.

RecherchePaper
1 source
MistyPilot : contrôler un robot social grâce à l'orchestration multi-agents de compétences LLM
2arXiv cs.RO 

MistyPilot : contrôler un robot social grâce à l'orchestration multi-agents de compétences LLM

Un preprint arXiv publié fin août 2026 (2608.15549v1) présente MistyPilot, un framework multi-agents à base de LLM pour piloter le robot social Misty à partir d'instructions en langage naturel. Un "Task Router" aiguille chaque instruction vers l'un de deux agents spécialisés : un agent d'interaction physique pour le contrôle déclenché par capteurs et l'invocation directe de compétences, et un agent d'interaction sociale pour la gestion d'état conversationnel et la génération de réponses multimodales contextuelles, qui réutilise les résultats déjà générés quand c'est possible plutôt que de relancer systématiquement une génération complète. Le système a été testé sur cinq suites de composants, avec liaisons capteurs-compétences et invocations de skills exécutées sur un robot Misty physique, ainsi que via une étude utilisateur préliminaire auprès de 12 participants, avec une extensibilité vérifiée jusqu'à 100 compétences et une variance inférieure à celle d'un système mono-agent autrement identique. Le code sera publié via la page du projet. Le problème ciblé est concret pour les intégrateurs de robotique sociale : composer manuellement des API en compétences, lier des événements capteurs à ces compétences et gérer l'état des tâches à l'exécution freine le passage de démonstrations scriptées à des interactions robustes et durables. En séparant le contrôle réactif physique de la gestion sociale à état persistant, MistyPilot répond à une limite fréquente des architectures mono-agent, à savoir une variance et une instabilité plus élevées des réponses, et illustre une voie de production fondée sur l'orchestration de compétences existantes plutôt que sur le réentraînement complet d'un modèle vision-langage-action. L'étude reste toutefois un prototype de recherche à petite échelle, sans mesure d'usage prolongé en conditions réelles. Misty, petit robot social de bureau développé par Misty Robotics, dispose d'un écosystème de compétences programmables via API jusqu'ici assemblées manuellement par les développeurs. MistyPilot s'inscrit dans la vague de travaux visant à faire piloter des robots par des LLM ou des modèles vision-langage-action, un champ largement dominé par des approches orientées manipulation physique comme Pi-0, GR00T N2 ou Helix, dont il se distingue en ciblant spécifiquement l'interaction sociale et conversationnelle plutôt que la locomotion ou la préhension. Aucun calendrier de commercialisation ni partenariat industriel n'est annoncé ; seule la publication du code source via la page du projet est confirmée, ce qui permettra une vérification indépendante des résultats revendiqués sur le routage et l'extensibilité à 100 compétences.

RecherchePaper
1 source
IA à Base d'Agents Physiques : une Architecture pour Orchestrer une Équipe de Robots avec des LLM
3arXiv cs.RO 

IA à Base d'Agents Physiques : une Architecture pour Orchestrer une Équipe de Robots avec des LLM

Un article publié sur arXiv le 25 août 2026 (arXiv:2608.22657v1) présente Physical Agentic AI, une architecture pour orchestrer des équipes de robots hétérogènes pilotées par des modèles de fondation. Chaque robot y expose une bibliothèque typée de compétences exécutables ; un planificateur découpe une mission en phases et assigne chacune à un couple robot-compétence ; un orchestrateur déterministe valide et autorise ensuite chaque compétence une par une avant actuation, séparant la planification sémantique, non-actuante, de l'exécution physique. L'architecture a été testée sur une mission de recherche et dispatch impliquant un drone et un robot terrestre non habité, entièrement exécutée en simulation Gazebo, ainsi que sur une tâche de transport combinant un humanoïde et un quadrupède, avec deux essais physiques réels sur un Unitree G1 et un Go2. Chiffres clés : l'ajout d'un mécanisme de récupération d'information fait passer le taux d'ancrage correct des compétences de 51% à 96%, mais même un planificateur bien informé envoie encore 23 à 29% des étapes défectueuses vers l'exécution. La vérification systématique à chaque dispatch ramène ce taux de faux positifs à 0%, sans blocage abusif. Sur huit défauts injectés délibérément, les huit ont franchi la barrière d'orchestration sans cette vérification, et six ont déclenché un mouvement réel du robot ; avec elle activée, les huit ont été refusés avant tout mouvement. Ce travail pointe un angle mort des démonstrations de robots pilotés par LLM : un plan sémantiquement riche n'empêche pas des actions physiquement infaisables ou dangereuses. Pour les intégrateurs de flottes multi-robots, le message est net, un planificateur mieux informé réduit les erreurs de raisonnement mais ne sécurise pas l'exécution ; seule une couche de vérification déterministe, indépendante du plan, empêche le passage à l'acte d'une instruction fautive. L'ablation isolant l'effet de cette porte de validation renforce l'idée que le "meilleur prompting" seul ne suffit pas à sécuriser un déploiement physique, un signal utile face à l'écart persistant entre démo et réalité opérationnelle. Le papier s'inscrit dans la recherche reliant grands modèles de langage et orchestration robotique, terrain souvent dominé par des approches de bout en bout type vision-langage-action (Pi-0, GR00T N2) plutôt que par une couche de contrôle explicite. C'est une contribution académique tout juste postée sur arXiv, sans affiliation industrielle ni plan de déploiement commercial précisés, validée en simulation et sur un nombre limité d'essais matériels, à traiter comme une preuve de concept en attente de revue par les pairs plutôt que comme un produit prêt à industrialiser.

RecherchePaper
1 source
Le filtrage physique favorise la généralisation de l'apprentissage robotique
4arXiv cs.RO 

Le filtrage physique favorise la généralisation de l'apprentissage robotique

Des chercheurs publient un article intitulé « Physics Filtering Favors the Generalization of Robot Learning » (arXiv:2608.22701v1, fin août 2026). Ils présentent PhyFilter, un module de rétroaction léger et agnostique au modèle qui corrige les sorties d'un système d'apprentissage grâce à des résidus filtrés par la physique. Ses paramètres s'optimisent automatiquement via un algorithme d'auto-apprentissage, sans réglage manuel, ce qui permet une intégration directe avec des politiques robotiques variées. L'équipe valide PhyFilter sur quatre systèmes robotiques : des robots quadrupèdes, qui généralisent à des terrains inconnus, des variations de charge utile et des plages de vitesse inédites ; des drones, capables de voler sous des perturbations de vent jamais rencontrées ; des manipulateurs aériens, atteignant une précision de capture en vol de l'ordre du centimètre malgré des incertitudes de vent et de masse ; et des différentiateurs d'accélération, robustes face aux changements de distribution des données. L'apport principal tient au contraste affiché avec la stratégie dominante du secteur, celle qui améliore la généralisation en multipliant les données d'entraînement, approche jugée coûteuse et lente en robotique où collecter des démonstrations réelles à l'échelle des grands modèles de langage reste prohibitif. Les auteurs montrent qu'un robot peut généraliser efficacement face aux incertitudes dynamiques même avec un jeu de données limité, dès lors qu'une couche de correction physique compense le manque de volume. Pour les intégrateurs et décideurs du secteur, ce résultat interroge l'hypothèse selon laquelle la performance des politiques VLA (vision langage action) dépendrait avant tout du volume de données collectées, à la manière des approches type GR00T N2 ou Pi-0, et suggère une voie moins capitalistique pour déployer des robots robustes sans multiplier les flottes de collecte. L'article s'inscrit dans le débat opposant deux écoles de la robotique d'apprentissage : le scaling massif de données façon modèles de fondation (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, Helix de Figure) et les approches hybrides combinant modèles physiques et apprentissage, dont PhyFilter est un représentant. En le présentant comme « model-agnostic », l'équipe vise une intégration dans des piles logicielles existantes plutôt qu'un remplacement des politiques déjà déployées. À ce stade, la contribution reste une publication de recherche testée en environnements contrôlés sur quatre plateformes matérielles, sans partenariat industriel, déploiement commercial ni pilote annoncé, ce qui la distingue nettement des annonces produits qui rythment habituellement l'actualité de l'humanoïde.

RecherchePaper
1 source