Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Agentic Harnesses : des couches de vérification pilotées par LLM pour l'autonomie des robots
RecherchearXiv cs.RO 

Agentic Harnesses : des couches de vérification pilotées par LLM pour l'autonomie des robots

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article publié sur arXiv (identifiant 2608.09857) propose une couche de vérification pilotée par des grands modèles de langage (LLM), insérée entre la planification et l'exécution des actions d'un robot autonome. Ce middleware, dénommé « agentic harness », intercepte les plans avant qu'ils n'atteignent le serveur MCP (Model Context Protocol) et les commandes bas niveau du robot, en s'appuyant sur un ensemble de LLM juges qui combinent raisonnement en chaîne de pensée et synthèse multi-modèles, selon une logique de mélange d'experts et d'auto-cohérence. Chaque plan est classé en trois catégories : approuvé, rejeté pour reformulation, ou escaladé vers une révision humaine. Les auteurs rapportent une précision proche de 85% sur ces trois catégories, un taux de blocage de 97% des attaques adversariales, et des erreurs quasi nulles entre acceptation et rejet, la plupart des erreurs résiduelles se situant à la frontière de l'escalade.

Cette proposition comble un angle mort de la recherche en robotique autonome, jusqu'ici concentrée sur l'exécution des plans plutôt que sur la vérification de leur faisabilité : comme les LLM généralistes, les modèles de planification robotique peuvent produire des actions biaisées vers l'objectif fixé par l'utilisateur, contraires à l'éthique scientifique, dangereuses faute de mémoire des risques déjà identifiés, ou vulnérables aux attaques adversariales. Pour les intégrateurs qui déploient des piles agentiques combinant modèles vision-langage-action et contrôle robotique, ce travail illustre un besoin croissant de gouvernance intermédiaire entre la décision du modèle et l'actionnement physique. Il apporte une mesure rare dans un domaine où les garanties de sécurité restent souvent qualitatives, même si des erreurs subsistent à la frontière de l'escalade, où l'arbitrage humain reste nécessaire.

Cette recherche s'inscrit dans la montée des architectures agentiques en robotique, où les modèles de fondation vision-langage-action, tels que ceux développés par Physical Intelligence, NVIDIA ou Figure AI pour piloter des robots humanoïdes, sont de plus en plus reliés à des chaînes d'outils via des protocoles comme MCP. L'article, publié en août 2026, ne précise ni plateforme robotique testée ni calendrier de déploiement industriel : il s'agit à ce stade d'une contribution méthodologique de recherche, dont l'adoption par des laboratoires ou des intégrateurs reste à démontrer.

Dans nos dossiers

FigureIA physique & VLAPhysical Intelligence — π0arXiv cs.RO

À lire aussi

Autonomie de population par recensement pour la coordination de robots distribués
1arXiv cs.RO 

Autonomie de population par recensement pour la coordination de robots distribués

Des chercheurs proposent, dans un article déposé sur arXiv (2511.02147, version 2), un modèle en couches de l'autonomie multi-robots qui sépare la décision collective de la décision individuelle. La couche collective repose sur le principe de recensement (« census »), c'est-à-dire un comptage pondéré des signaux reçus des voisins, formalisé par un modèle de dynamique d'opinions non linéaire et utilisé pour décider de la constitution des équipes. La couche individuelle choisit les actions de chaque robot par optimisation comportementale multi-objectifs, résolue par programmation par intervalles. Les auteurs en tirent une nouvelle méthode d'allocation de sous-groupes distribuée. Chaque robot descend le gradient des parties du coût qu'il connaît localement, tandis que les états d'opinion de ses voisins compensent les coûts qu'il n'observe pas. Le groupe exploite ainsi collectivement l'information de la matrice hessienne du coût global. Le modèle est testé sur des flottes de véhicules de surface autonomes, dans trois scénarios : échantillonnage adaptatif, protection d'une unité de haute valeur et partie compétitive de capture du drapeau. L'intérêt tient à la tension entre théorie et exécution réelle. Beaucoup d'algorithmes distribués ne fonctionnent qu'en simulation ou sous hypothèses fortes. Ici, les auteurs affirment que leur modèle se réduit à des algorithmes fondamentaux d'optimisation et de contrôle distribués, tout en autorisant des comportements collectifs inédits. Pour un intégrateur de flottes maritimes, la promesse est une coordination sans nœud central, plus robuste à la perte de communication ou de robots. Les trois scénarios, aux objectifs très différents, suggèrent une certaine généralité. Il faut toutefois rester prudent : le résumé ne donne ni taille de flotte, ni taux de succès, ni comparaison chiffrée avec des méthodes existantes, et il s'agit d'une validation académique, pas d'un produit ni d'un déploiement opérationnel. Ce travail s'inscrit dans la lignée des méthodes de consensus, d'allocation par enchères et d'optimisation distribuée, qui dominent la coordination multi-robots, et dans celle des dynamiques d'opinions non linéaires, récemment importées de la théorie des systèmes dynamiques vers la robotique. La programmation par intervalles est, à notre connaissance, associée à l'écosystème d'autonomie marine open source MOOS-IvP, ce qui explique le choix de véhicules de surface comme banc d'essai. Le résumé ne cite aucun acteur industriel ni calendrier de pilote. La suite logique serait une validation sur des flottes plus grandes, en conditions dégradées de communication, avec des métriques comparatives publiées. Cela permettrait de juger si l'approche tient face aux méthodes concurrentes hors du cadre contrôlé du laboratoire.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Coordination multi-LLM médiée par un vérificateur pour la planification de trajectoires multi-robots
2arXiv cs.RO 

Coordination multi-LLM médiée par un vérificateur pour la planification de trajectoires multi-robots

Des chercheurs proposent une architecture de coordination où plusieurs planificateurs fondés sur des grands modèles de langage (LLM) pilotent une équipe de robots, avec un vérificateur géométrique chargé de contrôler la faisabilité physique des plans. Le travail, publié sur arXiv (2610.12761), compare deux approches pour la navigation multi-robots. Dans la première, centralisée, un seul LLM raisonne conjointement sur toute l'équipe. Dans la seconde, décentralisée, chaque robot dispose de son propre LLM, qui propose indépendamment un plan de tâches. Le vérificateur convertit ensuite ces plans symboliques en trajectoires, prédit les conflits entre robots (collisions, occupation simultanée d'un même espace) et renvoie aux LLM un retour structuré pour un replanification ciblée, sur plusieurs itérations. Les expériences ont lieu dans le simulateur de conduite CARLA et sur des drones Crazyflie, en faisant croître la complexité des tâches. Le résumé publié ne donne aucun chiffre de performance, de taux de réussite ni de taille d'équipe. L'enjeu est un défaut bien connu des planificateurs à base de modèles de fondation : des plans corrects pris isolément peuvent devenir incompatibles une fois ancrés dans la géométrie, à cause des contraintes spatiales et temporelles partagées. Séparer le raisonnement sémantique de la faisabilité d'exécution revient à admettre qu'un LLM ne doit pas être seul garant de la sécurité d'une flotte. Pour les intégrateurs de flottes d'AMR, de drones ou de robots mobiles, c'est un schéma réutilisable : le LLM propose, un module déterministe dispose. L'étude cherche aussi à caractériser les compromis entre raisonnement centralisé, coordination décentralisée et exécutabilité physique. Elle pourrait donc indiquer à quelle complexité l'approche centralisée cesse de tenir. Cela concerne directement les architectures d'orchestration, où le choix entre un planificateur unique et des agents par robot pèse sur la latence, la robustesse aux pannes et le coût d'inférence. Sans résultats quantitatifs dans le résumé, ces bénéfices restent à vérifier dans l'article complet. Ces travaux s'inscrivent dans la vague des planificateurs de tâches fondés sur des LLM pour la robotique, qui a surtout été évaluée en mono-robot ou sur des tâches symboliques sans contraintes géométriques serrées. Le recours à un vérificateur externe rejoint les approches neuro-symboliques de type « LLM plus solveur », déjà répandues en planification. La validation sur Crazyflie, un micro-drone très utilisé en recherche, reste un banc d'essai de laboratoire, loin d'un déploiement industriel. La suite logique serait de tester des équipes plus nombreuses, des environnements dynamiques et des robots hétérogènes. Il faudrait aussi mesurer le nombre d'itérations de replanification nécessaires et leur coût en temps de calcul, deux critères décisifs pour tout usage en entrepôt ou en logistique.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
DiSCo : des copilotes de séquence par diffusion pour l'autonomie partagée
3arXiv cs.RO 

DiSCo : des copilotes de séquence par diffusion pour l'autonomie partagée

Une équipe de recherche présente DiSCo (Diffusion Sequence Copilots), une méthode d'autonomie partagée où un copilote IA fondé sur une politique de diffusion assiste un opérateur humain pour piloter des systèmes complexes comme un bras robotique ou un véhicule simulé. Décrit dans un article déposé sur arXiv (identifiant 2603.22787, version 2, republiée en cross-listing), le système « ensemence » et « inpaint » le processus de diffusion à partir des actions récentes de l'utilisateur, produisant des séquences de commandes cohérentes avec ses gestes passés, réglées par trois hyperparamètres équilibrant conformité aux actions expertes, alignement avec l'intention de l'utilisateur et réactivité perçue. Les auteurs rapportent une amélioration « substantielle » des performances en conduite simulée et en manipulation robotique, sans chiffres précis de gain ou de taux de réussite dans le résumé, et mettent en ligne un site de projet avec démonstrations vidéo. Pour les concepteurs de systèmes de téléopération et d'assistance au geste, ce travail cible un compromis concret : un copilote trop intrusif écrase l'intention de l'utilisateur, tandis qu'un copilote trop passif n'aide pas sur les tâches difficiles ou lorsque le signal de commande est dégradé. En s'appuyant sur une politique de diffusion générant des séquences entières d'actions plutôt que des règles fixes ou une politique de renforcement entraînée séparément, DiSCo s'inscrit dans la bascule du secteur robotique vers des modèles génératifs de trajectoires, dans l'esprit des architectures VLA déployées côté humanoïdes. Le travail reste toutefois cantonné à la simulation, sans essai mentionné sur bras robotique physique ou véhicule réel, ce qui distingue nettement cette publication académique d'une annonce produit ou d'un pilote industriel prêt à déployer. L'autonomie partagée est un champ de recherche ancien en robotique et en interaction homme-machine, longtemps dominé par des règles de correction ou des politiques d'inférence d'intention entraînées séparément du contrôle. L'essor des politiques de diffusion en robotique depuis 2023, comme alternative à l'apprentissage par renforcement, a ouvert la voie à des méthodes génératives produisant des séquences d'actions complètes, cadre que DiSCo adapte au contrôle partagé via des techniques d'inpainting empruntées à la génération d'images. Le statut « replace-cross » de l'article sur arXiv indique une nouvelle version d'un travail déjà soumis, et la suite logique, non précisée dans le résumé, consisterait à valider la méthode avec de véritables opérateurs humains sur du matériel physique, seule façon de confirmer que les gains mesurés en simulation se transposent au monde réel.

RecherchePaper
1 source
VeriGraph : graphes de scène pour la vérification de plans de robots
4arXiv cs.RO 

VeriGraph : graphes de scène pour la vérification de plans de robots

Des chercheurs ont publié VeriGraph (arXiv:2411.10446v3), un système de planification robotique qui combine des modèles vision-langage (VLM) avec un mécanisme de vérification formelle des actions. Le principe central repose sur l'utilisation de graphes de scène comme représentation intermédiaire : à partir d'images en entrée, le système construit un graphe capturant les objets présents et leurs relations spatiales, puis s'en sert pour valider et corriger en boucle les séquences d'actions générées par un planificateur LLM. Les gains rapportés sur des tâches de manipulation sont significatifs : +58 % de taux de complétion sur les tâches guidées par langage, +56 % sur des puzzles tangram, et +30 % sur les tâches guidées par image, par rapport aux méthodes de référence testées. Ce résultat pointe un problème structurel bien documenté dans le domaine : les VLM et LLM génèrent des plans plausibles en surface mais géométriquement ou physiquement incorrects, un objet posé sur une surface inexistante, une saisie dans un ordre impossible. VeriGraph traite ce gap en introduisant une couche de vérification symbolique ancrée dans l'état réel de la scène, ce qui réduit les hallucinations de planification sans nécessiter de fine-tuning du modèle sous-jacent. Pour les intégrateurs industriels et les équipes robotique, cela suggère une voie pragmatique : greffer un vérificateur léger sur des LLM généralistes plutôt que de tout réentraîner, ce qui abaisse potentiellement le coût d'adaptation à de nouveaux environnements. VeriGraph s'inscrit dans un courant de recherche actif autour des architectures hybrides neuro-symboliques pour la robotique, où des travaux comme SayPlan (Rana et al.), LLMTAMP ou les approches PDDL-guided cherchent tous à contraindre la génération de plans par des vérificateurs formels ou géométriques. La nouveauté ici réside dans l'usage du graphe de scène comme interface universelle entre perception et planification. Les auteurs publient le code sur un site dédié, ce qui facilite la reproductibilité, mais les expériences restent en environnement simulé ou de laboratoire contrôlé, aucun déploiement en conditions industrielles réelles n'est mentionné à ce stade.

RechercheOpinion
1 source