RecherchearXiv cs.RO 30 septembre 2026

Ancrage sémantique tenant compte des risques pour une planification robotique fiable basée sur les LLM

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent un cadre de « Risk-Aware Semantic Grounding » (ancrage sémantique sensible au risque) pour fiabiliser les robots de navigation pilotés par un grand modèle de langage (LLM), et publient sur arXiv (2609.37554v1) un banc d'essai associé, TRUST-NAV. Le problème visé est connu : lorsqu'un LLM sert de planificateur de haut niveau, ses sorties deviennent peu fiables si l'instruction est ambiguë, sans support dans l'environnement ou incohérente sur le plan sémantique. L'architecture estime donc, avant toute planification, trois risques distincts : l'ambiguïté, l'hallucination et le conflit sémantique. Selon ce score, le système choisit entre trois issues : exécuter l'instruction, demander une clarification ou la rejeter. TRUST-NAV réunit des tâches de navigation standard et des scénarios d'instructions volontairement piégées. Les résultats rapportés indiquent que les planificateurs LLM classiques performent bien sur les tâches valides, alors que le cadre proposé améliore nettement la détection d'ambiguïté et le rejet des conflits sémantiques. Le résumé ne fournit ni chiffres, ni modèles testés, ni robot réel : il s'agit d'un travail académique évalué sur benchmark, sans déploiement ni produit.

L'intérêt tient au déplacement de la métrique. Jusqu'ici, la plupart des travaux sur les planificateurs LLM et les modèles vision-langage-action (VLA) optimisent la génération de plans et se jugent sur le taux de réussite des tâches. Les auteurs soutiennent qu'un robot fiable se mesure aussi à sa capacité à reconnaître qu'il ne doit pas agir. Pour un intégrateur ou un responsable d'exploitation, c'est un critère de sécurité concret : un AMR ou un humanoïde qui exécute avec assurance une consigne ambiguë ou impossible est un risque opérationnel, pas seulement une erreur de performance. L'approche est aussi modulaire, puisque le filtrage précède la planification et pourrait en principe se greffer sur des planificateurs existants. Il faut toutefois rester prudent : l'absence de chiffres publiés, l'évaluation sur un benchmark créé par les mêmes auteurs et l'écart habituel entre simulation et terrain limitent la portée des conclusions, en particulier sur le coût en fausses alertes, c'est-à-dire les refus ou demandes de clarification inutiles qui ralentissent une exploitation.

Ce travail s'inscrit dans la vague des LLM employés comme planificateurs de haut niveau en navigation et en manipulation, où les hallucinations et l'ancrage dans l'environnement restent des points faibles reconnus. Les approches concurrentes reposent sur l'estimation d'incertitude, la prédiction conforme pour déclencher des demandes d'aide, ou des couches de vérification et de garde-fous, tandis que les grands modèles fondation robotiques cherchent surtout à augmenter le taux de réussite. La suite dépendra de la disponibilité de TRUST-NAV pour la communauté, de la reproduction des résultats par des tiers et d'un test sur robot physique, étape que la version 1 du préprint ne mentionne pas.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

HygieneRoboBench : un banc d'essai pour la planification tenant compte de l'hygiène chez les robots domestiques

Un groupe de chercheurs publie sur arXiv HygieneRoboBench, un banc d'essai de 624 instances réparties en 134 familles de tâches, conçu pour évaluer la planification « consciente de l'hygiène » des robots domestiques. Le scénario : un robot dispose de deux pinces et manipule des objets partagés. Chaque contact avec un objet contaminé peut propager un danger via les pinces, les outils ou les surfaces, et chaque nouveau contact peut rendre caduc un plan jusque-là sûr. Le planificateur reçoit un historique d'exécution et doit en déduire les risques, puis proposer une suite sûre, en tenant compte des coûts de traitement (nettoyage, désinfection), des priorités de l'utilisateur et de limites de temps et de ressources. L'évaluation combine des comparaisons contrôlées (historique, profil utilisateur, événements de contact) et une évaluation indépendante des plans. Les auteurs proposent aussi Hygiene-NSP, une méthode neuro-symbolique qui associe un LLM pour l'ancrage des tâches, la reconstruction de l'historique de contacts et le solveur CP-SAT pour planifier conjointement traitements d'hygiène et exécution. Elle atteint 94,4 % de résolution sûre et 90,4 % de résolution sûre optimale, des taux supérieurs à ceux des planificateurs de référence, LLM ou symboliques, sur l'ensemble du jeu de données. L'intérêt tient à un constat précis : terminer une tâche sans danger ne signifie pas le faire au moindre coût selon les priorités de l'utilisateur. Un planificateur prudent mais gaspilleur, qui nettoie systématiquement tout, reste un mauvais produit pour un foyer. Le résultat renforce aussi une tendance : pour les contraintes de sécurité à long horizon, l'attelage d'un LLM (compréhension et ancrage) et d'un solveur d'optimisation exact surpasse les approches purement génératives. C'est un argument pour les intégrateurs qui visent la manipulation domestique ou la santé, où la traçabilité des décisions compte. Précaution toutefois : il s'agit d'un benchmark en simulation, avec un historique fourni et non perçu. Il ne dit rien de la détection réelle de la contamination par la perception, qui reste le maillon dur. Les 94,4 % valent sur ce jeu de données conçu par les auteurs, pas en conditions réelles. Ce travail s'inscrit dans la série des benchmarks de planification pour robots domestiques, qui évaluent surtout la complétion de tâches, rarement la sécurité sanitaire cumulative. Il complète les approches de type VLA (Pi-0, GR00T, Helix), centrées sur la dextérité et la généralisation de la manipulation plutôt que sur le raisonnement sur l'état d'hygiène. Les suites logiques sont l'intégration d'une perception de la contamination, le test sur robot physique et l'extension à plus de deux manipulateurs. La page du projet est publiée, mais aucun partenaire industriel ni pilote de déploiement n'est annoncé à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

Relier sémantique et physique : des LLM contraints pour une manipulation robotique sûre et fiable

Des chercheurs présentent un système qui relie raisonnement en langage naturel et exécution physique sûre pour la manipulation robotique, décrit dans un article publié le 29 août 2026 sur arXiv (2608.29379v1). Le pipeline part d'observations RGB-D pour construire un modèle de scène explicite tenant compte des collisions, puis contraint les décisions d'un grand modèle de langage via des appels d'outils validés par schéma selon le Model Context Protocol (MCP), rejetant les commandes mal formées avant qu'elles n'atteignent le robot. Chaque appel validé est ensuite traduit de façon déterministe dans un pipeline MoveIt Task Constructor, où les mouvements candidats sont vérifiés contre la scène reconstruite avant exécution, une étape de type "vérifier puis agir". Testé sur un bras robotique physique UFactory 850, le système atteint jusqu'à 80% de réussite sur dix essais par tâche pour des opérations de versement impliquant liquides, matières granulaires et solides discrets, et 90% de réussite sur une tâche de saisie-et-dépose avec la même architecture. L'intérêt de ces travaux tient à la démonstration chiffrée d'un problème bien identifié dans la robotique pilotée par LLM: un plan verbalement cohérent peut être physiquement infaisable si la cinématique et les collisions ne sont pas vérifiées avant exécution. Les auteurs montrent qu'une politique scriptée classique surpasse légèrement leur méthode sur la tâche la plus simple, mais chute à seulement 10% de réussite sur la tâche la plus difficile, contre 60% pour leur approche contrainte. Pour les intégrateurs industriels et les équipes robotique, ce résultat suggère qu'ajouter une couche de validation formelle entre le langage et l'action améliore surtout la robustesse sur les cas complexes, plutôt que la performance brute sur les cas faciles où des solutions scriptées suffisent déjà. Ce travail s'inscrit dans la lignée des recherches sur le "language-action gap", l'écart entre la capacité des LLM à décomposer des instructions en séquences d'actions et leur incapacité native à garantir la faisabilité physique de ces actions dans un environnement encombré et perçu de façon imparfaite. La solution proposée combine plusieurs briques existantes, le MCP pour la validation structurée des appels d'outils côté langage, et MoveIt Task Constructor pour la planification de mouvement sous contraintes cinématiques et de collision côté robot, plutôt que d'introduire une nouvelle architecture de bout en bout. Les tests restent limités à un seul bras robotique et un nombre réduit d'essais par tâche, ce qui invite à la prudence avant toute extrapolation vers des déploiements industriels à plus grande échelle.

RecherchePaper

1 source

3arXiv cs.RO

Arbitrage tenant compte des capacités pour le contrôle partagé basé sur l'intention sémantique

Un article déposé sur arXiv (2609.25369v1) présente un cadre de contrôle partagé homme-robot conscient des capacités. Un modèle vision-langage (VLM) infère l'intention humaine et produit une confiance sémantique, tandis qu'une politique vision-langage-action (VLA) génère les actions autonomes du robot ; la fiabilité de cette dernière est estimée en ligne à partir de la dispersion et de l'instabilité locale des trajectoires stochastiques qu'elle produit. Un arbitrage non linéaire combine ces deux signaux, filtrés par une approche bayésienne, via une fonction sigmoïde, pour ajuster dynamiquement le niveau d'autorité laissé au robot. Le système a été testé auprès de 12 participants sur des tâches de préhension-dépôt et d'empilement bidirectionnel, en conditions connues et en conditions inédites (hors distribution d'entraînement). La méthode proposée atteint un taux de réussite de 92%, contre 83% en téléopération manuelle pure, 44% pour un arbitrage basé sur la seule intention, et seulement 10% pour un mélange à poids fixes et égaux entre humain et robot. Ce travail cible un défaut connu des systèmes de contrôle partagé actuels : allouer l'autorité au robot sur la seule confiance dans l'intention détectée suppose implicitement que l'exécution autonome sera fiable, ce qui pousse le système à trop aider quand ce n'est pas le cas. En ajoutant une estimation indépendante et continue de la fiabilité réelle de la politique VLA, l'étude s'attaque à un problème central du déploiement de ces modèles en conditions réelles : une confiance élevée affichée par un modèle n'implique pas une exécution correcte, en particulier hors distribution. Pour les intégrateurs qui déploient des architectures VLA en téléopération assistée ou en cobotique industrielle, cette approche fournit une piste concrète pour réduire les échecs silencieux, sans dépendre uniquement de la compréhension du langage par le robot. Cette publication s'inscrit dans la lignée des recherches récentes sur le contrôle partagé appuyé sur des politiques VLA génériques, dans l'esprit de Pi-0, GR00T N2 ou Helix, déployées en téléopération comme en autonomie complète. Contrairement à ces architectures orientées produit, il s'agit ici d'une contribution académique déposée sur arXiv, sans fabricant de robots, partenaire industriel ni acteur français ou européen cité dans le texte, et reposant sur un échantillon modeste de 12 participants, typique de ce stade de recherche en robotique interactive. L'article ne mentionne ni robot cible ni calendrier de transfert vers un produit commercial ; les suites logiques attendues seraient une validation à plus grande échelle et des tests sur des tâches de manipulation plus complexes ou des plateformes robotiques réelles.

RecherchePaper

1 source

4arXiv cs.RO

Conditionnement sur le futur tenant compte de la fiabilité pour une manipulation robotique robuste dans le temps

Des chercheurs publient sur arXiv (2610.11956) une méthode appelée Reliability-Aware Future Conditioning (RAFC). Elle s'attaque à un point faible des politiques robotiques guidées par des vidéos générées de la tâche à venir: le décalage temporel entre le clip reçu et la phase réelle d'exécution. Sur le benchmark simulé CALVIN, un décalage anticipé de seulement cinq images fait chuter le taux de succès de 81,3 % à 54,8 %, soit presque le niveau sans vidéo (54,0 %). Des décalages imposés le ramènent à 34,2 %, soit 19,8 points sous la politique sans futur. RAFC s'appuie sur Future-Experience Conditioning (FEC), qui construit le clip une seule fois à partir d'un ancrage de la tâche, d'un rollout de jumeau numérique sans robot et d'une diffusion vidéo sans masque. À chaque pas, RAFC estime le degré de confiance à accorder au clip et l'hypothèse temporelle voisine à privilégier. Il bascule vers une branche statique si aucune ne convient. Ces deux estimations sont apprises uniquement à partir de la récompense de la tâche, sans étiquettes de décalage. Sur un Franka avec un décalage de timing naturel, non imposé, le succès agrégé passe de 26,7 % à 56,7 %. L'intérêt est de reformuler le problème: la qualité de génération ne suffit pas, il faut contrôler la façon dont le futur généré est consommé. Un clip cohérent avec la tâche mais mal aligné devient nuisible, un risque que les démonstrations en conditions idéales ne montrent pas. Pour les équipes qui intègrent des modèles vidéo dans leurs piles de manipulation, la latence d'inférence et les écarts de cadence entre génération et exécution sont donc des modes de défaillance de premier ordre. Les auteurs précisent aussi que l'essentiel du gain près de l'alignement vient de l'ensemble de candidats. L'apport propre de la fiabilité apprise est de 7,0 points par rapport à une moyenne uniforme, sous décalages hors grille. Ce travail s'inscrit dans la lignée des approches qui utilisent la prédiction vidéo comme planificateur pour des politiques vision-langage-action. Il reste de la recherche académique: aucun produit ni déploiement n'est annoncé. Les résultats portent sur des jeux de tâches limités. Les pourcentages du test Franka suggèrent un échantillon réduit, de l'ordre de la trentaine d'essais, ce qui invite à la prudence. Les auteurs promettent de publier l'ensemble des ressources sur future-condition.github.io. La suite logique sera une validation sur davantage de plateformes, de tâches longues et de conditions industrielles réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source