RecherchearXiv cs.RO 21 avril 2026

L'utilisation des LLM pour la planification en IA incarnée introduit des risques de sécurité systématiques

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié le 24 avril 2026 sur arXiv (arXiv:2604.18463) un benchmark nommé DESPITE, conçu pour évaluer systématiquement la sécurité des grands modèles de langage (LLM) utilisés comme planificateurs robotiques. Le jeu de données comprend 12 279 tâches couvrant à la fois des dangers physiques (collisions, manipulation de charges) et normatifs (violation de règles de sécurité industrielles), avec une validation entièrement déterministe. Testé sur 23 modèles, le résultat le plus frappant est le suivant : le meilleur modèle en termes de planification n'échoue à produire un plan valide que dans 0,4 % des cas, mais génère des plans dangereux dans 28,3 % des situations. Parmi les 18 modèles open-source évalués, allant de 3 milliards à 671 milliards de paramètres, la capacité de planification s'améliore fortement avec la taille (de 0,4 % à 99,3 % de réussite), tandis que la conscience du danger reste remarquablement plate (38 à 57 %). Trois modèles propriétaires dotés de capacités de raisonnement explicite atteignent des niveaux de sécurité nettement supérieurs, entre 71 % et 81 %, alors que les modèles propriétaires sans raisonnement et les modèles open-source restent sous le seuil des 57 %.

Ces résultats contredisent directement l'hypothèse, implicite dans de nombreux projets d'intégration, selon laquelle un modèle plus capable est automatiquement plus sûr. Les auteurs identifient une relation multiplicative entre capacité de planification et conscience du danger : un LLM qui planifie mieux complète davantage de tâches en toute sécurité, mais uniquement parce qu'il génère plus de plans valides, pas parce qu'il évite mieux les situations à risque. Pour un intégrateur robotique ou un COO industriel qui envisage de déployer un LLM comme cerveau d'un AMR ou d'un bras manipulateur, cela signifie concrètement que la saturation des performances de planification, déjà proche pour les modèles frontier, déplace le goulot d'étranglement vers la sécurité, un axe que les recettes de scaling habituelles ne résolvent pas.

Ce travail s'inscrit dans un débat actif autour des architectures VLA (Vision-Language-Action) et de l'utilisation des LLM comme planificateurs de haut niveau dans des systèmes comme ceux développés par Physical Intelligence (pi0), Figure AI ou Boston Dynamics. Le benchmark DESPITE comble un vide méthodologique : jusqu'ici, les évaluations de sécurité reposaient sur des scénarios ad hoc ou des métriques de performance générale. L'absence de tout modèle open-source dépassant les 57 % de conscience du danger soulève des questions directes pour les acteurs européens qui misent sur des modèles ouverts pour des raisons de souveraineté ou de coût, notamment dans les secteurs logistique et manufacturier. Les prochaines étapes logiques incluent l'intégration de DESPITE dans les pipelines de fine-tuning orientés sécurité et la collaboration avec des organismes de normalisation comme l'ISO ou l'IEC pour ancrer ces métriques dans des référentiels de certification robotique.

Impact France/UE

Les acteurs européens qui misent sur des modèles open-source pour des raisons de souveraineté se retrouvent plafonnés à 57 % de conscience du danger, bien en dessous des modèles propriétaires à raisonnement explicite (71-81 %), ce qui fragilise directement les déploiements LLM-as-planner dans la logistique et le manufacturier européens.

Dans nos dossiers

Figure Boston Dynamics IA physique & VLA Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Planification du réarrangement de scènes pour l'IA incarnée

Une équipe de recherche présente Embodied Scene Rearrangement Planning (ESRP), une nouvelle tâche qui demande à un agent incarné de réorganiser des meubles dans une scène 3D pour atteindre une configuration cible, en ne disposant que d'observations égocentriques et d'un plan cible vu du dessus. Pour évaluer cette tâche, les auteurs publient ESRP-Bench, un benchmark construit sur le simulateur OmniGibson qui comprend plus de 5 400 paires de scènes et 8 200 objets, accompagné de trois métriques à plusieurs niveaux pour juger la qualité de la réorganisation. Quatre méthodes de référence sont testées: une approche hiérarchique de planification tâche-et-mouvement (TAMP), une méthode basée sur un modèle vision-langage (VLM), et deux approches par apprentissage, l'une par imitation (IL) et l'autre par renforcement (RL). Le papier est publié sur arXiv sous la référence 2608.27371, avec une page projet disponible sur pie-lab.cn/ESRP. L'intérêt de ce travail tient à sa contrainte centrale: contrairement aux tâches de réarrangement étudiées jusqu'ici, ESRP interdit tout accès à un état global de la scène et introduit des occlusions mutuelles entre objets, ce qui oblige l'agent à recouper des vues partielles avec un objectif global, un problème représentatif des limites réelles du déploiement robotique. Les résultats expérimentaux montrent que les quatre approches testées, y compris celles fondées sur des modèles vision-langage, peinent à accomplir la tâche efficacement sur un horizon long. Ce constat va à l'encontre de l'idée reçue selon laquelle les architectures VLA ou VLM se généralisent facilement à des tâches de planification complexe: ici, ni la planification symbolique classique ni l'apprentissage ne suffisent seuls face à la perception partielle et aux occlusions. ESRP s'inscrit dans la lignée des benchmarks de réarrangement de scènes utilisés pour évaluer la compréhension spatiale et la planification à long horizon chez les agents incarnés, mais se distingue en supprimant l'hypothèse commode d'un accès à l'état complet de l'environnement. Aucun calendrier de déploiement industriel n'est annoncé: il s'agit d'un jalon de recherche ouvert, destiné à servir de terrain d'essai standardisé pour la communauté avant tout transfert vers des scénarios robotiques réels.

RecherchePaper

1 source

2arXiv cs.RO

Sécurité de l'IA incarnée : panorama des risques, attaques et défenses

Une équipe de chercheurs a publié fin avril 2026 sur arXiv (identifiant 2605.02900) une revue systématique de la sécurité dans l'IA incarnée (embodied AI), couvrant plus de 400 articles académiques. Le périmètre s'étend à l'ensemble du pipeline d'un agent physique : perception sensorielle, cognition, planification, exécution d'actions et interactions humain-robot. La taxonomie proposée organise les menaces en quatre grandes familles d'attaques (adversariales, backdoor, jailbreak, matérielles) et trois axes de défense (détection d'attaques, entraînement robuste, inférence sûre). Les domaines d'application ciblés incluent la conduite autonome, la robotique industrielle et d'assistance, ainsi que les applications médicales, tous caractérisés par des conséquences physiques directes en cas de défaillance. Ce travail pointe trois angles morts particulièrement préoccupants pour les intégrateurs et les équipes produit. D'abord, la fragilité de la fusion multimodale : combiner vision, LiDAR et langage amplifie les surfaces d'attaque plutôt que de les réduire, contrairement à l'hypothèse dominante de redondance. Ensuite, l'instabilité de la planification sous attaque jailbreak : les modèles vision-langage-action (VLA) comme Pi-0 ou GR00T N2, de plus en plus déployés dans des systèmes humanoïdes, restent vulnérables à des injections de prompt qui court-circuitent les contraintes de sécurité définies au niveau applicatif. Enfin, la confiance dans les interactions en monde ouvert demeure non résolue dès que le scénario sort des conditions de laboratoire, ce qui est précisément le cas des déploiements industriels réels. Le contexte est celui d'une accélération brutale du déploiement d'agents physiques autonomes depuis 2024, portée par des acteurs comme Figure AI, Boston Dynamics, 1X Technologies, Apptronik et des labos publics (Stanford, CMU, ETH Zurich). L'absence d'un cadre de sécurité unifié est jusqu'ici restée dans l'angle mort de la course aux performances : les benchmarks sectoriels mesurent la dextérité et le sim-to-real transfer, rarement la robustesse face à un adversaire actif. Ce survey constitue un premier référentiel structuré ; il ne propose pas de solution clé en main mais identifie les briques manquantes, notamment les protocoles d'évaluation standardisés pour les attaques sur hardware embarqué et les mécanismes de contrôle d'intégrité des VLA en production.

UELes acteurs européens déployant des VLA (dont ETH Zurich, contributeur cité) et soumis à l'AI Act, qui classe les applications médicales et industrielles en systèmes à haut risque, devront intégrer les protocoles d'évaluation de robustesse adversariale identifiés comme manquants par ce survey.

RechercheOpinion

1 source

3arXiv cs.RO

Planification itérative rapide pour éviter des obstacles dynamiques en toute sécurité

Des chercheurs publient sur arXiv, en septembre 2026 (arXiv:2609.20435), un article intitulé « Time-Efficient Iterative Learning Planning for Safety-Critical Dynamic Obstacle Avoidance », qui étend le cadre d'Iterative Learning Planning (ILP), une méthode légère de planification de trajectoire pour robots mobiles autonomes, à l'évitement d'obstacles dynamiques. Le manque de l'ILP original (l'absence de mécanisme de perception et d'évitement d'obstacles mobiles) est comblé par l'ajout d'une fonction barrière de contrôle anticipative pondérée par le risque, l'ARB-CBF, qui corrige en temps réel les commandes nominales générées par un ILP désormais capable d'apprendre des profils de vitesse de franchissement et de biais de direction en fonction du risque local. Les auteurs démontrent que l'étape de replanification de l'ILP évolue en O(kN) pour k itérations et N points de passage, tandis que l'ARB-CBF s'exécute en complexité linéaire. Le framework est testé en simulation et sur robot réel, avec des résultats comparés à des méthodes de référence fondées sur l'optimisation. Pour les intégrateurs de robots mobiles et les décideurs industriels travaillant avec du matériel de calcul embarqué limité (AMR, robots de logistique), l'enjeu est direct : les planificateurs garantissant une sécurité formelle contre les obstacles dynamiques reposent généralement sur des méthodes d'optimisation coûteuses en calcul (MPC, CBF résolues par programmation quadratique), alors que les approches par apprentissage plus légères ignorent souvent ce risque. En affichant une complexité linéaire pour la couche de sécurité, ce travail suggère qu'il est possible de conserver des garanties de sécurité formelles sans les coûts de calcul habituels, un argument pertinent pour déployer des flottes de robots sur du matériel bon marché plutôt que sur des calculateurs industriels. Ce résultat reste toutefois un preprint non encore relu par les pairs, et les gains de performance revendiqués sont mesurés par les auteurs eux-mêmes face à leurs propres méthodes de comparaison, sans benchmark indépendant. L'ILP appartient à la famille des planificateurs par apprentissage itératif, pensée comme alternative légère aux méthodes d'optimisation numérique (MPC, RRT*, CBF-QP) qui dominent la navigation sécurisée en robotique mobile, mais sa version d'origine se limitait à des environnements sans obstacles mobiles. L'ARB-CBF s'appuie sur les fonctions barrière de contrôle, désormais un outil standard pour encoder des contraintes de sécurité formelles dans les véhicules autonomes et la robotique mobile. L'article ne mentionne ni affiliation institutionnelle précise, ni plateforme commerciale, ni calendrier de déploiement industriel : il s'agit d'une contribution algorithmique destinée à la communauté de recherche, dont l'adoption dépendra de reproductions indépendantes et d'essais sur des plateformes réelles au-delà des expériences des auteurs.

RecherchePaper

1 source

4arXiv cs.RO

Ancrage sémantique tenant compte des risques pour une planification robotique fiable basée sur les LLM

Des chercheurs proposent un cadre de « Risk-Aware Semantic Grounding » (ancrage sémantique sensible au risque) pour fiabiliser les robots de navigation pilotés par un grand modèle de langage (LLM), et publient sur arXiv (2609.37554v1) un banc d'essai associé, TRUST-NAV. Le problème visé est connu : lorsqu'un LLM sert de planificateur de haut niveau, ses sorties deviennent peu fiables si l'instruction est ambiguë, sans support dans l'environnement ou incohérente sur le plan sémantique. L'architecture estime donc, avant toute planification, trois risques distincts : l'ambiguïté, l'hallucination et le conflit sémantique. Selon ce score, le système choisit entre trois issues : exécuter l'instruction, demander une clarification ou la rejeter. TRUST-NAV réunit des tâches de navigation standard et des scénarios d'instructions volontairement piégées. Les résultats rapportés indiquent que les planificateurs LLM classiques performent bien sur les tâches valides, alors que le cadre proposé améliore nettement la détection d'ambiguïté et le rejet des conflits sémantiques. Le résumé ne fournit ni chiffres, ni modèles testés, ni robot réel : il s'agit d'un travail académique évalué sur benchmark, sans déploiement ni produit. L'intérêt tient au déplacement de la métrique. Jusqu'ici, la plupart des travaux sur les planificateurs LLM et les modèles vision-langage-action (VLA) optimisent la génération de plans et se jugent sur le taux de réussite des tâches. Les auteurs soutiennent qu'un robot fiable se mesure aussi à sa capacité à reconnaître qu'il ne doit pas agir. Pour un intégrateur ou un responsable d'exploitation, c'est un critère de sécurité concret : un AMR ou un humanoïde qui exécute avec assurance une consigne ambiguë ou impossible est un risque opérationnel, pas seulement une erreur de performance. L'approche est aussi modulaire, puisque le filtrage précède la planification et pourrait en principe se greffer sur des planificateurs existants. Il faut toutefois rester prudent : l'absence de chiffres publiés, l'évaluation sur un benchmark créé par les mêmes auteurs et l'écart habituel entre simulation et terrain limitent la portée des conclusions, en particulier sur le coût en fausses alertes, c'est-à-dire les refus ou demandes de clarification inutiles qui ralentissent une exploitation. Ce travail s'inscrit dans la vague des LLM employés comme planificateurs de haut niveau en navigation et en manipulation, où les hallucinations et l'ancrage dans l'environnement restent des points faibles reconnus. Les approches concurrentes reposent sur l'estimation d'incertitude, la prédiction conforme pour déclencher des demandes d'aide, ou des couches de vérification et de garde-fous, tandis que les grands modèles fondation robotiques cherchent surtout à augmenter le taux de réussite. La suite dépendra de la disponibilité de TRUST-NAV pour la communauté, de la reproduction des résultats par des tiers et d'un test sur robot physique, étape que la version 1 du préprint ne mentionne pas.

RecherchePaper

1 source