RecherchearXiv cs.RO 3 juin 2026

TRAP : détournement du raisonnement CoT dans les VLA par patches adversariaux

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (réf. 2603.23117) une attaque baptisée TRAP (Targeted Reasoning Adversarial Patch), démontrant pour la première fois qu'un patch adversarial physique peut détourner le comportement d'un robot manipulateur piloté par un modèle Vision-Language-Action (VLA) à raisonnement Chain-of-Thought (CoT). Dans les expériences présentées, un patch imprimé sur papier et déposé sur la surface de travail, tel qu'une nappe aux motifs spécifiques, suffit à faire en sorte que le robot remette un couteau à l'opérateur au lieu d'une pomme, sans qu'aucune modification de l'instruction utilisateur ne soit nécessaire. L'attaque a été validée sur trois VLA représentatifs intégrant des mécanismes CoT distincts, et mise en oeuvre en conditions réelles avec un simple imprimé papier.

Ce résultat pointe une vulnérabilité structurelle dans les VLA à raisonnement intermédiaire, famille de modèles qui inclut notamment π0 de Physical Intelligence, OpenVLA-OFT ou les variantes de GR00T (NVIDIA) basées sur des CoT explicites. Les auteurs montrent empiriquement que le raisonnement CoT gouverne la génération d'actions de façon prépondérante, même lorsqu'il est sémantiquement incohérent avec l'instruction initiale : le modèle suit la chaîne de pensée corrompue plutôt que l'intention de l'utilisateur. Pour les intégrateurs déployant des bras robotisés en environnement ouvert, entrepôts, blocs opératoires ou assistance à domicile, cela signifie qu'un adversaire pourrait modifier le comportement du robot par simple altération visuelle de l'environnement, sans accès au modèle ni au flux de commandes, ce qui rend l'attaque particulièrement préoccupante en contexte de sécurité physique.

Les VLA à raisonnement CoT ont émergé comme réponse aux limites des modèles action-réflexe classiques : le CoT améliore la généralisation et offre une trace d'interprétabilité utile pour la certification. TRAP montre que cette avancée introduit simultanément une surface d'attaque inédite. La recherche en sécurité des systèmes robotiques autonomes reste largement sous-investie par rapport à la sécurité des LLM textuels, et ce travail rejoint un corpus naissant incluant des attaques sur les politiques de diffusion et les modèles de perception. Aucun correctif ni benchmark défensif n'est proposé dans cette version ; les auteurs appellent à une sécurisation urgente des pipelines CoT dans les VLA avant tout déploiement à grande échelle dans des environnements critiques.

Impact France/UE

Les intégrateurs européens déployant des VLA sur des bras robotisés en environnement industriel, médical ou d'assistance doivent suspendre tout déploiement à grande échelle dans des environnements critiques et auditer leurs pipelines CoT, en l'absence totale de correctifs défensifs disponibles.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

Attaques adversariales par patches partiellement observables sur les modèles VLA en robotique

Des chercheurs ont publié début juin 2026 une étude (arXiv:2606.03556) démontrant la vulnérabilité des modèles Vision-Language-Action (VLA) à des attaques adversariales par patch dans des conditions partiellement observables. Contrairement aux travaux antérieurs qui supposaient un accès complet à l'intégralité de la trajectoire d'exécution du robot, cette équipe formule un modèle de menace plus réaliste : l'adversaire ne dispose que d'un court préfixe de trajectoire pour générer un patch visuel fixe, ensuite appliqué à toutes les trames suivantes. Leur framework en deux phases consiste d'abord à localiser la zone optimale du patch en exploitant les cartes d'attention du modèle pour identifier les régions visuellement critiques liées à l'instruction en cours, puis à optimiser ce patch pour simultanément perturber l'ancrage sémantique des objets cibles et augmenter la courbure des trajectoires d'action planifiées. Les expériences menées en simulation et en environnements robotiques réels montrent une réduction significative des taux de succès sur des tâches longues. Ce résultat est important car les VLA sont de plus en plus intégrés dans des bras manipulateurs et des robots mobiles déployés en environnements industriels et logistiques, précisément parce qu'ils promettent une généralisation robuste à partir d'instructions en langage naturel. Prouver qu'un patch physique imprimable, placé dans le champ de vision du robot, peut dégrader durablement ses performances de contrôle sans accès complet à son état interne remet en question les hypothèses de sécurité des déploiements actuels. Cela soulève un gap réel entre robustesse en démo contrôlée et résilience en production, particulièrement pour des intégrateurs qui s'appuient sur des modèles comme OpenVLA, pi-0 (Physical Intelligence) ou RT-2 (Google DeepMind) sans auditer leur surface d'attaque perceptive. Les VLA connaissent une montée en puissance depuis 2023 avec RT-2 de Google, suivi de pi-0 de Physical Intelligence et des travaux d'Embodied Intelligence. La sécurité adversariale de ces modèles reste un angle quasi-inexploré dans la littérature par rapport à leur homologues LLM ou vision-langage purs. Cette publication s'inscrit dans un effort émergent pour caractériser les vecteurs d'attaque physiques sur les systèmes robotiques autonomes, un enjeu croissant alors que Figure AI, Agility Robotics et 1X Technologies accélèrent leurs déploiements en entrepôt. Les prochaines étapes probables incluent des défenses basées sur l'augmentation adversariale à l'entraînement et des mécanismes de détection d'anomalie sur les cartes d'attention, domaine dans lequel des équipes européennes comme celles du LAAS-CNRS et du DLR commencent également à publier.

UELes équipes du LAAS-CNRS et du DLR commencent à publier sur la défense adversariale des VLA, positionnant l'Europe comme contributrice émergente à la sécurisation des déploiements robotiques industriels.

RechercheOpinion

1 source

2arXiv cs.RO

Détecter et supprimer : une défense mécanistique contre les patchs adversariaux dans les modèles VLA

Des chercheurs proposent une défense mécaniste contre les patchs adversariaux qui perturbent les modèles Vision-Langage-Action (VLA), ces politiques de contrôle robotique qui transforment images et instructions textuelles en actions. Les auteurs analysent les représentations internes d'un VLA à l'aide d'un autoencodeur parcimonieux (SAE) et isolent une caractéristique dont l'activation est fortement corrélée à la présence d'un patch adversarial dans l'image. Une sonde linéaire détecte l'attaque, et ce n'est qu'à ce moment que la caractéristique identifiée est supprimée à l'inférence. La méthode ne demande aucun réentraînement du VLA. Les tests portent sur LIBERO-10, un banc d'essai de manipulation en simulation, face à des attaques par patch contre des VLA. Le taux de réussite s'améliore sous attaques intermittentes. Le résumé publié ne donne pas de chiffres précis, et l'évaluation reste cantonnée à la simulation. L'intérêt tient à deux enseignements. D'abord, les défaillances causées par un patch ne sont pas diffuses : elles passent par une direction identifiable dans l'espace des représentations, donc ciblable. Cela ouvre une alternative à l'entraînement adversarial, coûteux, qui impose de réentraîner ou d'affiner des modèles de plusieurs milliards de paramètres. Ensuite, le moment de l'intervention compte. Appliquer la même suppression en continu dégrade nettement la politique en fonctionnement normal. Le coût d'une défense passive est donc réel, et la détection conditionnelle devient la pièce centrale. Pour un intégrateur ou un responsable de site, c'est un rappel que la robustesse des VLA face à des perturbations visuelles physiques (autocollants, objets inattendus, éléments d'affichage) n'est pas acquise. Elle ne se règle pas par un simple filtre appliqué en permanence. Les limites sont à garder en tête : un seul benchmark simulé, des attaques intermittentes, et une défense dont l'efficacité face à un adversaire qui connaîtrait la sonde de détection n'est pas démontrée. Un attaquant adaptatif pourrait chercher à contourner à la fois le détecteur et la caractéristique ciblée. Ces travaux s'inscrivent dans la montée en puissance des VLA (Pi-0, GR00T, Helix et d'autres), dont la sécurité reste moins étudiée que les capacités. Les attaques par patch, héritées de la vision par ordinateur classique, ont été transposées à la robotique : elles y provoquent des erreurs de contrôle et non plus seulement de classification. Cette approche reprend les outils d'interprétabilité mécaniste, notamment les SAE, développés pour l'analyse des grands modèles de langage, et les applique à la défense de politiques robotiques. Les prochaines étapes logiques sont la validation sur des robots physiques, le test d'autres architectures de VLA et de patchs imprimés, ainsi que l'évaluation face à des attaques adaptatives. Aucun déploiement industriel n'est annoncé : il s'agit d'une preuve de concept de recherche publiée sur arXiv.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Au-delà du retrait du patch : effets adversariaux persistants dans les politiques vision-langage-action

Des chercheurs publient le 19 septembre 2026 sur arXiv (2609.19669) un protocole permettant de mesurer si un robot piloté par un modèle Vision-Language-Action (VLA) se rétablit réellement une fois qu'un patch adversarial visuel a été retiré. Leur méthode retire le patch à des frontières précises de segments d'action et mesure la récupération avec le même budget de pas restant, en comparant contre des contrôles patch aléatoire, déviation équivalente et direction fixe pour isoler l'effet adversarial pur de la simple occlusion ou de l'ampleur de l'erreur. Sur OpenVLA-OFT attaqué par la méthode EDPA, seulement 36,2% des épisodes du benchmark de manipulation LIBERO-Long restent récupérables cinq segments après le retrait du patch, contre 89,9% pour le contrôle à déviation équivalente et 87,0% pour le contrôle à direction fixe. Des effets similaires sont observés sur la variante autorégressive d'OpenVLA. Un adaptateur de récupération, entraîné spécifiquement sur les états induits par l'attaque, fait passer le taux de récupération de 7,7% à 47,4% quand il intervient après un seul segment d'action, mais ce bénéfice s'effondre nettement dès que l'intervention est retardée. Ce résultat pèse sur les hypothèses de sécurité des systèmes VLA à mesure qu'ils se rapprochent du déploiement industriel, sur des bras manipulateurs comme sur des humanoïdes. La plupart des évaluations actuelles supposent implicitement qu'arrêter une attaque suffit à restaurer un comportement normal ; ce papier montre qu'un patch physique retiré peut laisser le robot dans un état corrompu durablement, indépendamment de l'attaque elle-même. Pour les intégrateurs et décideurs qui envisagent des VLA en environnement industriel, la conclusion opérationnelle est que la fenêtre d'intervention après détection d'une attaque devient un paramètre de sécurité critique, et non un simple détail d'ingénierie. Le travail s'appuie sur OpenVLA, modèle open source de référence pour le contrôle de manipulateurs à partir d'images et d'instructions en langage naturel, évalué sur le benchmark LIBERO-Long. Il s'inscrit dans un corpus grandissant de recherches sur la robustesse adversariale des VLA, jusqu'ici concentré sur les attaques continues plutôt que sur la phase de récupération post-attaque. Les auteurs proposent leur protocole à quatre contrôles comme méthode reproductible pour de futurs benchmarks de sécurité incluant explicitement cette phase de récupération.

UECe protocole de test pourrait aider les intégrateurs européens à évaluer la sécurité des robots pilotés par VLA avant tout déploiement industriel en France ou en UE.

RechercheActu

1 source

4arXiv cs.RO

TAPDreamer : des patchs adversariaux transférables contre les modèles d'action du monde

Des chercheurs ont mis au point TAPDreamer, une attaque par patch adversarial qui vise les « world action models » (WAM), ces modèles qui prédisent l'évolution de leur environnement pour piloter un robot. Le patch est construit à partir d'un seul encodeur visuel public, sans aucune requête vers la politique cible. Il suffit de six images d'une tâche source pour optimiser la distance L1 globale entre les représentations de l'encodeur sur image propre et sur image patchée. Un patch figé par benchmark, couvrant environ 6,5 % de l'image, fait chuter FastWAM de 97,7 % à 0,0 % de réussite sur 40 tâches LIBERO, et de 90,86 % à 0,0 % sur 50 tâches RoboTwin, en boucle fermée. Des patchs aléatoires de même taille laissent 81,5 % et 79,2 % de réussite. Le patch transféré fait tomber deux configurations de DreamWAM à 1,45 % et 1,00 %, et Motus à 10,60 %. Ces résultats viennent d'une étude académique en simulation, sans test sur robot physique. L'enjeu tient au mécanisme. Selon les auteurs, les interactions entre les poids d'attention et les vecteurs de valeur propagent un décalage de représentation quasi identique bien au-delà de la zone masquée, et ce décalage reste stable d'une tâche à l'autre. Un attaquant n'a donc besoin ni de la politique, ni de ses sorties, ni de ses futurs prédits, contrairement aux attaques existantes. Pour les intégrateurs et les responsables de sécurité industrielle, cela déplace le risque. Durcir uniquement la génération d'actions ne suffit pas, car l'encodeur visuel partagé devient un point de défaillance commun à plusieurs architectures. Ce travail relativise aussi la robustesse affichée par les modèles du monde sur les benchmarks propres. Un score de 97,7 % sur LIBERO ne dit rien de la tenue face à une perturbation locale persistante, par exemple un autocollant ou une étiquette dans le champ de la caméra. Une réserve s'impose : la portée physique reste à démontrer, car les patchs sont appliqués numériquement sur les images. Le contexte est celui d'une adoption rapide des modèles du monde comme socle du contrôle robotique généraliste, avec des encodeurs pré-entraînés réutilisés d'un modèle à l'autre. Cette mutualisation facilite le développement, mais elle crée la surface d'attaque exploitée ici. Les travaux antérieurs sur les politiques vision-langage-action (VLA) avaient déjà montré une vulnérabilité aux perturbations visuelles, en général avec accès aux sorties du modèle. TAPDreamer abaisse ce seuil d'accès. La conclusion des auteurs est que les défenses devront protéger les encodeurs visuels partagés contre les perturbations locales persistantes. La suite logique serait une validation sur matériel réel, avec des patchs imprimés et des conditions d'éclairage variables, puis l'évaluation de contre-mesures comme l'entraînement adversarial de l'encodeur ou la détection de patchs avant l'inférence.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source