RecherchearXiv cs.RO 12 juin 2026

Attaques par redirection de trajectoire sur les modèles vision-langage-action (VLA)

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié le 12 juin 2026 un article (arXiv:2606.12978) introduisant une nouvelle classe d'attaques adversariales sur les politiques robotiques de type VLA (Vision-Language-Action), ces architectures qui combinent un modèle de langage, une vision par caméra et un contrôleur moteur pour exécuter des tâches de manipulation à partir d'instructions textuelles. L'attaque baptisée "command-preserving trajectory redirection" (redirection de trajectoire préservant la commande) consiste à modifier subtilement le prompt d'entrée de façon à ce qu'il reste visuellement et sémantiquement proche de l'instruction légitime, mais provoque un résultat physique entièrement différent. Le modèle de menace est strict : l'attaquant ne modifie ni les poids du modèle, ni l'environnement, il choisit un seul prompt avant l'épisode, et ce prompt reste dans la norme syntaxique de la commande originale, sans mots-cibles ni langage correctif. Les auteurs proposent une méthode de recherche "on-policy" qui exploite des rollouts réels du robot pour identifier les perturbations textuelles dont le comportement en boucle fermée dévie vers une tâche cible. Les expériences sont conduites en simulation et sur robot physique, confirmant le transfert de l'attaque au monde réel.

Ce résultat est significatif pour les intégrateurs et les décideurs industriels qui évaluent l'adoption des VLA en production, notamment dans les contextes de manipulation collaborative ou d'assemblage. La vulnérabilité exploite une propriété structurelle des VLA en boucle fermée : le même prompt est réappliqué à chaque étape de re-planification, et chaque action conditionnée modifie les observations futures sur lesquelles la politique agit. Un prompt malveillant peut donc cumuler ses effets sur toute une trajectoire, là où les attaques précédentes se limitaient à des perturbations action-par-action ou à la persistance d'actions basses. Cela contredit implicitement l'hypothèse que la robustesse visuelle d'un VLA suffit à garantir son intégrité comportementale, et soulève des questions concrètes sur la validation de sécurité avant déploiement.

Les modèles VLA sont au coeur de plusieurs développements récents : pi0 de Physical Intelligence, OpenVLA, RT-2 de Google DeepMind, ou encore les politiques embarquées sur les humanoïdes Figure et 1X. La recherche en sécurité adversariale sur ces architectures était jusqu'ici dominée par des attaques sur les observations visuelles ou sur les actions individuelles ; ce travail ouvre formellement le champ des attaques au niveau de l'instruction textuelle à horizon long. Les auteurs n'annoncent pas de correctif ni de contre-mesure validée, ce qui laisse ouverte la question de la robustification des pipelines VLA. Les prochaines étapes attendues dans la communauté concerneront vraisemblablement la détection de prompts adversariaux à la volée et l'évaluation de ce vecteur d'attaque sur des modèles déployés commercialement. Le site projet est accessible à l'adresse indiquée dans le papier.

Dans nos dossiers

IA physique & VLA Physical Intelligence — π0 OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

RedVLA : l'attaque physique des modèles vision-langage-action (VLA)

Une équipe de chercheurs a publié RedVLA (arXiv:2604.22591), présenté comme le premier framework de red teaming physique dédié aux modèles VLA (Vision-Language-Action), ces architectures multimodales qui pilotent des robots physiques en interprétant simultanément des instructions visuelles et textuelles. Le framework opère en deux étapes : une phase de "Risk Scenario Synthesis" qui identifie automatiquement les régions d'interaction critiques dans des trajectoires normales pour y insérer des facteurs de risque entremêlés au flux d'exécution du modèle, suivie d'un "Risk Amplification" qui raffine itérativement la position et l'état du facteur de risque via une optimisation sans gradient guidée par des caractéristiques de trajectoire. Testé sur six modèles VLA représentatifs, RedVLA atteint un taux de succès d'attaque (Attack Success Rate) de 95,5 % en seulement 10 itérations d'optimisation. Les chercheurs proposent en parallèle SimpleVLA-Guard, un module de sécurité léger entraîné sur les données générées par RedVLA, dont le code et les assets sont disponibles publiquement. Un ASR de 95,5 % signifie que dans quasiment tous les scénarios testés, le framework a réussi à provoquer des comportements dangereux dans des modèles VLA avant déploiement. C'est un résultat préoccupant pour les intégrateurs industriels : contrairement aux attaques sur systèmes purement logiciels, les comportements physiques incorrects (collisions, chutes d'objets, dommages environnementaux) sont souvent irréversibles. RedVLA démontre qu'il est possible de cartographier ces risques de façon systématique avant mise en production, ce qui comble un vide méthodologique réel. Pour les équipes chargées de qualifier des robots manipulateurs ou des humanoïdes, ce type d'outil d'évaluation adversariale pourrait devenir une exigence de certification, à l'image des standards de sécurité fonctionnelle (IEC 61508) dans l'automatisation industrielle. Les modèles VLA ont connu une accélération marquée depuis 2023 avec RT-2 (Google DeepMind), OpenVLA (Stanford), Pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA), chacun visant à généraliser les capacités de manipulation via de grandes architectures multimodales pré-entraînées. La sécurité physique de ces systèmes est restée largement sous-étudiée, la recherche en robustesse IA se concentrant surtout sur les attaques adversariales textuelles ou visuelles en contexte numérique. RedVLA adapte les méthodologies de red teaming issues des LLMs au domaine physique, un glissement de paradigme qui devrait intéresser aussi bien les acteurs américains (Figure AI, Agility Robotics, Boston Dynamics) que les startups européennes déployant des robots en environnement humain, comme Enchanted Tools (Mirokaï, France) ou Wandercraft. Les prochaines étapes naturelles seraient des validations sur hardware réel et l'intégration de SimpleVLA-Guard dans des pipelines de déploiement industriels.

UELes startups françaises déployant des robots en environnement humain (Enchanted Tools, Wandercraft) sont directement concernées par ces vulnérabilités VLA, et SimpleVLA-Guard pourrait s'imposer comme exigence dans les pipelines de qualification sous réglementation européenne (AI Act, certification IEC 61508).

RechercheOpinion

1 source

2arXiv cs.RO

DropVLA : une attaque par porte dérobée au niveau des actions sur les modèles vision-langage-action

Des chercheurs présentent DropVLA, une attaque de type backdoor visant les modèles Vision-Language-Action (VLA), ces systèmes qui traduisent perception multimodale et instructions en langage naturel en commandes robotiques exécutables. Contrairement aux attaques précédentes qui perturbaient la tâche entière, DropVLA cible une action précise : forcer un primitive réutilisable (par exemple open_gripper) à s'exécuter à un instant choisi par l'attaquant, en n'empoisonnant qu'une fraction infime des données d'entraînement. Testée sur OpenVLA-7B avec la suite d'évaluation LIBERO, une contamination purement visuelle atteint un taux de réussite de l'attaque (ASR) de 98,67 à 99,83% avec seulement 0,31% d'épisodes empoisonnés, tout en conservant 98,50 à 99,17% de performance sur les tâches normales. L'action ciblée se déclenche en moins de 25 pas de contrôle à 500 Hz, soit 0,05 seconde. Les déclencheurs textuels seuls s'avèrent instables à faible budget d'empoisonnement (0,72% d'ASR) et leur combinaison avec le visuel n'apporte aucun gain constant. Les auteurs valident aussi la faisabilité en environnement physique sur un bras Franka à 7 degrés de liberté (DoF) piloté par pi0-fast, malgré la dérive du déclencheur dans le plan image due au mouvement relatif de la caméra. Ce résultat est significatif pour l'industrie robotique car il expose une vulnérabilité de sécurité critique dans une classe de modèles de plus en plus déployée comme couche de contrôle générique pour des bras manipulateurs et humanoïdes. Que le backdoor reste indétectable sur les métriques de performance nominale tout en atteignant une fiabilité proche de 100% avec une contamination minime remet en question la confiance accordée aux pipelines d'entraînement VLA, notamment quand les données proviennent de sources tierces ou de démonstrations crowdsourcées. Pour les intégrateurs et décideurs B2B qui envisagent de déployer des VLA sur des tâches physiques sensibles (préhension, assemblage, environnements partagés avec des humains), cela souligne l'urgence d'audits de la chaîne de données et de mécanismes de détection de déclencheurs avant mise en production, un sujet jusqu'ici largement éclipsé par les annonces de performance de modèles comme Pi-0, GR00T N2 ou Helix. Ce travail s'inscrit dans une littérature émergente sur les attaques adverses ciblant les modèles fondation robotiques, qui jusqu'ici se concentrait sur des attaques non ciblées ou un détournement au niveau de la tâche globale plutôt que sur le contrôle fin d'actions individuelles. La méthode s'appuie sur un schéma de réétiquetage cohérent par fenêtre temporelle, adapté au fine-tuning par blocs d'actions (chunked fine-tuning), dans un cadre réaliste où l'attaquant n'a qu'un accès limité à l'empoisonnement des données et traite le pipeline comme une boîte noire. Le backdoor résiste à des variations modérées du déclencheur et se transfère entre suites d'évaluation (96,27% et 99,09% d'ASR), renforçant l'idée qu'il exploite une faiblesse structurelle plutôt qu'un artefact spécifique au benchmark. Les auteurs ne mentionnent pas de contre-mesure déployée à ce stade, laissant la détection et la défense contre ce type d'attaque comme prochaine étape ouverte pour la communauté.

UECette vulnérabilité concerne directement les intégrateurs européens qui envisagent de déployer des VLA en environnement industriel ou partage avec des humains, dans un contexte ou l'AI Act impose des exigences de robustesse pour les systèmes a haut risque.

RechercheActu

1 source

3arXiv cs.RO

SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.06926) SWAP, pour StepWise Action Policy Routing, un cadre qui compose dynamiquement plusieurs politiques Vision-Language-Action (VLA) pendant l'exécution d'une tâche de manipulation. Aujourd'hui, la plupart des systèmes reposent sur un seul modèle VLA du début à la fin d'un épisode. SWAP formule le routage comme un problème d'apprentissage par renforcement hors ligne : un « critique de routage » est entraîné à choisir, à chaque pas de décision et selon l'observation courante, la politique la plus adaptée. Le robot peut ainsi changer de politique en cours d'épisode. L'évaluation porte sur des tâches réelles de manipulation sur la plateforme DROID et sur des simulations LIBERO. Face à l'exécution d'une politique fixe et à des méthodes de routage de référence, les auteurs annoncent jusqu'à 33 points de succès supplémentaires en conditions réelles, et une réduction de 28,3 % du nombre de pas d'action des trajectoires réussies. L'enjeu dépasse la performance brute. Le travail s'attaque à une limite que les intégrateurs constatent déjà : aucun VLA n'est le meilleur partout, et les performances varient selon la phase de la tâche et l'environnement. Au lieu d'attendre un modèle généraliste unique, SWAP traite les VLA existants comme une boîte à outils orchestrable, sans réentraîner chacun d'eux. Pour un industriel, cela suggère une voie pragmatique : combiner des politiques spécialisées ou de fournisseurs différents, et ne payer que pour la politique utile à chaque étape. La baisse de la longueur des trajectoires laisse aussi entrevoir un gain de temps de cycle, mais il s'agit d'un nombre de pas d'action, pas d'une durée mesurée en atelier. Il faut aussi rester prudent sur les chiffres : le « jusqu'à 33 % » correspond au meilleur cas, et l'abstract ne précise ni le nombre de tâches ni la taille des échantillons, ni les politiques combinées. Ce résultat s'inscrit dans la course aux modèles fondation pour la manipulation, où des VLA comme Pi-0, GR00T ou Helix sont généralement présentés comme des systèmes autonomes. Le routage entre politiques prolonge les approches de mélange d'experts, mais à l'échelle de politiques complètes et de manière apprise hors ligne. DROID, jeu de données et plateforme de manipulation très utilisé, et LIBERO, banc d'essai en simulation, servent de référence commune, ce qui facilite la comparaison. Il s'agit d'une prépublication v1 non évaluée par les pairs, sans déploiement industriel annoncé. Les prochaines étapes à surveiller : la publication du code, la robustesse du critique face à des environnements inédits, et la latence ajoutée par le routage à chaque pas de décision.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Diffusion cachée : attaques robotiques non restreintes sur les modèles vision-langage-action

Des chercheurs ont publié le 12 août 2026 sur arXiv (référence 2608.10393v1) une nouvelle méthode d'attaque baptisée DURA, pour "diffusion-based unrestricted robotic attack", ciblant les modèles Vision-Language-Action (VLA) qui pilotent des robots dans des tâches de manipulation. Contrairement aux attaques adversariales classiques qui modifient des pixels de façon visible ou nécessitent un accès complet au modèle cible (white-box), DURA génère des patches adversariaux visuellement naturels en optimisant le long de la trajectoire latente d'un modèle de diffusion pré-entraîné. La méthode fonctionne aussi bien en mode white-box qu'en mode black-box, ce dernier ne nécessitant que l'observation des actions prédites par le modèle victime, sans accès à ses poids internes. Les auteurs ont testé DURA à la fois en simulation et en conditions physiques réelles, et rapportent des performances supérieures aux méthodes d'attaque existantes pour détourner un robot vers des actions choisies par l'attaquant. Cette démonstration met en lumière un angle mort de sécurité largement sous-exploré dans les systèmes robotiques pilotés par des modèles VLA, une famille d'architectures de plus en plus déployée dans les bras manipulateurs et robots humanoïdes industriels. Le fait qu'un patch visuellement anodin, sans artefact détectable à l'œil, puisse suffire à détourner un robot vers une action arbitraire constitue un signal d'alarme pour les intégrateurs et décideurs qui envisagent des déploiements physiques de ces modèles dans des environnements non contrôlés. Cela contredit l'hypothèse implicite selon laquelle les attaques adversariales restent cantonnées au numérique ou nécessitent des perturbations grossières et repérables. La validation en monde réel, et pas seulement en simulation, renforce la crédibilité de la menace. Ce travail s'inscrit dans la continuité des recherches sur la robustesse adversariale des réseaux de neurones, désormais étendue aux modèles VLA à mesure que ceux-ci quittent les laboratoires pour piloter des robots physiques. Les auteurs soulignent les limites des attaques existantes, jugées peu déployables en conditions réelles à cause de leur dépendance à un accès white-box ou à des perturbations trop visibles, et appellent explicitement à des mécanismes de défense plus robustes avant une adoption industrielle plus large de ces modèles.

RechercheActu

1 source