RecherchearXiv cs.RO 1 octobre 2026

Filtrage de sécurité multi-liens pour les politiques VLA autour d'obstacles mobiles

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une politique vision-langage-action (VLA) peut mener à bien une tâche de manipulation tout en renversant des objets sans rapport avec elle, si bien que le taux de réussite seul ne dit rien de la sécurité en environnement encombré. Une équipe publiant sur arXiv propose un « bouclier » sans entraînement, qui s'ajoute à une politique VLA préentraînée sans la réentraîner. Il protège le gripper, le poignet et l'avant-bras avec cinq ellipsoïdes, et filtre chaque mouvement commandé par un seul programme de barrière, face à un ellipsoïde d'exclusion ajusté à partir d'une image RGB-D au reset. Un flux optique épars déplace ensuite le centre de cet ellipsoïde avec le danger, sans nouvelle détection ni nouvel ajustement. Sur six conditions simulées de mouvement du danger, la collision passe de 65,62 % à 27,27 % et le « safe-success » (tâche accomplie sans collision) de 29,35 % à 50,43 %. Sur matériel embarqué hétérogène, la barrière à cinq ellipsoïdes tourne sur CPU en 2,2 ms au 99e centile. L'élagage du préfixe vision-langage et la réduction des étapes de flow matching ramènent chaque appel à la politique π0.5 de 343 à 177,3 ms sur GPU intégré. Sur un bras physique SO-101, quatre tâches : le bras a touché le danger dans 3 épisodes protégés sur 16, contre 11 sur 16 sans bouclier.

L'intérêt tient à ce que ce travail s'attaque à un angle mort de l'évaluation des VLA : les benchmarks mesurent la complétion de tâche, pas les dégâts collatéraux, et un taux de réussite élevé peut masquer un comportement inacceptable dans un atelier ou une cuisine réels. Le résultat montre aussi qu'une couche de sécurité peut s'ajouter à un modèle figé, ce qui évite de reprendre un entraînement coûteux, et qu'elle tient dans le budget de calcul d'un système embarqué. Les ablations indiquent que protéger uniquement l'effecteur final est insuffisant, et que le suivi du danger récupère l'essentiel de la protection perdue quand son estimation reste figée au reset. Pour un intégrateur, c'est un argument concret en faveur de filtres de sécurité modulaires plutôt que d'une sécurité « apprise » dans la politique.

Il faut toutefois relativiser. Une collision résiduelle de 27 % en simulation reste élevée pour un déploiement industriel, et l'essai réel ne porte que sur 16 épisodes par condition, un échantillon trop mince pour une conclusion statistique ferme. Le danger y est modélisé par un seul ellipsoïde, ce qui limite la portée face à des obstacles multiples ou déformables. Ces résultats s'inscrivent dans la lignée des fonctions de barrière de contrôle (CBF) appliquées à la manipulation, désormais greffées sur des politiques génératives comme π0.5 de Physical Intelligence. Le SO-101, bras open source à bas coût issu de l'écosystème LeRobot de Hugging Face, rend l'approche reproductible par de petites équipes. La suite logique serait une validation sur des bras industriels et des obstacles multiples, sans calendrier annoncé.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA Physical Intelligence — π0 Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

CSF : filtrage de sécurité contextuel pour les générateurs de mouvements

Des chercheurs proposent le Contextual Safety Filtering (CSF), un filtre de sécurité sans entraînement destiné aux générateurs de mouvement pilotés par texte, ceux qui produisent des mouvements corps entier exécutables par un robot. Le principe consiste à ancrer des règles de sécurité formulées en langage naturel dans des trajectoires de référence, l'une sûre et l'autre dangereuse, produites par le générateur lui-même. Pour chaque règle active, ces deux trajectoires définissent une valeur de sécurité affine, appliquée par un CBF-QP (programme quadratique à fonction barrière de contrôle) qui suit la référence sûre. Les auteurs testent le dispositif sur quatre générateurs préentraînés d'architectures différentes. Selon eux, CSF active la règle visée dans tous les cas dangereux, qu'ils soient explicites ou déclenchés par la scène, et réduit jusqu'à 90 % le taux d'événements dangereux. Il conserve entre 88 % et 100 % des mouvements bénins. Le système complet est démontré sur un Unitree G1 réel, qui évite des mouvements dangereux lors d'interactions avec des humains et des objets. Il s'agit d'un preprint arXiv (2610.12467v1), sans produit commercialisé ni déploiement industriel. Le problème visé est concret. Un générateur de mouvement conditionné par texte ignore le contexte : la même action, comme saisir ou pousser, n'a pas la même portée selon qu'elle cible un objet ou une personne. Les garde-fous actuels se limitent à filtrer le prompt, à exiger des données de mouvement annotées, ou à imposer des contraintes purement géométriques. Aucun ne tient compte de la façon dont la scène change le sens du geste. Pour un intégrateur ou un responsable sécurité qui envisage des humanoïdes à proximité d'opérateurs, l'intérêt est qu'il n'y a ni réentraînement ni jeu de données étiqueté à constituer, et que l'approche s'applique à plusieurs architectures. Les règles restent lisibles et modifiables en langage naturel, ce qui facilite l'audit. Le recours à un CBF-QP apporte une garantie formelle d'application de la contrainte, ce qui contraste avec les filtres purement statistiques. Il faut toutefois relativiser. Une réduction « jusqu'à 90 % » est un maximum, pas une moyenne. Les benchmarks sont académiques, et le taux restant d'événements dangereux comme le comportement hors distribution ne sont pas précisés. La perte pouvant atteindre 12 % de mouvements bénins se traduirait en production par des refus ou des blocages à gérer. Une démonstration sur un seul robot ne vaut pas validation sécuritaire, et rien n'indique une conformité aux normes ISO ou à l'évaluation de risques en environnement partagé. Ces travaux s'inscrivent dans la montée des générateurs de mouvement humanoïdes pilotés par texte, associés à des contrôleurs de suivi de corps entier, souvent testés sur le Unitree G1, devenu plateforme de recherche de référence grâce à son prix relativement bas. La sécurité y reste un angle mort, car les travaux dominants portent sur la qualité et la diversité du mouvement, pas sur sa pertinence en situation. La suite logique serait de tester CSF sur des tâches plus longues, avec perception en boucle fermée et une détection de scène plus robuste, puis sur d'autres plateformes. Les acteurs industriels qui poussent les modèles généralistes (VLA, modèles de fondation pour humanoïdes) devront traiter ce même problème de sécurité contextuelle avant de déployer au contact de personnes.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.06926) SWAP, pour StepWise Action Policy Routing, un cadre qui compose dynamiquement plusieurs politiques Vision-Language-Action (VLA) pendant l'exécution d'une tâche de manipulation. Aujourd'hui, la plupart des systèmes reposent sur un seul modèle VLA du début à la fin d'un épisode. SWAP formule le routage comme un problème d'apprentissage par renforcement hors ligne : un « critique de routage » est entraîné à choisir, à chaque pas de décision et selon l'observation courante, la politique la plus adaptée. Le robot peut ainsi changer de politique en cours d'épisode. L'évaluation porte sur des tâches réelles de manipulation sur la plateforme DROID et sur des simulations LIBERO. Face à l'exécution d'une politique fixe et à des méthodes de routage de référence, les auteurs annoncent jusqu'à 33 points de succès supplémentaires en conditions réelles, et une réduction de 28,3 % du nombre de pas d'action des trajectoires réussies. L'enjeu dépasse la performance brute. Le travail s'attaque à une limite que les intégrateurs constatent déjà : aucun VLA n'est le meilleur partout, et les performances varient selon la phase de la tâche et l'environnement. Au lieu d'attendre un modèle généraliste unique, SWAP traite les VLA existants comme une boîte à outils orchestrable, sans réentraîner chacun d'eux. Pour un industriel, cela suggère une voie pragmatique : combiner des politiques spécialisées ou de fournisseurs différents, et ne payer que pour la politique utile à chaque étape. La baisse de la longueur des trajectoires laisse aussi entrevoir un gain de temps de cycle, mais il s'agit d'un nombre de pas d'action, pas d'une durée mesurée en atelier. Il faut aussi rester prudent sur les chiffres : le « jusqu'à 33 % » correspond au meilleur cas, et l'abstract ne précise ni le nombre de tâches ni la taille des échantillons, ni les politiques combinées. Ce résultat s'inscrit dans la course aux modèles fondation pour la manipulation, où des VLA comme Pi-0, GR00T ou Helix sont généralement présentés comme des systèmes autonomes. Le routage entre politiques prolonge les approches de mélange d'experts, mais à l'échelle de politiques complètes et de manière apprise hors ligne. DROID, jeu de données et plateforme de manipulation très utilisé, et LIBERO, banc d'essai en simulation, servent de référence commune, ce qui facilite la comparaison. Il s'agit d'une prépublication v1 non évaluée par les pairs, sans déploiement industriel annoncé. Les prochaines étapes à surveiller : la publication du code, la robustesse du critique face à des environnements inédits, et la latence ajoutée par le routage à chaque pas de décision.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

SEAM : exécution fluide de mouvements segmentés en actions pour les politiques vision-langage-action (VLA)

Une équipe de recherche publie SEAM (Smooth Execution of Action-Chunked Motion), une méthode d'inférence sans entraînement destinée aux politiques Vision-Language-Action (VLA) à appariement de flux (flow matching), décrite dans un article déposé sur arXiv (2607.04609). Testée sur le benchmark de simulation LIBERO-10 avec le modèle pi0.5 de Physical Intelligence, la méthode réduit de 28% les à-coups (jerk) aux frontières entre segments de trajectoire et de 27% la discontinuité de transition entre ces segments, tout en préservant le taux de réussite des tâches et en ajoutant un coût de calcul quasi nul par rapport à la version non guidée. Son mécanisme central, le Velocity-guided Loss Steering (VLS), exploite le fait que la fin non exécutée du segment précédent reste disponible comme référence de cohérence une fois le préfixe consommé par le robot, et applique une correction analytique après chaque étape d'Euler sans rétropropager dans le réseau. Le problème visé, la bifurcation multimodale, touche toutes les architectures VLA qui découpent leurs actions en segments de longueur fixe pour limiter la fréquence d'inférence, une approche partagée par des modèles comme pi0, GR00T N2 ou Helix. Quand deux segments adjacents, générés à partir de latents gaussiens indépendants, convergent vers des modes de trajectoire incompatibles, le robot produit des à-coups brusques aux jonctions, un symptôme visible de l'écart entre démonstration et exécution réelle. Les solutions existantes, rétropropagation à chaque étape de débruitage, échantillonnage par rejet ou réentraînement complet, imposaient toutes un compromis entre coût de calcul et fiabilité des tâches. Une correction déployable à l'inférence, sans toucher aux poids du modèle, intéresse directement les intégrateurs qui opèrent des politiques VLA figées sur du matériel de production. L'évaluation reste toutefois cantonnée à la simulation LIBERO-10, un banc d'essai standard mais éloigné des conditions réelles d'un bras ou d'un humanoïde en usine. La validation sur matériel physique et l'extension à d'autres politiques que pi_0.5 constituent les étapes naturelles avant toute adoption industrielle.

RechercheActu

1 source

4arXiv cs.RO

Actions vision-langage sécurisées par Poisson pour la sécurité corporelle complète des politiques apprises

Une équipe de recherche en robotique a publié en septembre 2026 sur arXiv un article décrivant VLPSA (Vision-Language-Poisson-Safe Actions), un filtre de sécurité destiné aux politiques Vision-Language-Action (VLA) qui ne garantissent aujourd'hui aucune évitement de collision fiable, en particulier hors des distributions d'entraînement. Le système synthétise en ligne, à partir des données de perception, des fonctions de sécurité de Poisson (PSF), converties en fonction barrière de contrôle (CBF) appliquée via un filtre CBF-QP sur l'ensemble du corps du robot et sur tout objet saisi, traité comme une extension du dernier lien articulaire. Pour tenir le temps réel tout en gardant une résolution spatiale fine dans les zones critiques de la tâche, VLPSA combine deux résolutions de cette PSF grâce à des compositions booléennes de CBF. Testé sur le benchmark SafeLIBERO face à plusieurs méthodes de filtrage de sécurité existantes, VLPSA obtient le meilleur taux d'évitement de collision du lot: il fait passer ce taux de 23,1% pour la politique de base pi-0.5 à 91,2%, tout en dépassant le taux de réussite des tâches de cette même politique de base. Le système a aussi été déployé sur un bras robotique Franka FR3 dans des scènes encombrées avec obstacles dynamiques et interférence humaine. L'intérêt principal tient au fait que VLPSA agit comme une surcouche de sécurité sans nécessiter de réentraînement de la politique VLA sous-jacente, un point sensible pour les intégrateurs qui déploient des modèles génériques de manipulation dans des environnements industriels non contrôlés. Le résultat contredit l'hypothèse selon laquelle renforcer la sécurité dégraderait mécaniquement la performance de la tâche: ici, sécurité et taux de réussite progressent simultanément. Cela apporte une réponse concrète à un angle mort connu des modèles VLA génériques, souvent démontrés dans des environnements scénarisés mais fragiles face à des obstacles imprévus ou des humains dans la boucle. Le travail s'inscrit dans la lignée des recherches sur les politiques VLA génériques de manipulation, dont pi-0.5 sert ici de politique de référence, et dans le champ plus large des fonctions barrière de contrôle appliquées à la robotique de sécurité. Les auteurs comparent VLPSA à d'autres baselines de filtrage de sécurité sans les nommer précisément dans le résumé, et les prochaines étapes annoncées concernent l'extension des déploiements réels au-delà du Franka FR3 testé.

RecherchePaper

1 source