Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Actions vision-langage sécurisées par Poisson pour la sécurité corporelle complète des politiques apprises
RecherchearXiv cs.RO 

Actions vision-langage sécurisées par Poisson pour la sécurité corporelle complète des politiques apprises

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche en robotique a publié en septembre 2026 sur arXiv un article décrivant VLPSA (Vision-Language-Poisson-Safe Actions), un filtre de sécurité destiné aux politiques Vision-Language-Action (VLA) qui ne garantissent aujourd'hui aucune évitement de collision fiable, en particulier hors des distributions d'entraînement. Le système synthétise en ligne, à partir des données de perception, des fonctions de sécurité de Poisson (PSF), converties en fonction barrière de contrôle (CBF) appliquée via un filtre CBF-QP sur l'ensemble du corps du robot et sur tout objet saisi, traité comme une extension du dernier lien articulaire. Pour tenir le temps réel tout en gardant une résolution spatiale fine dans les zones critiques de la tâche, VLPSA combine deux résolutions de cette PSF grâce à des compositions booléennes de CBF. Testé sur le benchmark SafeLIBERO face à plusieurs méthodes de filtrage de sécurité existantes, VLPSA obtient le meilleur taux d'évitement de collision du lot: il fait passer ce taux de 23,1% pour la politique de base pi-0.5 à 91,2%, tout en dépassant le taux de réussite des tâches de cette même politique de base. Le système a aussi été déployé sur un bras robotique Franka FR3 dans des scènes encombrées avec obstacles dynamiques et interférence humaine.

L'intérêt principal tient au fait que VLPSA agit comme une surcouche de sécurité sans nécessiter de réentraînement de la politique VLA sous-jacente, un point sensible pour les intégrateurs qui déploient des modèles génériques de manipulation dans des environnements industriels non contrôlés. Le résultat contredit l'hypothèse selon laquelle renforcer la sécurité dégraderait mécaniquement la performance de la tâche: ici, sécurité et taux de réussite progressent simultanément. Cela apporte une réponse concrète à un angle mort connu des modèles VLA génériques, souvent démontrés dans des environnements scénarisés mais fragiles face à des obstacles imprévus ou des humains dans la boucle.

Le travail s'inscrit dans la lignée des recherches sur les politiques VLA génériques de manipulation, dont pi-0.5 sert ici de politique de référence, et dans le champ plus large des fonctions barrière de contrôle appliquées à la robotique de sécurité. Les auteurs comparent VLPSA à d'autres baselines de filtrage de sécurité sans les nommer précisément dans le résumé, et les prochaines étapes annoncées concernent l'extension des déploiements réels au-delà du Franka FR3 testé.

Dans nos dossiers

Physical Intelligence — π0arXiv cs.RO

À lire aussi

ActFovea : sécurisation en temps réel des politiques VLA par cohérence spatio-temporelle vision-action
1arXiv cs.RO 

ActFovea : sécurisation en temps réel des politiques VLA par cohérence spatio-temporelle vision-action

Le laboratoire à l'origine du projet publie ActFovea, un framework de sécurisation à l'exécution pour les politiques vision-langage-action (VLA) utilisées en manipulation robotique. Contrairement à un réentraînement du modèle, ActFovea s'installe en complément d'une politique VLA existante, sans la modifier, pour détecter et corriger les défaillances causées par des perturbations qui désynchronisent observations visuelles, états du robot et actions exécutées. Le système s'appuie sur la cinématique du robot, ses états proprioceptifs et son historique d'actions récentes pour construire des zones fovéales conditionnées à l'action, qui conservent les régions de contact et les corridors de mouvement prévus tout en filtrant le contenu visuel non pertinent pour la tâche. Il détecte les risques en vérifiant la cohérence entre mouvement visuel, fraîcheur des observations et transitions géométriques, proprioceptives et d'action attendues. Testé en boucle fermée sur le modèle Pi-0 dans plusieurs suites LIBERO, ActFovea fait passer le taux de succès sous perturbations visuelles localisées de 49,3% à 90,3%, comblant 93,7% de l'écart avec les performances en conditions propres. Il améliore aussi la robustesse de 7,0 points face à la dérive d'action et de 9,8 points face aux délais visuels, sans dégrader les performances en environnement non perturbé. Ce résultat s'attaque à un point faible connu des politiques VLA: leur fragilité dès que le flux d'observations devient obsolète, retardé ou incohérent avec l'état réel du robot, un scénario fréquent en déploiement réel (caméra masquée, latence réseau, capteur défaillant) mais rarement testé dans les démonstrations. Pour les intégrateurs industriels, la promesse n'est pas d'améliorer la politique elle-même mais d'ajouter une couche de garde-fou capable de distinguer une perturbation récupérable d'une situation où mieux vaut arrêter le geste, avec un mécanisme d'échec sécurisé qui, dans les essais rapportés, ne laisse passer aucune défaillance non protégée en cas de flux d'observation figé ou rejoué. Ce travail s'inscrit dans la vague actuelle de recherche sur la fiabilisation des politiques VLA généralistes, popularisées par des modèles comme Pi-0 ou GR00T N2, dont les performances en environnement contrôlé masquent souvent une sensibilité élevée au bruit du monde réel. En proposant une couche indépendante de la politique plutôt qu'un réentraînement coûteux, les auteurs positionnent ActFovea comme une brique de sécurité runtime potentiellement compatible avec différentes architectures VLA, une direction que devront confirmer des essais au-delà des suites de simulation LIBERO.

RecherchePaper
1 source
JEPA-WAM : des politiques vision-langage-action apprises par modélisation du monde à embarquement conjoint
2arXiv cs.RO 

JEPA-WAM : des politiques vision-langage-action apprises par modélisation du monde à embarquement conjoint

JEPA-WAM, un nouveau modèle de monde latent (world action model, WAM) pour le contrôle robotique, est présenté dans un article publié le 11 août 2026 sur arXiv (2608.09381v1). Le système s'appuie sur l'espace latent pré-entraîné V-JEPA, l'architecture d'auto-supervision vidéo développée par Meta AI, et couple prédiction de transition et génération d'action continue via un prédicteur partagé, plutôt que de générer explicitement des vidéos futures comme le font les WAM à base vidéo, coûteux à déployer. Sur le benchmark LIBERO-Plus, JEPA-WAM atteint 79,2 % de réussite, le meilleur score parmi les méthodes sans pré-entraînement à grande échelle sur des politiques robotiques. Instancié sur le modèle pi0.5 déjà pré-entraîné, il grimpe à 86,3 %, la meilleure performance globale rapportée dans l'article. Des expériences complémentaires sur le simulateur RoboTwin 2.0 et sur des tâches de manipulation bimanuelle en conditions réelles confirment une bonne généralisation face aux variations visuelles et spatiales. Ce travail s'attaque à un compromis central dans l'apprentissage de politiques vision-langage-action (VLA) : les modèles de monde générant explicitement des vidéos futures sont coûteux en calcul et en latence, tandis que les approches latentes existantes sacrifient souvent la richesse de la représentation prédictive ou la séparent du chemin utilisé pour générer l'action. En démontrant qu'un même prédicteur partagé peut porter à la fois la supervision de transition et la prédiction d'action sans déconnecter représentation et politique, JEPA-WAM fournit un argument empirique en faveur de l'unification des deux tâches dans une même colonne vertébrale visuelle. Pour les équipes de recherche et les intégrateurs en robotique, l'intérêt pratique tient au fait que la méthode s'applique aussi à des politiques VLA déjà pré-entraînées, comme pi0.5, sans modifier leurs chemins de perception et d'action d'origine, ce qui laisse entrevoir un gain applicable à des systèmes existants plutôt qu'une architecture entièrement nouvelle à réentraîner. Il s'agit d'un article de recherche publié sur arXiv, sans annonce de produit ni de déploiement commercial : les résultats reposent sur des benchmarks de simulation (LIBERO-Plus, RoboTwin 2.0) complétés par des essais réels limités en manipulation bimanuelle, sans précision sur le nombre de robots ou les sites concernés. JEPA-WAM s'inscrit dans la lignée des architectures d'apprentissage par prédiction latente issues de V-JEPA, et se positionne face à l'écosystème grandissant des politiques VLA telles que pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. Les auteurs ne précisent aucun calendrier de suite, pilote industriel ou partenariat, ce qui situe cette publication au stade de la recherche fondamentale plutôt qu'à une étape de déploiement à court terme.

RechercheActu
1 source
SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)
3arXiv cs.RO 

SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.06926) SWAP, pour StepWise Action Policy Routing, un cadre qui compose dynamiquement plusieurs politiques Vision-Language-Action (VLA) pendant l'exécution d'une tâche de manipulation. Aujourd'hui, la plupart des systèmes reposent sur un seul modèle VLA du début à la fin d'un épisode. SWAP formule le routage comme un problème d'apprentissage par renforcement hors ligne : un « critique de routage » est entraîné à choisir, à chaque pas de décision et selon l'observation courante, la politique la plus adaptée. Le robot peut ainsi changer de politique en cours d'épisode. L'évaluation porte sur des tâches réelles de manipulation sur la plateforme DROID et sur des simulations LIBERO. Face à l'exécution d'une politique fixe et à des méthodes de routage de référence, les auteurs annoncent jusqu'à 33 points de succès supplémentaires en conditions réelles, et une réduction de 28,3 % du nombre de pas d'action des trajectoires réussies. L'enjeu dépasse la performance brute. Le travail s'attaque à une limite que les intégrateurs constatent déjà : aucun VLA n'est le meilleur partout, et les performances varient selon la phase de la tâche et l'environnement. Au lieu d'attendre un modèle généraliste unique, SWAP traite les VLA existants comme une boîte à outils orchestrable, sans réentraîner chacun d'eux. Pour un industriel, cela suggère une voie pragmatique : combiner des politiques spécialisées ou de fournisseurs différents, et ne payer que pour la politique utile à chaque étape. La baisse de la longueur des trajectoires laisse aussi entrevoir un gain de temps de cycle, mais il s'agit d'un nombre de pas d'action, pas d'une durée mesurée en atelier. Il faut aussi rester prudent sur les chiffres : le « jusqu'à 33 % » correspond au meilleur cas, et l'abstract ne précise ni le nombre de tâches ni la taille des échantillons, ni les politiques combinées. Ce résultat s'inscrit dans la course aux modèles fondation pour la manipulation, où des VLA comme Pi-0, GR00T ou Helix sont généralement présentés comme des systèmes autonomes. Le routage entre politiques prolonge les approches de mélange d'experts, mais à l'échelle de politiques complètes et de manière apprise hors ligne. DROID, jeu de données et plateforme de manipulation très utilisé, et LIBERO, banc d'essai en simulation, servent de référence commune, ce qui facilite la comparaison. Il s'agit d'une prépublication v1 non évaluée par les pairs, sans déploiement industriel annoncé. Les prochaines étapes à surveiller : la publication du code, la robustesse du critique face à des environnements inédits, et la latence ajoutée par le routage à chaque pas de décision.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Incitation visuelle guidée par la topologie pour les politiques vision-langage-action
4arXiv cs.RO 

Incitation visuelle guidée par la topologie pour les politiques vision-langage-action

Un article publié sur arXiv en septembre 2026 (2609.23944) décrit une méthode qui améliore les politiques vision-langage-action (VLA) sur des tâches de manipulation impliquant des géométries d'obstacles complexes. Le système combine une planification en simulation avec une signature topologique de type Gauss-Linking-Integral, censée capturer des propriétés invisibles en observation caméra partielle. À partir d'informations géométriques privilégiées issues de la simulation, les auteurs enrichissent un jeu de démonstrations nominal avec des trajectoires qui amènent le robot vers une configuration topologique cible avant de reprendre la tâche. Un modèle vision-langage, affiné sur ce même jeu de données, prédit ensuite à partir des images caméra en direct la signature topologique et des points de passage pour l'effecteur terminal, projetés sur les observations comme indices visuels guidant la politique VLA. Testée sur trois tâches bimanuelles en simulation et une tâche réelle de ramassage de boîte sur banc matériel, la méthode dépasse de 40% le taux de succès du meilleur système de référence. Ce résultat cible une faiblesse connue des VLA: leur difficulté à distinguer des situations qui se ressemblent visuellement ou en configuration articulaire mais exigent des actions différentes selon la topologie de l'environnement, par exemple contourner un obstacle par un côté plutôt que l'autre. Les planificateurs de mouvement classiques, qui connaissent toute la géométrie, savent raisonner sur cette distinction, mais cette information manque généralement au déploiement réel, où le robot ne dispose que d'une observation caméra partielle. Le gain mesuré en conditions matérielles réelles nourrit le débat sur l'écart entre performance simulée et conditions réelles, une question centrale pour les intégrateurs qui envisagent des politiques VLA génériques sur des tâches industrielles de contournement d'obstacles ou de manipulation bimanuelle fine. L'approche prolonge les travaux qui injectent des connaissances géométriques dans des politiques VLA entraînées sur des démonstrations visuelles brutes, sans raisonnement explicite sur la topologie de la scène, et se distingue des méthodes de prompting visuel qui suppriment ces indices plutôt que de les conserver. Les auteurs proposent un site dédié, topology-vla.github.io, sans calendrier de transfert commercial ni partenariat industriel annoncé, ce qui situe ce travail au stade de la recherche amont plutôt que du déploiement produit.

RechercheActu
1 source