Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Vers des filtres de sécurité latents généraux conditionnés par le langage
RecherchearXiv cs.RO 

Vers des filtres de sécurité latents généraux conditionnés par le langage

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent une nouvelle approche de filtrage de sécurité pour les robots pilotés par des modèles vision-langage-action (VLA), détaillée dans un article publié le 1er août 2026 sur arXiv (2608.00315v1). Le système, baptisé filtre de sécurité latent conditionné par le langage, combine un acteur et un critique de sécurité fondés sur la théorie de Hamilton-Jacobi, tous deux conditionnés par des contraintes exprimées en langage naturel plutôt que codées en dur. Les auteurs l'ont testé sur trois tâches en environnement simulé et basé sur la vision : le pick-and-place, l'essuyage de table et l'empilement de blocs. Résultat annoncé : le filtre réduit les violations de contraintes de sécurité et parvient à transférer partiellement son comportement vers des instances de contraintes jamais vues pendant l'entraînement, à condition qu'elles appartiennent aux mêmes familles de contraintes déjà couvertes.

Cette approche s'attaque à un vrai goulot d'étranglement industriel : jusqu'ici, chaque filtre de sécurité robotique devait être reconçu ou réentraîné dès que les exigences changeaient, par exemple passer d'un entrepôt à un environnement médical ou ajuster une distance de sécurité selon l'utilisateur. Pour les intégrateurs qui déploient des politiques VLA génériques capables d'exécuter des tâches variées à partir d'une simple instruction textuelle, un filtre reconfigurable par le langage éviterait un cycle de développement coûteux à chaque nouveau cas d'usage ou client. C'est un signal que le secteur cherche désormais à généraliser non seulement les capacités des robots, mais aussi les garde-fous qui les encadrent, un chantier resté à la traîne derrière les progrès spectaculaires des modèles de contrôle eux-mêmes.

Le travail s'inscrit dans la lignée des filtres de sécurité par réchabilité de Hamilton-Jacobi, une méthode de contrôle formel déjà utilisée pour garantir des marges de sécurité vérifiables sur des systèmes robotiques, mais historiquement limitée à des contraintes fixes et spécifiques à une tâche. En la couplant à du conditionnement linguistique, les auteurs cherchent à suivre la tendance des VLA génériques type RT-2 ou OpenVLA, capables d'exécuter des instructions diverses avec une seule politique. L'étude reste toutefois cantonnée à des tâches de manipulation simulées et à un transfert partiel seulement sur des contraintes proches de celles déjà vues, loin d'une garantie de sécurité générale prête pour un déploiement industriel réel.

Dans nos dossiers

IA physique & VLAOpenVLA / RT-XarXiv cs.RO

À lire aussi

XEWorld : les modèles du monde conditionnés par l'action se généralisent-ils à des robots inédits ?
1arXiv cs.RO 

XEWorld : les modèles du monde conditionnés par l'action se généralisent-ils à des robots inédits ?

XEWorld, un banc d'essai contrôle présente par une équipe de recherche, évalué si les modèles du monde conditionnes par l'action, des simulateurs appris pour la manipulation robotique, généralisent a des robots jamais vus pendant l'entrainement. Le protocole isole la variable embodiment en testant des robots non vus dans des scènes physiquement identiques a celles de l'entrainement. Le constat est net: les modèles actuels se comportent avant tout comme des systèmes d'appariement visuel en 2D, dont la généralisation dépend de la similarité visuelle avec les robots déjà vus, et non de la similarité cinématique réelle. Consequence directe, ils peinent a traduire une commande articulaire numérique en trajectoire visuelle cohérente et échouent a prédire une évolution dynamique de la scene a partir d'une simple image statique de départ. Pour rendre correctement un embodiment inédit en zero-shot, il faut leur fournir des actions déjà projetées dans l'espace des pixels et un alignement spatio-temporel explicite, ce qui contourne le problème plutôt que de le résoudre. Meme quand l'adaptation few-shot permet de récupérer l'apparence du nouveau robot, elle declenche un oubli catastrophique des embodiments déjà appris. Ce résultat pèse directement sur l'industrie robotique: les modèles du monde sont promus comme des simulateurs bon marche pour entrainer des politiques VLA telles que Pi-0, GR00T N2 ou Helix, en complément ou en remplacement de la collecte de données réelles et des moteurs physiques classiques. Si ces simulateurs appris ne généralisent pas au-delà des robots vus a l'entrainement, chaque nouvel humanoïde, bras industriel ou plateforme mobile nécessiterait son propre modèle reentraine, ce qui fragilise la promesse d'un simulateur généraliste réutilisable d'un intégrateur a l'autre. L'étude agit aussi comme un correctif face a l'enthousiasme autour des architectures cross-embodiment: la généralisation apparente de certaines démonstrations tiendrait davantage a une ressemblance d'aspect entre robots qu'a une compréhension de la physique sous-jacente, un signal d'alerte pour quiconque évalué des annonces de transfert zero-shot entre plateformes. Cette limite s'inscrit dans une course plus large ou des laboratoires comme Google DeepMind, NVIDIA ou Physical Intelligence développent des modèles du monde et des politiques généralistes censées piloter des robots très différents avec un seul réseau, une démarche destinée a réduire le cout de la collecte de données robot par robot. XEWorld, publie en preprint sur arXiv début aout 2026, ne remet pas en cause l'utilité des modèles du monde en soi mais isole précisément le point de blocage actuel: la confusion entre apparence visuelle et dynamique physique. Les auteurs appellent a des innovations architecturales qui découplent explicitement ces deux dimensions, une piste qui conditionnera la capacité des prochaines générations de simulateurs appris a soutenir un entrainement véritablement cross-embodiment plutôt qu'un simple recyclage visuel de robots déjà connus.

RecherchePaper
1 source
ContactGuard : surveillance de l'exécution pré-contact par modèles du monde latents conditionnés par l'action
2arXiv cs.RO 

ContactGuard : surveillance de l'exécution pré-contact par modèles du monde latents conditionnés par l'action

Publié sur arXiv (2608.13438v1), un article de recherche présente ContactGuard, un moniteur d'exécution qui détecte les échecs de manipulation robotique avant le contact physique avec l'objet. Pensé pour les politiques visuomotrices « chunked » couplées à des caméras montées au poignet, souvent aveugles à une approche déjà en train de pousser, rater, glisser ou déranger l'objet, le système prédit dans un espace visuel latent compact la conséquence du prochain bloc d'actions planifié par la politique, puis interrompt l'exécution en cas d'échec probable. Son modèle du monde, entraîné sur des trajectoires robotiques non étiquetées sans prédiction vidéo pixel par pixel, s'appuie sur une sonde d'échec légère apprise sur un petit jeu de clips pré-contact étiquetés. Testé sur robot réel, il prédit les échecs plus précisément que des versions simplifiées mises en comparaison, sans modifier la politique existante. Cette approche cible une limite concrète des politiques actuelles de type VLA, qui exécutent des séquences d'actions sur plusieurs pas de temps sans réévaluation intermédiaire, rendant les échecs difficiles à anticiper avant qu'ils ne surviennent physiquement. Sur des tâches contact-riche comme l'insertion, l'assemblage ou la préhension, un échec détecté après coup signifie pièces endommagées ou reprises coûteuses. Pour les intégrateurs, l'intérêt tient à la nature de couche de sécurité externe du système, greffée sur une politique existante sans réentraînement, potentiellement applicable à plusieurs politiques « chunked » déjà déployées. Plutôt que de renforcer la politique de base à la source, ContactGuard ajoute une supervision prédictive en aval, une piste utile pour un secteur où l'écart entre démonstrations en laboratoire et fiabilité en conditions réelles reste un sujet sensible. Il s'agit d'une contribution académique sans lien annoncé avec une entreprise ou un robot commercial précis : aucun fabricant, site de déploiement ni feuille de route commerciale ne figure dans la publication. Le travail s'inscrit dans la lignée des modèles du monde latents en robotique, plus économes en calcul que la prédiction vidéo pixel par pixel, et se positionne en couche de supervision complémentaire aux politiques VLA plutôt qu'en nouvelle architecture de contrôle. La validation repose sur des tâches réelles de manipulation, mais reste un résultat de laboratoire : aucun acteur français ou européen du secteur n'est cité, et les auteurs ne précisent ni calendrier de suite ni partenariat industriel.

RecherchePaper
1 source
Modèles vision-langage-action (VLA) conditionnés par l'état de santé pour un contrôle robotique sensible aux pannes
3arXiv cs.RO 

Modèles vision-langage-action (VLA) conditionnés par l'état de santé pour un contrôle robotique sensible aux pannes

Une équipe de recherche publie sur arXiv (référence 2605.16056) un modèle VLA (Vision-Language-Action) capable d'adapter son comportement à la dégradation physique d'un robot, une problématique distincte des pannes de tâches habituellement ciblées par la littérature. L'approche repose sur l'injection d'un module "Health Projector" dans l'architecture VLA-Adapter : le modèle reçoit en entrée un vecteur de santé encodant l'amplitude articulaire et le couple disponible pour chaque joint. Entraîné sur 128 épisodes téléopérés collectés dans l'environnement de simulation LIBERO (benchmark Libero-Spatial), il parvient à compléter des tâches de manipulation spatiale avec des configurations de joints dégradés où le modèle de référence VLA-Adapter Libero-Spatial-Pro échoue systématiquement. Le code et le jeu de données seront prochainement disponibles sur GitHub (h-arslan/health-aware-vla). L'intérêt industriel est réel : dans les déploiements terrain, les robots accumulent des dégradations mécaniques progressives (usure articulaire, perte de couple, grippage de préhenseur) sans nécessairement déclencher d'alarme critique. Un contrôleur aveugle à cet état physique maintient ses consignes nominales et accumule les erreurs ; un modèle conditionné à la santé peut recalculer ses trajectoires à la volée. La modification proposée est présentée comme légère, ce qui suggère une intégration possible dans des pipelines VLA existants sans refonte complète. Cependant, les résultats restent limités à la simulation LIBERO avec 128 épisodes seulement, un jeu de données particulièrement restreint, et aucune validation sur robot physique n'est présentée, laissant le gap sim-to-real entièrement ouvert. Ce travail s'inscrit dans l'expansion rapide des VLA depuis 2023, portée par des modèles comme pi0 (Physical Intelligence), OpenVLA ou la famille RoboVLMs. VLA-Adapter, utilisé comme base ici, est une variante qui réduit les coûts de fine-tuning en gelant le backbone visio-langagier pour n'entraîner qu'un adaptateur léger. La résilience robotique est jusqu'ici majoritairement traitée côté contrôle bas niveau (détection de fautes, compensation par redondance articulaire) plutôt qu'au niveau de la politique visuo-langagière, ce qui rend l'angle de cette recherche original. Aucun acteur européen n'est impliqué dans cette publication. La prochaine étape logique serait une validation sur hardware réel avec des dégradations induites mécaniquement et un dataset substantiellement élargi pour crédibiliser le passage à l'échelle.

RechercheOpinion
1 source
AeroAct : modèles monde-action centrés sur l'action pour le vol de quadricoptère conditionné par le langage
4arXiv cs.RO 

AeroAct : modèles monde-action centrés sur l'action pour le vol de quadricoptère conditionné par le langage

Des chercheurs présentent AeroAct, un modèle "monde-action" (world-action model, WAM) conçu pour piloter des quadricoptères à partir de commandes en langage naturel. Selon les auteurs, il s'agit du premier WAM démontré en vol réel sur drone. Le système adapte un Transformer de diffusion vidéo pré-entraîné pour prédire, à partir de l'historique visuel à la première personne, de la proprioception et d'instructions textuelles, des séquences de trajectoires et d'actions locales. Pendant l'entraînement, le modèle apprend en prédisant les images futures que produirait chaque action, une supervision dense des conséquences visuelles, mais au moment du déploiement il calcule directement les commandes de vol sans générer de vidéo. Pour produire les données d'entraînement, l'équipe a construit un pipeline basé sur DiffAero combinant les moteurs de simulation Isaac Lab et le rendu par 3D Gaussian splatting, complété par un dispositif portatif à bas coût qui couple caméra et estimation de mouvement pour recréer des trajectoires de vol. Une procédure d'auto-guidage améliore la cohérence temporelle entre segments de trajectoire qui se chevauchent. Les tests, en simulation en boucle fermée et sur un quadricoptère physique réel, montrent des gains en suivi de cible et en recherche d'objets. L'intérêt est de dépasser les limites des méthodes actuelles de navigation aérienne par langage, qui reposent sur des actions discrètes, des points de passage ou des commandes de vitesse instantanées offrant peu d'information sur l'effet des actions sur les observations futures. En ancrant explicitement l'apprentissage dans la prédiction visuelle des conséquences du mouvement, AeroAct cherche à combler l'écart classique entre simulation et réalité pour les modèles vision-langage-action appliqués au vol, un enjeu clé pour les intégrateurs en inspection industrielle, cartographie ou recherche-sauvetage par drone. Le travail s'inscrit dans la vague plus large des modèles du monde appliqués à la robotique, où l'action est conditionnée par une anticipation visuelle plutôt que par des commandes bas niveau directes. Il reste à ce stade une publication de recherche arXiv, pas un produit commercialisé ni déployé en conditions opérationnelles ; les auteurs présentent des résultats préliminaires en simulation et sur banc de vol réel, sans indication de partenaire industriel ou de calendrier de mise en production.

RechercheActu
1 source