Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Vue-Langage-Action : agir, réfléchir ou s'abstenir selon la complexité perçue
RecherchearXiv cs.RO 

Vue-Langage-Action : agir, réfléchir ou s'abstenir selon la complexité perçue

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche propose un mécanisme d'inférence adaptative pour les modèles Vision-Language-Action (VLA), publié sur arXiv (2603.05147v2). Le principe: au lieu d'appliquer systématiquement un raisonnement coûteux à chaque tâche, le système classe la complexité de la situation perçue et choisit entre trois modes, Act (exécution immédiate pour les tâches connues), Think (raisonnement approfondi pour les cas ambigus) et Abstain (arrêt préventif face à une anomalie physique ou sémantique). La méthode transforme le backbone vision-langage du VLA en détecteur actif, en projetant ses embeddings latents dans des estimateurs paramétriques et non paramétriques. Testé sur les benchmarks LIBERO et LIBERO-PRO ainsi que sur un robot réel, le modèle combinant un Gaussian Mixture Model appliqué aux embeddings fusionnés vision-langage-instruction obtient jusqu'à 87,5% de F1-score sur deux backbones VLA différents, SmolVLA et π0, et conserve 83% de performance avec seulement 5% des données d'entraînement, dépassant les détecteurs d'échec de l'état de l'art.

Pour l'industrie robotique, ce travail s'attaque à deux problèmes concrets qui freinent le déploiement des VLA en production: le coût de calcul du raisonnement systématique, qui pénalise le temps de cycle et l'autonomie embarquée sur des tâches triviales, et l'absence de garde-fou fiable face aux scénarios hors distribution, source de défaillances catastrophiques en environnement réel. En donnant au modèle une estimation d'incertitude native plutôt qu'un raisonnement en force brute partout, l'approche vise un compromis entre latence et sécurité que les intégrateurs réclament pour justifier un passage du laboratoire à l'usine ou à l'entrepôt. Le fait que la robustesse se maintienne avec 5% des données seulement suggère aussi une piste pour réduire le coût d'entraînement spécifique à chaque nouvelle tâche.

Le travail s'inscrit dans la lignée des VLA généralistes comme π0 (Physical Intelligence) et des modèles compacts comme SmolVLA, dont la généralisation reposait jusqu'ici surtout sur l'ajout de modules de raisonnement, au prix de la latence. En s'appuyant sur les benchmarks de simulation LIBERO et sa variante durcie LIBERO-PRO, complétés par une validation sur robot physique, les auteurs positionnent leur détecteur de complexité comme une alternative aux approches existantes de détection d'échec. Les prochaines étapes attendues concernent l'extension à d'autres familles de VLA et une validation à plus grande échelle en conditions industrielles réelles.

Dans nos dossiers

Physical Intelligence — π0arXiv cs.RO

À lire aussi

StarVLA-α : réduire la complexité des systèmes vision-langage-action
1arXiv cs.RO 

StarVLA-α : réduire la complexité des systèmes vision-langage-action

Une équipe de recherche présente StarVLA-α, un modèle de référence pour les systèmes Vision-Language-Action (VLA) en robotique, dans une preprint arXiv (2604.11757, version 2) accompagnée d'un code annoncé sur github.com/starVLA/starVLA. Le modèle réduit volontairement la complexité architecturale et applique le même pipeline minimal sur quatre benchmarks standards du secteur : LIBERO, SimplerEnv, RoboTwin et RoboCasa. Sa version généraliste unique dépasse de 20 % le modèle Pi-0.5 (π0.5) sur RoboChallenge, un benchmark public évalué en conditions réelles et non en simulation. Les auteurs ont réévalué plusieurs choix de conception clés : stratégie de modélisation de l'action, pré-entraînement spécifique au robot et ingénierie d'interface. Ce résultat contredit une hypothèse répandue dans la course aux VLA, selon laquelle la performance exige un empilement d'astuces d'ingénierie et des architectures toujours plus complexes. En montrant qu'un backbone VLM (vision-language model) solide combiné à un design minimal suffit à dépasser un modèle reconnu comme Pi-0.5 sur un test en conditions réelles, l'étude remet en question la course à la complexité qui domine le secteur. Pour les intégrateurs et les laboratoires de recherche, l'intérêt est concret : une base simple, reproductible et compétitive réduit le coût d'entrée pour tester de nouvelles idées sans reproduire des pipelines propriétaires. Cela suggère aussi que le goulot d'étranglement des VLA tient moins à l'architecture qu'à la qualité du backbone et des données d'entraînement. Le champ des VLA s'est fragmenté depuis l'arrivée de modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, associé au robot Figure 03, chacun avec ses propres choix d'architecture et de données, rendant les comparaisons difficiles. StarVLA-α se positionne en contrepoint académique, en isolant les axes de conception pour permettre une analyse contrôlée plutôt qu'une surenchère d'ingénierie propre à chaque benchmark. Il s'agit d'une contribution de recherche et non d'un produit commercial ou d'un déploiement industriel : le code n'était pas encore public au moment de la publication, seule une adresse GitHub était annoncée. Les auteurs présentent StarVLA-α comme un point de départ pour de futurs travaux sur les VLA, sans partenariat industriel ni calendrier de déploiement annoncé.

RechercheOpinion
1 source
SafeLoop : retour arrière tenant compte du risque pour la manipulation vision-langage-action
2arXiv cs.RO 

SafeLoop : retour arrière tenant compte du risque pour la manipulation vision-langage-action

Des chercheurs présentent SafeLoop, un mécanisme de sécurité externe destiné aux modèles vision-langage-action (VLA) utilisés en manipulation robotique, détaillé dans un article arXiv (2609.26313v1) publié fin septembre 2026. Le système fonctionne comme une surcouche non invasive: il ne modifie pas les paramètres du modèle VLA de base, mais entraîne un prédicteur de risque distinct, alimenté par la vision et la proprioception du robot, qui calcule quatre valeurs en continu, la probabilité et le délai avant un risque de collision du corps du robot, ainsi que la probabilité et le délai avant un échec de manipulation d'objet. Un contrôleur léger déclenche ensuite l'une de trois actions selon ce risque prédit: poursuivre l'exécution normalement, enregistrer un point de contrôle de sécurité, ou reculer dans l'espace articulaire jusqu'à ce point avant d'interroger à nouveau la politique de base pour tenter une autre trajectoire. Testé sur 24 tâches du benchmark simulé LIBERO (16 essais aléatoires chacune) et sur trois tâches réelles avec un robot physique (25 essais chacune), SafeLoop réduit les cas dangereux d'environ 70% tout en préservant le taux de réussite des tâches et le rythme de contrôle de la politique de base. Le code du projet est disponible sur GitHub. Ce travail s'attaque directement à une faiblesse reconnue des modèles VLA généralistes: leur fragilité sur des horizons d'exécution longs, où de petites erreurs d'estimation d'état ou de contrôle peuvent provoquer des échecs irréversibles comme des collisions ou des chutes d'objets. Pour les intégrateurs et décideurs industriels qui évaluent le déploiement de politiques VLA en environnement réel, l'enjeu est central: ces modèles impressionnent en démonstration mais restent risqués en production sans garde-fous. En proposant une couche de sécurité détachable du modèle de base, capable de s'ajouter à n'importe quelle politique VLA existante sans réentraînement complet, SafeLoop répond à un besoin pratique d'ingénierie de sécurité modulaire plutôt qu'à une promesse de performance brute, une approche qui contraste avec la tendance du secteur à surtout communiquer sur les capacités des modèles plutôt que sur leur fiabilité opérationnelle. Le projet s'inscrit dans la lignée des benchmarks de manipulation robotique comme LIBERO, largement utilisés pour évaluer les politiques VLA génériques telles que Pi-0 ou GR00T, et répond à une limite documentée de ces architectures en environnement réel. L'approche par rollback, retour à un point de sécurité récent suivi d'une nouvelle tentative via la politique existante, se distingue des méthodes alternatives évaluées dans l'étude par un meilleur compromis entre sécurité et taux de réussite. Le code est publié en accès ouvert sur GitHub, ce qui permettra à d'autres équipes de recherche de reproduire et d'étendre les tests au-delà des 24 tâches simulées et des trois tâches réelles couvertes par l'article, sans qu'aucun calendrier de déploiement industriel ne soit pour l'instant annoncé.

RecherchePaper
1 source
SmoLSTM : un modèle vision-langage-action compact à mémoire récurrente persistante
3arXiv cs.RO 

SmoLSTM : un modèle vision-langage-action compact à mémoire récurrente persistante

Un modèle vision-langage-action baptisé SmoLSTM vise à résoudre un problème classique des politiques robotiques actuelles : lorsque l'action est prédite uniquement à partir de l'observation courante, une tâche impliquant un objet occulté ou plusieurs objets visuellement identiques devient ambiguë sans historique de l'épisode. La parade habituelle, élargir la fenêtre d'observation, transforme cet horizon en hyperparamètre et fait croître le coût de calcul à chaque pas de temps. L'équipe à l'origine du papier, publié le 22 septembre 2026 sur arXiv (2609.22854), propose à la place de stocker l'épisode dans un état récurrent. SmoLSTM associe un backbone SmolVLM gelé de 256 millions de paramètres à une couche de contrôle LSTM à mémoire matricielle, où jetons d'observation et requêtes d'action circulent dans un unique flux causal jamais réinitialisé sur toute la durée de l'épisode, ce qui rend le stockage de l'état en O(1) quelle que soit la longueur de l'épisode. Une tête d'action par flow-matching prédit à chaque pas des séquences de 10 deltas de pose de l'effecteur et des commandes de préhenseur. Entraînée conjointement sur 7 461 démonstrations couvrant 140 tâches, la politique unique atteint 85,1% de couverture de sous-objectifs et 77,5% de réussite complète sur le benchmark LIBERO-Mem, avec seulement 40 millions de paramètres entraînables, dépassant à la fois la baseline object-centric du benchmark et les approches à mémoire récentes. Cette architecture répond directement à une limite documentée des VLA en environnement industriel: la mémoire d'épisode conditionne la fiabilité en manipulation, notamment quand un capteur perd temporairement la vue d'un objet ou face à des pièces indiscernables sur une ligne. Pour les intégrateurs, l'intérêt tient surtout au ratio performance/coût: la quasi-totalité du réseau reste gelée, seuls 40 millions de paramètres sont ajustés, ce qui limite le coût d'entraînement sans faire exploser le calcul par pas comme le ferait un contexte élargi. Une expérience de contrôle renforce la démonstration: réinitialiser l'état récurrent à chaque pas de contrôle fait chuter le taux de réussite complète à 7,0%, preuve que les gains proviennent bien du contexte transporté entre décisions et non d'un artefact d'entraînement. L'architecture s'inscrit dans la lignée des VLA compacts dérivés de SmolVLM, en réaction aux modèles à fenêtre de contexte élargie qui dominent le paysage actuel, aux côtés d'approches comme Pi-0 ou GR00T N2. Les auteurs comparent leur méthode à la fois à la baseline object-centric propre à LIBERO-Mem et à d'autres approches à mémoire récentes, et valident sa généralité en obtenant aussi 79,6% de réussite moyenne sur le benchmark standard LIBERO, sans mémoire d'occlusion particulière à exploiter. Ces résultats restent toutefois obtenus en simulation, sur des tâches de manipulation de table type LIBERO, et non sur un déploiement robotique réel: il s'agit d'un travail de recherche fraîchement publié, sans annonce de portage matériel ni de calendrier de test physique à ce stade.

RechercheOpinion
1 source
Récupération hiérarchique de compétences pour l'adaptation efficiente des modèles vision-langage-action
4arXiv cs.RO 

Récupération hiérarchique de compétences pour l'adaptation efficiente des modèles vision-langage-action

Des chercheurs présentent Hierarchical Skill Retrieval (HSR), un framework de récupération de démonstrations pour adapter plus efficacement les modèles Vision-Language-Action (VLA) à de nouvelles tâches de manipulation robotique avec peu de données spécifiques. Plutôt que de chercher des correspondances de tâches complètes, rares dans les jeux de données existants, HSR décompose une tâche cible en séquences de compétences candidates, évalue chaque plan selon sa plausibilité sémantique et la fiabilité des compétences estimée à partir du jeu de données préalable, puis combine récupération de langage au niveau sous-tâche et reclassement par caractéristiques comportementales pour sélectionner des démonstrations pertinentes et compatibles. La politique est ensuite adaptée via un pipeline en deux étapes séparant acquisition générale de compétences et finetuning spécifique à la tâche. Sur le benchmark LIBERO et sur plusieurs tâches de manipulation en conditions réelles, HSR améliore le taux de succès moyen de 10,3% et 21,3% respectivement par rapport à la meilleure méthode de référence. Vidéos et code sont disponibles sur le site du projet. Ce travail s'attaque à un problème très concret pour l'industrie robotique : les modèles VLA préentraînés sur de vastes jeux de données de démonstrations perdent en performance dès qu'on les confronte à des tâches nouvelles avec peu d'exemples, un frein majeur au déploiement rapide chez les intégrateurs. En structurant la récupération autour de compétences réutilisables plutôt que de tâches entières, HSR propose une piste pour réduire le coût de collecte de données lors du transfert vers de nouveaux environnements ou de nouvelles chaînes de production, un enjeu central pour quiconque cherche à industrialiser des bras robotiques ou des humanoïdes au-delà des démonstrations en laboratoire. Le gain plus marqué en conditions réelles (21,3%) qu'en simulation (10,3%) suggère que l'approche hiérarchique compense particulièrement bien le bruit et la variabilité du monde physique, un point souvent négligé par les méthodes de récupération fondées sur la seule similarité visuelle ou l'appariement de langage au niveau tâche. HSR s'inscrit dans la lignée des travaux récents sur l'adaptation efficace des modèles VLA de type Pi-0 ou GR00T, où la question centrale reste de savoir comment tirer parti de grands jeux de données hétérogènes sans réentraînement coûteux pour chaque nouvelle tâche. Les auteurs positionnent leur méthode par rapport aux approches de récupération existantes basées sur la similarité visuelle, les représentations état-action ou l'appariement de langage au niveau tâche, qu'ils jugent insuffisantes face à la structure hiérarchique des tâches de manipulation à long horizon. Le code et les vidéos de démonstration étant publiés en accès libre, la validation par la communauté sur d'autres benchmarks et plateformes robotiques déterminera si ces gains se généralisent au-delà de LIBERO et des tâches réelles testées par les auteurs.

RechercheOpinion
1 source