Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Évolution continue des compétences dans un modèle vision-langage-action (VLA)
RecherchearXiv cs.RO 

Évolution continue des compétences dans un modèle vision-langage-action (VLA)

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié Stellar VLA (arXiv:2511.18085v3), un cadre d'apprentissage continu par imitation (continual imitation learning, CIL) pour les modèles Vision-Langage-Action (VLA). La méthode propose deux variantes progressives : T-Stellar, fondée sur une modélisation plate centrée sur les tâches, et TS-Stellar, organisée en structure hiérarchique tâche-compétence. Les expériences menées sur le benchmark LIBERO, référence standard pour les tâches de manipulation robotique, montrent que les deux variantes surpassent les baselines VLA et CIL actuelles, avec seulement 1 % de rejeu de données. Une validation en conditions réelles sur une plateforme bi-bras, avec des configurations de scènes et d'embodiments distincts, confirme que le transfert de connaissances entre tâches reste effectif au-delà du simulateur.

Le principal apport de Stellar VLA est d'adresser un frein structurel au déploiement des grands modèles VLA : les méthodes CIL existantes nécessitent des paramètres additionnels ou des modules externes, ce qui les rend difficilement scalables lorsque le modèle de base est déjà massif. En optimisant conjointement des représentations de tâches et un espace de connaissances partagé, Stellar VLA introduit un mécanisme de routage expert guidé par la sémantique, sélectionnant les K embeddings les plus proches pour orienter le modèle vers la compétence pertinente, sans alourdir l'architecture. Pour les équipes qui déploient des robots polyvalents en production, cela ouvre la voie à l'apprentissage incrémental de nouvelles tâches avec un coût de fine-tuning réduit. TS-Stellar se distingue notamment sur les manipulations hiérarchiques complexes, et les visualisations publiées illustrent une rétention robuste des compétences acquises ainsi qu'une capacité de découverte automatique de nouvelles tâches.

Les VLA constituent un axe de recherche en accélération depuis 2023, portés par Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), OpenVLA (UC Berkeley) ou encore RT-2 (Google DeepMind), qui cherchent à généraliser la manipulation robotique via un préentraînement multimodal massif. La question du catastrophic forgetting, c'est-à-dire la perte des compétences antérieures lors de l'apprentissage d'une nouvelle tâche, reste un verrou non résolu à l'échelle industrielle. Stellar VLA se positionne comme une surcouche légère applicable à des VLA existants, sans retraining complet. Le projet est documenté sur stellarvla.github.io ; aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans la publication, qui reste à ce stade un travail de recherche académique.

Dans nos dossiers

IA physique & VLANVIDIA GR00TPhysical Intelligence — π0OpenVLA / RT-X

À lire aussi

Raisonnement continu pour les modèles vision-langage-action (VLA)
1arXiv cs.RO 

Raisonnement continu pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (2606.00229) une architecture appelée Continuous Reasoning for VLA, qui remplace le langage naturel comme médium de raisonnement pour les politiques robotiques par un espace latent gaussien continu. Le problème est fondamental : le texte opère à la granularité d'une tâche entière, tandis qu'une politique VLA (Vision-Language-Action) doit sélectionner des actions à une échelle temporelle bien plus fine. Le modèle génère d'abord un ensemble structuré de "pensées continues" sous forme de vecteurs gaussiens, puis les réutilise comme contexte partagé pour la génération d'actions par chunks. L'entraînement repose sur un objectif de vérification croisée : un teacher EMA (exponential moving average) doit consommer le raisonnement du modèle étudiant pour prédire les actions cibles, forçant le latent à rester transférable et vérifiable entre instances. Sur robots réels, l'architecture améliore le taux de succès moyen par sous-tâche de 40,4 % sur TX-G2 (variante compatible AgiBot G2) et de 26,3 % sur HSR (Human Support Robot de Toyota), comparé à π0.5 de Physical Intelligence. Ces résultats contredisent une hypothèse répandue : ajouter des tokens de raisonnement textuel via chain-of-thought ou sous-objectifs explicites améliore le contrôle robotique. Les auteurs montrent que ce raisonnement textuel devient facilement un raccourci interne au modèle, efficace sur les comportements vus en entraînement mais peu généralisable. Un médium de raisonnement utile doit être partageable entre instances de modèle et vérifiable via l'amélioration du contrôle aval, deux propriétés que le texte satisfait mal à l'échelle de l'action. La comparaison directe avec π0.5 positionne ce travail en réponse à Physical Intelligence, acteur de référence dans l'espace VLA. Les plateformes testées (AgiBot G2 et HSR) couvrent la robotique de service et industrielle légère, pas uniquement les humanoïdes à fort investissement comme Figure 03 ou Optimus Gen 3. D'autres architectures concurrentes, dont GR00T N2 de NVIDIA et Helix de Figure AI, misent sur des représentations latentes pour améliorer le transfert sim-to-real, mais restent davantage orientées production que recherche fondamentale. Il s'agit pour l'instant d'un résultat académique, sans annonce de pilote commercial ni de déploiement industriel.

RechercheOpinion
1 source
Mémoire intégrée et compétences réutilisables : un cadre centré sur la mémoire pour les modèles vision-langage-action (VLA)
2arXiv cs.RO 

Mémoire intégrée et compétences réutilisables : un cadre centré sur la mémoire pour les modèles vision-langage-action (VLA)

Des chercheurs proposent Optimus-R, un cadre de type VLA (Vision-Language-Action) centré sur la mémoire, qui traite l'adaptation d'un robot à une nouvelle tâche comme un réglage explicite d'une mémoire requête-compétence, plutôt que comme un réentraînement des paramètres du modèle. Le dispositif repose sur trois briques. Une interface de mémoire « en ligne » insère des tokens de mémoire apprenables dans le flux de préfixe du VLA, ce qui permet au backbone d'extraire des représentations de requête et de compétence liées au contrôle, dans son circuit natif de conditionnement de l'action. Une banque de mémoire requête-compétence externalise ensuite ces compétences : des prototypes de requêtes décident quoi récupérer, des valeurs de compétence précisent comment agir. Enfin, un mécanisme léger « Bridge-and-Adapt » aligne les requêtes et compétences du domaine cible sur l'espace mémoire existant, via un adaptateur et des mises à jour résiduelles. Les auteurs rapportent des expériences en adaptation intra-domaine, inter-domaines et en apprentissage continu. Leur conclusion est un apprentissage de compétences économe en données, avec un oubli catastrophique atténué. Le résumé ne fournit ni taux de réussite, ni nom de robot, ni taille de modèle, ni benchmark. Il s'agit d'un travail de recherche publié sur arXiv, sans produit ni déploiement associé. L'enjeu est très concret pour qui veut déployer des VLA en production. Aujourd'hui, adapter un modèle généraliste à un nouveau poste, une nouvelle pièce ou un nouvel effecteur passe le plus souvent par du fine-tuning. Celui-ci coûte du calcul et des démonstrations, et il peut dégrader les tâches déjà maîtrisées. Pour un intégrateur qui maintient plusieurs cellules, ce risque de régression oblige à revalider l'existant à chaque mise à jour. Déplacer l'apprentissage vers une mémoire externe, extensible avec peu de paramètres modifiés, irait vers une logique plus modulaire, où l'on ajoute une compétence sans toucher au reste. L'approche reste cependant à démontrer. Faute de chiffres dans le résumé, on ignore l'ampleur du gain, la nature des domaines testés (simulation ou matériel réel) et la façon dont la banque se comporte quand le nombre de compétences croît. L'écart entre résultats de laboratoire et exploitation industrielle reste donc entier. Ce travail s'inscrit dans un courant de recherche sur l'apprentissage continu pour les politiques robotiques et l'adaptation efficiente en paramètres, déjà exploré par des méthodes de type adaptateurs ou LoRA appliquées aux VLA. Il rejoint aussi l'intérêt croissant pour les mémoires externes et la récupération de compétences dans les modèles de fondation. Les acteurs industriels comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) travaillent sur des modèles généralistes, mais leurs méthodes d'adaptation propres ne sont pas détaillées publiquement dans ce cadre. La suite logique est la publication du code et des détails expérimentaux, puis une comparaison avec ces approches sur des benchmarks communs et sur robot réel. Tant que ces éléments manquent, Optimus-R relève d'une piste de recherche prometteuse et non d'une solution éprouvée.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
TrapVLA : piéger les modèles vision-langage-action dans des modes d'échec configurés
3arXiv cs.RO 

TrapVLA : piéger les modèles vision-langage-action dans des modes d'échec configurés

Des chercheurs ont publié sur arXiv (2608.26578v1) une étude intitulée TrapVLA, décrivant une nouvelle attaque par porte dérobée contre les modèles Vision-Language-Action (VLA), qui pilotent des robots à partir d'instructions en langage naturel. Baptisée Configured Failure Trapping, la méthode va plus loin que les attaques classiques, qui se satisfont d'un échec quelconque : un déclencheur textuel furtif force le robot à échouer d'une façon précise et choisie à l'avance, par exemple en saisissant un objet avec un décalage de position prédéfini. Les auteurs ont conçu un moteur de génération de trajectoires cibles et deux bancs d'essai, Trap-LIBERO et Trap-RoboTwin, couvrant quatre modes d'échec. Testée en simulation et sur des robots réels, la méthode TrapVLA injecte ces échecs configurés tout en préservant les performances sur données saines. Cette recherche met au jour une faille propre aux VLA, la famille de modèles qui commence à piloter des robots industriels et de service, comme Pi-0, GR00T N2 ou Helix. En montrant qu'un attaquant peut imposer un mode de défaillance précis plutôt qu'un simple échec détectable, l'étude complique la détection par des audits classiques, qui cherchent des comportements aberrants plutôt que des erreurs discrètes et reproductibles. Pour les intégrateurs et décideurs qui envisagent de déployer des robots pilotés par des modèles fondation, la sécurité des données d'entraînement devient un critère aussi important que la capacité brute du modèle, notamment en logistique ou en manufacture. Ce travail reste une démonstration en environnement contrôlé, pas un incident observé sur un déploiement commercial. Le papier s'inscrit dans la continuité des recherches sur les portes dérobées, longtemps cantonnées aux classifieurs d'images et aux modèles de langage, désormais étendues aux agents robotiques incarnés où une erreur ciblée a des conséquences physiques directes. Les auteurs notent que les travaux antérieurs sur les portes dérobées VLA se limitaient à un échec générique, ce que Configured Failure Trapping dépasse en visant un échec configuré, donc plus discret. L'article ne propose aucune contre-mesure ni méthode de détection, seulement la construction de l'attaque et des bancs d'essai, laissant la défense pour des travaux futurs ; le code et les benchmarks sont publiés en ligne.

RechercheActu
1 source
Faire évoluer un modèle vision-langage-action en agent capable d'utiliser des outils à la volée
4arXiv cs.RO 

Faire évoluer un modèle vision-langage-action en agent capable d'utiliser des outils à la volée

Des chercheurs présentent ART (Agentic Robot with Tool-use), un framework décrit dans un preprint arXiv (2608.14047v1) qui transforme un modèle Vision-Language-Action (VLA) existant en agent capable d'invoquer a la volée des modules outils prêts a l'emploi pour la vision bas niveau, l'estimation d'affordance haut niveau et l'adaptation a l'embodiment du robot. Plutot que de générer directement des actions continues sur tout l'espace de solutions comme le font les VLA classiques, ART réduit cet espace via l'usage d'outils, ce qui améliore la généralisation entre taches et limite la dépendance aux données. L'équipe a constitue un jeu de 30 000 trajectoires d'usage d'outils et de démonstrations, nettement plus réduit que les jeux de données des méthodes de référence, avec un protocole d'entrainement pour le raisonnement sur des trajectoires longues en environnements difficiles. Resultat: un taux de réussite supérieur de 20% aux baselines dominantes, en simulation comme sur des taches réelles de pick-and-place dans l'obscurité a des points de vue inédits. Ce résultat cible deux limites récurrentes des VLA de bout en bout: le besoin de volumes de données toujours plus massifs pour généraliser, et la fragilité des politiques continues face a des scènes inédites (éclairage, angle de vue). En montrant qu'une architecture modulaire, ou le modèle délégué certaines sous-taches a des outils spécialisés plutôt que de tout apprendre dans un seul réseau, réduit la taille du jeu de données nécessaire tout en améliorant la robustesse, ART alimente un débat clé pour les intégrateurs: continuer a scaler des VLA monolithiques comme Pi-0 ou GR00T N2, ou investir dans des couches agentiques orchestrant des outils existants pour un déploiement plus léger. ART s'inscrit dans une tendance qui importe en robotique les techniques de raisonnement agentique déjà éprouvées sur les grands modèles de langage, ou un agent alterne planification et appels d'outils externes plutôt que de tout résoudre en un seul passage. Le travail reste a ce stade un preprint de recherche: aucune date de mise en production, aucun partenaire industriel ni volume de déploiement n'est communique par les auteurs. Il s'ajoute aux efforts de laboratoires développant Pi-0, GR00T ou Helix, qui cherchent tous a rendre les VLA plus généralistes sans multiplier indéfiniment les données d'entrainement, un enjeu suivi de près par les intégrateurs européens du secteur logistique et industriel.

UEAucun acteur ni déploiement européen n'est impliqué, mais la piste intéresse les intégrateurs logistiques et industriels européens qui cherchent des VLA moins gourmands en données.

RechercheActu
1 source