Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
StageCraft : atténuation, sensible à l'exécution, des échecs de distraction et d'obstruction dans les modèles VLA
RecherchearXiv cs.RO 

StageCraft : atténuation, sensible à l'exécution, des échecs de distraction et d'obstruction dans les modèles VLA

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent StageCraft, une méthode qui améliore les performances des modèles VLA (Vision-Language-Action) sans réentraînement, en s'appuyant sur le raisonnement en contexte de grands modèles vision-langage (VLM) préentraînés sur des données à l'échelle d'internet. Le système prend en entrée des vidéos d'exécution de la politique robotique ainsi que des étiquettes de succès ou d'échec, puis identifie quels objets dans l'état initial de l'environnement doivent être déplacés ou retirés pour éviter les échecs anticipés liés à des distracteurs ou des obstructions physiques. Conçu comme un module plug-and-play, StageCraft ne nécessite que quelques essais de la politique pour fonctionner et n'impose aucune contrainte supplémentaire sur le modèle VLA sous-jacent. Les auteurs rapportent un gain de performance absolu de 40% sur trois domaines de tâches réelles impliquant des distracteurs et obstructions variés, ainsi que des résultats complémentaires en simulation sur RLBench.

Cette approche s'attaque à un point de friction concret pour le déploiement industriel des VLA: ces modèles généralisent bien à de nouvelles tâches, objets et scènes grâce au préentraînement massif, mais restent fragiles dès que l'environnement réel introduit des éléments perturbateurs non anticipés, l'écart classique entre démonstration contrôlée et conditions réelles de production. Les méthodes existantes de finetuning peinent encore face à des distracteurs inédits. En proposant une correction au niveau de l'état initial de la scène plutôt qu'au niveau des poids du modèle, StageCraft ouvre une voie moins coûteuse pour fiabiliser des politiques déjà déployées, un argument qui intéressera directement les intégrateurs cherchant à éviter des cycles de réentraînement à chaque changement d'environnement de production.

Le travail s'inscrit dans la lignée des efforts pour combler l'écart entre capacités démontrées en laboratoire et robustesse en conditions réelles des modèles VLA, une préoccupation centrale du secteur alors que ces architectures se multiplient. Les auteurs montrent aussi que l'intervention de StageCraft s'adapte à la force de la politique sous-jacente et s'améliore avec davantage d'exemples en contexte, suggérant une piste d'amélioration continue sans réentraînement lourd. Des vidéos de démonstration sont disponibles sur le site dédié au projet.

À lire aussi

Quand les instructions récupèrent des trajectoires : diagnostic et atténuation des échecs de généralisation des modèles VLA
1arXiv cs.RO 

Quand les instructions récupèrent des trajectoires : diagnostic et atténuation des échecs de généralisation des modèles VLA

Des chercheurs publient sur arXiv une analyse des échecs de généralisation des modèles vision-langage-action (VLA), accompagnée d'une méthode de correction baptisée Equivariant Counterfactual Training (ECT). Le constat de départ est que des VLA dépassent 90 % de réussite sur les tâches vues à l'entraînement et résistent aux changements parasites qui ne modifient pas l'action requise (éclairage, objets non pertinents). Ils échouent en revanche dès qu'une modification contrefactuelle impose une action différente, par exemple permuter la position de deux objets. Les auteurs nomment ce défaut « instruction-action binding » : la politique réagit au langage comme à la vision, mais ne les combine pas pour choisir l'action adaptée. Les analyses comportementales, menées sur des versions affinées de π0.5 et de GR00T-N1.7, montrent que les rollouts ratés répètent souvent le comportement de la tâche source ou basculent vers une autre tâche démontrée. Le langage n'est donc pas ignoré : il sert d'index vers une famille de trajectoires connues, et le retour visuel n'en ajuste que l'exécution. Sur le simulateur LIBERO-PRO, l'ECT complet fait passer le taux de réussite moyen de π0.5 en permutation de positions de 36 % à 59 %. Sur CALVIN, où les contreparties existent déjà dans les données, la seule fonction de perte ECT améliore l'enchaînement de cinq tâches sans nouvelle démonstration. Sur un bras UR5e réel, à budget de démonstrations constant, le succès sur positions inédites passe de 8 % à 88 %. Ces résultats portent sur un point central pour le déploiement industriel : un score de robustesse agrégé peut masquer une faiblesse structurelle. Un VLA qui encaisse les perturbations visuelles banales peut rester un récupérateur de trajectoires, incapable de reconfigurer son geste quand la même consigne exige un mouvement différent dans une scène modifiée. Pour un intégrateur, c'est le cas typique d'une cellule dont l'agencement change entre deux lots. Le travail suggère aussi qu'une partie du problème tient à la composition des données et à l'objectif d'imitation, et non à la taille du modèle : lorsque l'action reste conditionnellement étroite, une solution ancrée dans la scène et une solution indexée sur l'instruction sont indiscernables sur les démonstrations. Corriger cela par des paires contrefactuelles, plutôt que par plus de volume, est une piste peu coûteuse. Une réserve s'impose : le gain de 8 % à 88 % vient d'un seul robot et d'un protocole à budget fixe, et le gain en simulation (+23 points) est plus modeste. L'étude s'inscrit dans une série de travaux sur les limites de généralisation des VLA, alors que π0.5 de Physical Intelligence et la famille GR00T de NVIDIA servent de références ouvertes pour les politiques généralistes. Les benchmarks comme LIBERO-PRO et CALVIN ont été conçus pour mesurer cette généralisation, et les auteurs montrent que certains scores flatteurs reposent sur la mémorisation. Les suites probables sont des validations sur d'autres plateformes, des tâches plus longues et d'autres architectures de VLA. Il s'agit d'un préprint non évalué par les pairs, sans produit ni déploiement annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
UAOR : réinjection d'observations sensible à l'incertitude pour les modèles vision-langage-action (VLA)
2arXiv cs.RO 

UAOR : réinjection d'observations sensible à l'incertitude pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (référence 2602.18020v2) une méthode baptisée UAOR (Uncertainty-aware Observation Reinjection), conçue pour améliorer les modèles VLA (Vision-Language-Action) sans nécessiter de réentraînement ni de données supplémentaires. Le principe repose sur la mesure de l'entropie d'action à chaque couche du modèle de langage sous-jacent : lorsqu'une couche présente une incertitude élevée, le module réinjecte les informations d'observation clés dans le réseau Feed-Forward (FFN) de la couche suivante, via un mécanisme d'attention retrieval. Les auteurs exploitent ici une propriété connue des transformeurs où les FFN se comportent comme des mémoires clé-valeur, et l'appliquent de façon adaptative et conditionnelle à l'état d'incertitude du modèle. Les expériences couvrent à la fois des environnements simulés et des tâches de manipulation réelle, sans précisions chiffrées sur les volumes ou les délais de cycle dans l'abstract publié. L'intérêt pratique est réel pour les équipes qui cherchent à améliorer des pipelines VLA existants : la plupart des approches actuelles exigent l'ajout de capteurs (nuages de points, cartes de profondeur) ou de modules auxiliaires (détecteurs d'objets, encodeurs spécialisés), impliquant collecte de données et phases d'entraînement coûteuses. UAOR se branche en plug-and-play sur des modèles déjà entraînés, ce qui réduit significativement le coût d'intégration. Cette approche "training-free" est particulièrement pertinente dans un contexte industriel où le fine-tuning sur données propriétaires reste un frein. Cela dit, l'abstract ne communique pas de métriques précises (taux de succès, amélioration relative), ce qui rend l'évaluation de l'amplitude des gains difficile avant lecture complète du papier. Les VLA sont devenus un axe central de la robotique de manipulation généraliste depuis 2024, portés par des modèles comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI). UAOR s'inscrit dans une dynamique de recherche qui cherche à extraire davantage de performance des architectures existantes plutôt qu'à en construire de nouvelles, une tendance d'optimisation à moindre coût computationnel. La prochaine étape naturelle serait une évaluation comparative sur des benchmarks standardisés comme RLBench ou FurnitureBench, et un test d'intégration sur des modèles open-source populaires tels qu'OpenVLA ou Octo.

RechercheOpinion
1 source
Reformule avant d'agir : caractérisation et atténuation de la sensibilité au langage des modèles vision-langage-action (VLA)
3arXiv cs.RO 

Reformule avant d'agir : caractérisation et atténuation de la sensibilité au langage des modèles vision-langage-action (VLA)

Les modèles vision-langage-action (VLA) ne tiennent pas la promesse de robustesse linguistique de leurs modèles vision-langage d'origine, selon une étude (arXiv 2610.10526) qui chiffre cette fragilité sur LIBERO, un banc d'essai de manipulation en simulation. Sur ce benchmark, π0.5 allume la cuisinière dans 100 % des essais avec « switch on the stove », mais seulement 2 % avec « switch on the hot plate ». Un checkpoint π0 finetuné avec de l'augmentation par reformulation affiche encore des écarts allant jusqu'à 61 points pour une simple variation de phrasé. Les auteurs mesurent ces variations par des tests statistiques d'écarts à une seule édition, puis par une recherche « oracle » de la meilleure formulation. Celle-ci montre que le phrasé seul comble presque entièrement l'écart de 21 points entre tâches in-distribution et hors distribution. Leur correctif ne touche pas à la politique. Ils évaluent de nombreuses formulations sur quelques tâches d'entraînement, puis un grand modèle de langage distille ces résultats en dix à vingt règles de reformulation. Au déploiement, chaque consigne entrante est réécrite une seule fois selon ces règles, sans réentraînement ni vérification à chaque pas de temps. Sur un π0 gelé, le gain relatif est de 16 à 27 % sur douze tâches tenues à l'écart, avec des phrasés adversariaux, générés par VLM et rédigés par des humains. Les progrès se concentrent sur les tâches hors distribution. Sur π0.5 et LIBERO, le taux de succès « in-finetune » passe de 93,6 % à 97,8 %. Il s'agit de résultats de simulation et de benchmark. Rien n'est annoncé en déploiement physique ni sur un produit livré. Pour les intégrateurs et les équipes qui évaluent des VLA, le résultat remet en cause l'idée que la compréhension du langage hérite telle quelle du préentraînement du VLM. Un opérateur qui dit « plaque chauffante » plutôt que « cuisinière » peut faire échouer la tâche presque à coup sûr. Les scores moyens des benchmarks, mesurés avec les formulations canoniques, risquent donc de surestimer la fiabilité en atelier ou en entrepôt, où les consignes varient selon les personnes. Le travail propose aussi une réponse peu coûteuse, puisqu'une couche de réécriture en amont s'ajoute à une politique figée sans nouvelle collecte de données. Reste à voir si cela tient sur robot réel, avec des consignes plus longues et du bruit de reconnaissance vocale. Le coût d'un appel LLM supplémentaire par consigne est faible, mais il ajoute une dépendance et de la latence au démarrage de la tâche. Ce travail s'inscrit dans la série des politiques généralistes de Physical Intelligence (π0, puis π0.5), devenues des références open source. Celles-ci côtoient des approches concurrentes comme GR00T chez NVIDIA ou Helix chez Figure, dont la robustesse linguistique n'est pas documentée publiquement dans des termes comparables. LIBERO est un benchmark commode mais limité, et la plupart des publications sur les VLA le saturent déjà avec des consignes fixes. Les prochaines étapes naturelles sont des tests sur matériel physique et sur d'autres familles de VLA. Les auteurs publient une page de projet, sttawm.github.io/rephrase-before-you-act.

RecherchePaper
1 source
Guidage sensible à l'achèvement pour les modèles du monde et d'action
4arXiv cs.RO 

Guidage sensible à l'achèvement pour les modèles du monde et d'action

Des chercheurs publient sur arXiv (2610.01559) une méthode baptisée Completion Aware Guidance (CAG), destinée aux World Action Models (WAMs). Ces modèles prédisent à la fois les futurs visuels et les actions du robot. Le travail cible un défaut précis, l'« imagination incomplète » : le modèle produit des prédictions plausibles et cohérentes avec les actions, mais qui omettent la transition nécessaire pour terminer la tâche. CAG est une méthode d'échantillonnage sans entraînement supplémentaire, qui oriente la génération vers l'achèvement de la tâche. Sur plusieurs WAMs représentatifs, le taux de succès passe de 64 % à 70 % sur un sous-ensemble de RoboTwin 2.0, et de 69 % à 75 % en simulation zéro-shot. La part d'imagination incomplète tombe de 79 % à 40 %. Les résultats portent sur des benchmarks simulés. L'article ne mentionne ni test sur robot réel, ni déploiement. L'intérêt tient d'abord au diagnostic. Selon les auteurs, l'échec ne vient pas de l'architecture du modèle du monde. Il apparaît quand ce modèle est adapté au contrôle par segments courts (short-chunk control). Dans ce régime, le modèle favorise de façon répétée des prolongements locaux plausibles plutôt que les transitions qui achèvent la tâche. Pour les équipes qui construisent des politiques VLA ou des WAMs, cela signale qu'une partie des échecs en manipulation vient de la procédure d'échantillonnage et d'adaptation, pas d'un manque de capacité du modèle de base. Corriger cela à l'inférence, sans réentraînement, est peu coûteux. Il faut toutefois relativiser : un gain de 6 points de succès reste modeste, et le chiffre le plus net, 79 % à 40 %, mesure un défaut défini par les auteurs eux-mêmes. Il ne se traduit pas directement en fiabilité industrielle. Ce travail s'inscrit dans l'essor des modèles qui apprennent à prédire l'avenir visuel pour guider l'action. L'approche est une alternative aux VLA purement réactifs, comme Pi-0 ou Helix. Elle est aussi un complément aux efforts de modèles du monde généralistes, tels que GR00T. RoboTwin 2.0 sert de banc d'essai standard pour la manipulation bimanuelle en simulation. Il reste donc à voir si le gain tient sur matériel réel, avec ses latences, son bruit de perception et ses contraintes de temps de cycle. Les auteurs n'annoncent pas de calendrier de validation physique. L'article n'évoque aucun acteur français ou européen.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source