Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Dépasser le raccourci vision-action : entraînement par interface latente pour des modèles fondation robotiques généralisables
IA physiquearXiv cs.RO 

Dépasser le raccourci vision-action : entraînement par interface latente pour des modèles fondation robotiques généralisables

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un preprint arXiv publié en septembre 2026 (arXiv:2609.12641) présente Latent Interface Training (LIT), méthode en deux étapes pour corriger un biais fréquent des modèles robotiques vision-langage-action. La première étape entraîne l'expert d'action à produire des séquences de gestes à partir du langage, de l'état du robot et de la pose terminale SE(3) de l'effecteur, sans image, pour ancrer l'objectif dans l'espace plutôt que dans le pixel. La seconde étape ajoute une interface latente, unique canal de conditionnement visuel du modèle, entraînée à reconstruire cette même pose terminale. Appliqué à quatre architectures, Pi0.5, MolmoAct2, FAST-WAM et ImageWAM, LIT améliore le taux de réussite de 3,87 à 10,70 points sur le benchmark simulé LIBERO-Plus, et de 13,30 à 16,70 points en conditions réelles sur trois tâches testées avec caméra, éclairage et distracteurs modifiés.

Ce biais, dit raccourci vision-action, survient quand un modèle entraîné par imitation s'appuie sur des indices visuels fortuits corrélés aux actions démontrées plutôt que sur la logique spatiale réelle de la tâche, ce qui explique en partie l'écart entre les démonstrations en laboratoire de modèles comme Pi-0, GR00T N2 ou Helix et leurs performances une fois la caméra, l'éclairage ou le décor changés. Agnostique au framework, LIT s'applique sans refonte à quatre architectures distinctes, offrant une piste de correction générique pour les intégrateurs qui déploient ces modèles hors des conditions de collecte des données d'entraînement. Le fait que les gains réels dépassent les gains simulés confirme aussi que des benchmarks comme LIBERO tendent à sous-estimer la fragilité de ces politiques face aux changements de scène.

Le travail s'inscrit dans la vague des modèles de fondation robotiques préentraînés à grande échelle, aux côtés de la lignée Pi-0/Pi0.5 chez Physical Intelligence, de GR00T N2 chez NVIDIA ou de Helix chez Figure AI, tous confrontés au même problème de généralisation hors distribution une fois sortis du laboratoire. LIT se présente comme une correction méthodologique applicable par-dessus des architectures existantes, dont MolmoAct2, plutôt que comme un nouveau modèle autonome. Il s'agit pour l'instant d'un preprint non revu par les pairs, validé sur un seul benchmark simulé et trois tâches réelles, sans calendrier de déploiement industriel annoncé à ce stade.

Dans nos dossiers

FigureIA physique & VLANVIDIA GR00TPhysical Intelligence — π0

À lire aussi

IA généralisable par ancrage de représentation et alignement langage-action pour les modèles VLA
1arXiv cs.RO 

IA généralisable par ancrage de représentation et alignement langage-action pour les modèles VLA

Le laboratoire à l'origine de ce travail publie Anchor-Align, une méthode de finetuning pour les politiques vision-langage-action (VLA), décrite dans un article arXiv (2607.13429, juillet 2026, projet en ligne sur anchoralignvla.github.io). Le problème ciblé est concret : quand un modèle vision-langage préentraîné est affiné sur des démonstrations robotiques par clonage comportemental (behavior cloning), il perd progressivement les représentations qui lui permettaient de généraliser visuellement et sémantiquement. Le co-entraînement sur des données web texte-image, remède habituel, ne corrige pas le vrai défaut : les pertes de langage et d'action portent sur des observations différentes, ce qui laisse un désalignement langage-action invisible aux benchmarks de manipulation classiques. Anchor-Align ajoute deux objectifs d'entraînement, l'un qui distille les représentations couche par couche d'une copie figée du VLM d'origine, l'autre qui convertit chaque action cible en étiquette discrète de direction de mouvement pour entraîner conjointement langage et action sur la même observation robotique. Sur un bras robotique physique xArm7, avec deux architectures VLA largement utilisées, les taux de réussite passent de 28% à 54% pour l'une et de 37% à 60% pour l'autre. L'enjeu dépasse la seule courbe de performance : c'est une remise en cause d'un présupposé du secteur des VLA, celui du "plus de données de co-entraînement suffit" pour éviter l'oubli catastrophique. En montrant qu'il existe un désalignement structurel que les benchmarks de manipulation standards ne détectent pas, les auteurs pointent un angle mort méthodologique qui concerne tous les laboratoires construisant des politiques de type RT-2, OpenVLA, Pi-0 ou GR00T. Pour les équipes qui finetunent des VLA pour des tâches industrielles, le message est que préserver les représentations préentraînées et apprendre correctement l'action ne sont pas des objectifs contradictoires, contrairement à l'hypothèse implicite du compromis généralisation-performance. Il faut toutefois noter que la majorité des gains rapportés (LIBERO-PRO, LIBERO-Plus, CALVIN) proviennent de simulation, avec seulement deux architectures testées en conditions réelles sur un unique bras robotique, ce qui limite la portée immédiate pour un déploiement industriel à grande échelle. Le contexte est celui d'une course intense autour des modèles VLA depuis l'émergence de RT-2 puis des systèmes open source comme OpenVLA, où le clonage comportemental sur démonstrations téléopérées est devenu la recette standard malgré ses limites connues de généralisation. Anchor-Align se positionne comme une brique méthodologique plutôt qu'un produit ou un robot, sans annonce de partenariat industriel ni de calendrier de déploiement pour l'instant. La suite logique serait une validation sur davantage d'architectures et de plateformes physiques, ainsi qu'une comparaison directe avec les techniques de co-entraînement existantes utilisées par les acteurs commerciaux du secteur, pour voir si le gain se maintient à l'échelle des flottes industrielles réelles.

IA physiqueActu
1 source
GALA : modélisation d'actions latentes tenant compte de la géométrie pour le pré-entraînement de modèles VLA multi-robots
2arXiv cs.RO 

GALA : modélisation d'actions latentes tenant compte de la géométrie pour le pré-entraînement de modèles VLA multi-robots

Une équipe de recherche présente GALA (Geometry-Aware Latent Action modeling), un nouveau cadre de pré-entraînement pour les modèles vision-langage-action (VLA), détaillé dans un article publié sur arXiv sous la référence 2609.21948. Le travail s'attaque à une limite connue des modèles à actions latentes (LAM), qui apprennent des représentations d'actions indépendantes de la forme du robot à partir de vidéos hétérogènes, mais échouent à capter les mouvements fins des doigts sur des mains humaines ou robotiques dextres. GALA introduit une représentation appelée UEMR (Unified End-effector Motion Representation), qui combine des actions latentes visuelles classiques, tirées des pixels, avec des actions latentes géométriques calculées à partir de nuages de points 3D de l'effecteur terminal. Cette double supervision permet d'exploiter aussi bien des vidéos robotiques annotées que des vidéos humaines filmées à la première personne, dépourvues d'étiquettes d'action. Les auteurs rapportent un taux de réussite de 68,3% sur le benchmark simulé RoboCasa-GR1 et de 75,5% en conditions réelles, sur des tâches de sondage de mouvement fin et de récupération cross-embodiment. Code, annexe technique et démonstrations vidéo sont publiés sur un site dédié. L'enjeu dépasse la performance chiffrée: la pénurie de données robotiques annotées reste le principal frein à l'entraînement de VLA généralistes, et la capacité de GALA à exploiter des vidéos humaines non annotées comme source de supervision élargit le réservoir de données exploitables. Le papier pointe aussi une faiblesse des LAM purement basés image, l'approche utilisée jusqu'ici par des familles de modèles comme Pi-0 ou GR00T N2: elles diluent l'information sur l'articulation fine des mains dans une représentation de scène trop globale, ce qui pénalise la manipulation dextre précise. En montrant qu'une composante géométrique 3D améliore le transfert entre embodiments sans nuire à la généralisation, GALA apporte un argument empirique pour un socle VLA unique couvrant bras industriels, mains dextres et démonstrations humaines filmées, plutôt qu'un modèle par plateforme. Ce travail prolonge la lignée des modèles à actions latentes apparus pour contourner l'hétérogénéité des espaces d'action robotiques, jusqu'ici construits sur la seule base d'images 2D. En y ajoutant la géométrie 3D de l'effecteur terminal, les auteurs se positionnent face aux grandes familles de VLA cross-embodiment en compétition, telles que Pi-0, GR00T N2 ou Helix, sans toutefois publier de comparatif chiffré direct avec ces systèmes. À ce stade, GALA reste une contribution de recherche accompagnée de code ouvert et de démonstrations, non un produit ni un pilote industriel: aucun calendrier de déploiement ni partenariat n'est communiqué, et la validation "réelle" citée correspond à des essais en laboratoire plutôt qu'à un déploiement en usine ou en entrepôt.

IA physiqueActu
1 source
StellaVLA : démonstration structurée en contexte pour des modèles vision-langage-action généralisables
3arXiv cs.RO 

StellaVLA : démonstration structurée en contexte pour des modèles vision-langage-action généralisables

StellaVLA est un framework pour les modèles Vision-Language-Action (VLA) qui s'adapte a des situations inédites a partir d'une seule démonstration récupérée au moment de l'inférence, sans finetuning. Une pipeline automatisée convertit chaque trajectoire brute en démonstration structurée (plan de tache, sous-objectifs, mouvement 3D verbalise) sans annotation humaine, puis un entrainement dual conjoint action-langage internalise ce raisonnement, l'inférence n'utilisant que l'expert d'action pour un contrôle temps réel sans latence ajoutée. Sur le classement VLA-Arena du 1er aout 2026, StellaVLA arrive premier avec un score de 0,63, contre 0,44 pour pi-0.5 et 0,22 pour LingBot-VLA. Il atteint aussi 98,8% de réussite sur LIBERO et 85,1% sur LIBERO-Plus, et des tests sur robot réel confirment l'usage de démonstrations humain/robot et humain-vers-robot captées en réalité étendue (XR). Le résultat cible un point faible connu des VLA : leurs performances s'effondrent des que la scene, le point de vue ou l'objet différent de l'entrainement, ce qui obligeait jusque-la a recollecter des données et refinetuner pour chaque cas. En rendant la démonstration transférable entre robot réel, main humaine et capture XR, StellaVLA laisse entrevoir une adaptation par simple exemple contextuel plutôt qu'un cycle complet de collecte-entrainement, ce qui intéressé les intégrateurs cherchant a réduire le cout de reconfiguration en usine ou en entrepôt. L'écart revendique face a pi-0.5 (Physical Intelligence) et LingBot-VLA sur un classement tiers reste toutefois, a ce stade, un résultat de preprint sur benchmarks simules et un échantillon limite de robot réel, non un déploiement industriel vérifie indépendamment. Le travail s'inscrit dans la vague des VLA généralistes lancée ces deux dernières années par les modèles pi de Physical Intelligence et par des systèmes comme GR00T N2 de NVIDIA ou Helix de Figure AI, tous confrontes au même écart entre démonstration et usage réel. En choisissant de se comparer directement a pi-0.5 et LingBot-VLA sur VLA-Arena, les auteurs positionnent StellaVLA comme concurrent de ces approches récentes plutôt que comme variante académique isolée. Publie en aout 2026 sur arXiv, l'article ne mentionne ni partenariat industriel ni calendrier de déploiement : il s'agit pour l'instant d'une contribution de recherche destinée a être reproduite avant toute intégration commerciale.

IA physiqueActu
1 source
Robot Control : un pré-entraînement vidéo-action natif pour un contrôle robotique généralisable
4arXiv cs.RO 

Robot Control : un pré-entraînement vidéo-action natif pour un contrôle robotique généralisable

Une équipe de recherche présente, dans un preprint publié sur arXiv (arXiv:2607.08639v1), LingBot-VA 2.0, un modèle fondation vidéo-action conçu spécifiquement pour le contrôle robotique, en succession directe de LingBot-VA. Quatre changements architecturaux structurent cette évolution. D'abord, l'équipe abandonne les VAE classiques axés sur la reconstruction d'image au profit d'un tokenizer visuel-action sémantique, qui aligne les représentations visuelles à la fois sur le sens et sur l'action, ce qui améliore le suivi d'instructions et la précision des gestes lors de l'apprentissage de politiques. Ensuite, le modèle adopte un pré-entraînement causal from scratch plutôt qu'une architecture bidirectionnelle adaptée après coup, pour éviter l'oubli catastrophique observé lors de ce type d'adaptation. Troisième point, un backbone MoE (mixture of experts) épars permet d'augmenter la capacité du modèle sans alourdir l'inférence, condition nécessaire pour du contrôle à haute fréquence. Enfin, un schéma d'inférence asynchrone prédit les futurs états latents en parallèle de l'exécution des actions, en recalant chaque rollout sur la dernière observation via une dynamique prédictive apprise, pour du contrôle en boucle fermée temps réel. Le papier ne précise ni le nombre de degrés de liberté, ni le payload, ni les sites ou volumes de déploiement, ni de calendrier commercial. Cette publication s'inscrit dans la course aux modèles VLA (vision-language-action) pour la robotique généraliste, où l'enjeu central est de dépasser le simple réemploi de générateurs vidéo pensés pour le contenu numérique, souvent inadaptés à la physique du monde réel faute d'ancrage dans l'action. En traitant frontalement l'oubli catastrophique et le coût d'inférence, LingBot-VA 2.0 répond à deux limites fréquemment citées des modèles fondation robotiques actuels: la difficulté à tenir un contrôle réactif et la fragilité des architectures reconverties depuis la génération vidéo pure. LingBot-VA 2.0 vient after LingBot-VA, dans un paysage où rivalisent des modèles comme GR00T N2 (Nvidia), Helix (Figure) ou Pi-0 (Physical Intelligence). Le papier revendique une validation par déploiement réel et une généralisation few-shot sur des tâches de manipulation complexes, mais sans benchmark chiffré ni comparaison directe publiée à ce stade, la portée exacte de ces résultats reste à confirmer par des évaluations indépendantes.

IA physiqueActu
1 source