Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
VistaVLA : modèle vision-langage-action fondé sur du 3D gaussian splatting conscient de la géométrie et de la sémantique, pour la manipulation robotique
RecherchearXiv cs.RO 

VistaVLA : modèle vision-langage-action fondé sur du 3D gaussian splatting conscient de la géométrie et de la sémantique, pour la manipulation robotique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

VistaVLA, présenté dans un article arXiv publié le 15 juillet 2026, est un nouveau framework de manipulation robotique combinant vision, langage et action (VLA) qui construit une représentation 3D explicite de la scène à partir de primitives de Gaussiennes 3D. Contrairement aux modèles VLA classiques qui projettent directement instructions textuelles et images 2D vers des actions, VistaVLA fonctionne en deux étapes : il élève des caractéristiques vision-langage multi-vues en primitives gaussiennes 3D, créant des tokens sémantiques ancrés géométriquement, puis les compresse via un mécanisme baptisé Merge-then-Query (MtQ). Ce module réduit de 99% le nombre de tokens nécessaires tout en préservant les informations spatiales et sémantiques utiles à l'action. Les auteurs rapportent des gains de 22,8% du taux de réussite sur sept tâches réelles, et de 30% par rapport à la baseline VLA-Adapter sur des tâches hors distribution (out-of-distribution), en environnement simulé comme réel.

Pour l'industrie robotique, ce travail cible un point faible connu des modèles VLA actuels : leur absence de représentation 3D persistante et invariante au point de vue, qui limite leur capacité à raisonner sur des contraintes géométriques et des layouts spatiaux complexes. La plupart des VLA en production s'appuient sur des flux caméra 2D bruts ou des cartes de profondeur peu structurées ; VistaVLA propose une carte cognitive 3D sémantique inspirée de la cognition humaine, un argument qui, s'il se confirme à plus grande échelle, pourrait influencer la conception des prochaines générations de politiques d'action pour bras manipulateurs et robots mobiles.

Ce travail s'inscrit dans une vague de recherche académique cherchant à combler l'écart entre modèles VLA à succès commercial, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, et leurs limites documentées en generalisation spatiale. Les résultats restent pour l'instant issus d'évaluations contrôlées en laboratoire, sans déploiement industriel annoncé ; la validation sur des tâches de manipulation plus variées et à plus grande échelle reste la prochaine étape naturelle pour ce type d'approche.

Dans nos dossiers

IA physique & VLANVIDIA GR00TPhysical Intelligence — π0Manipulation robotique

À lire aussi

Robotique : la manipulation est une correspondance vision-géométrie, au-delà du langage et de la vidéo
1arXiv cs.RO 

Robotique : la manipulation est une correspondance vision-géométrie, au-delà du langage et de la vidéo

Une équipe de recherche du HCP Lab de l'Université Sun Yat-sen (SYSU), en Chine, a publié la version 2 d'un article arXiv (2604.12908) proposant un nouveau modèle baptisé VGA, pour Vision-Geometry-Action. La thèse centrale : la manipulation robotique est fondamentalement un problème de correspondance entre vision et géométrie (f(v) → G), puisque les actions physiques reposent sur des positions 3D et des relations spatiales précises. Plutôt que de bâtir le contrôle sur des modèles vision-langage (VLA) ou vidéo, comme le font la plupart des systèmes actuels, VGA remplace ce socle par un modèle du monde 3D préentraîné, auquel s'ajoute une méthode nommée Progressive Volumetric Modulation et un entraînement conjoint de la génération d'actions et de la prédiction de propriétés 3D, pour préserver la cohérence géométrique. En simulation, VGA dépasse plusieurs références de l'état de l'art : pi-0.5, OpenVLA-OFT, GeoVLA et Motus. En conditions réelles, il surpasse pi-0.5 sur des points de vue inédits et suit correctement des instructions en langage naturel pour saisir des objets cibles. L'enjeu dépasse la simple compétition de benchmarks : ce travail interroge un présupposé dominant du secteur, à savoir que les grands modèles vision-langage-action, popularisés par des systèmes comme pi-0 ou GR00T N2, constituent la voie la plus prometteuse vers une intelligence physique généralisable. En montrant que des représentations 3D natives, plutôt que des priors sémantiques 2D hérités du texte-image, améliorent la précision géométrique des saisies, l'étude fournit un argument concret pour les intégrateurs et laboratoires qui évaluent quel type de backbone privilégier dans leurs futures piles logicielles de manipulation. Ce résultat s'inscrit dans une compétition architecturale plus large entre approches VLA classiques, modèles vidéo prédictifs et approches 3D-VLA, incluant des systèmes comme GeoVLA et Motus déjà cités comme références de comparaison. Il s'agit à ce stade d'un article de recherche évalué en simulation et sur un nombre limité de déploiements réels en laboratoire, assorti d'une page projet dédiée, et non d'un produit commercial ou d'un déploiement industriel à grande échelle.

RechercheOpinion
1 source
Dual mémoire latente dans les modèles vision-langage-action pour la manipulation robotique
2arXiv cs.RO 

Dual mémoire latente dans les modèles vision-langage-action pour la manipulation robotique

Des chercheurs ont publié le 7 juillet 2026 sur arXiv (arXiv:2607.07608v1) un nouveau framework baptisé LaMem-VLA, conçu pour doter les modèles Vision-Language-Action (VLA) d'une mémoire native directement intégrée à leur espace latent de raisonnement. Aujourd'hui, la plupart des VLA prédisent une action à partir de la seule observation courante sous hypothèse markovienne, ce qui les rend peu efficaces sur les tâches longues et dépendantes du temps. LaMem-VLA repose sur quatre composants coordonnés: un "curator" qui organise l'expérience passée en deux coffres mémoire, court terme et long terme; un "seeker" qui interroge ces coffres via la cognition multimodale pour en extraire les preuves pertinentes au contexte; un "condenser" qui reconstruit ces preuves en tokens de mémoire latente compacts; et un "weaver" qui injecte ces tokens avec l'observation et l'instruction courantes dans une seule séquence d'embedding continue. Les auteurs rapportent une supériorité de leur approche sur les benchmarks SimplerEnv et LIBERO, deux références standard pour évaluer la manipulation robotique pilotée par VLA. L'enjeu dépasse la simple performance sur benchmark. Les VLA actuels, qu'ils s'appuient sur des architectures type Pi-0, GR00T N2 ou Helix, butent tous sur une mémoire de travail limitée à la fenêtre d'observation courante, ce qui les fragilise dès qu'une tâche exige de se souvenir d'une action antérieure, par exemple qu'un tiroir a déjà été ouvert. Les solutions existantes, élargir la fenêtre d'observation ou interroger une banque mémoire externe comme contexte auxiliaire, laissent cette mémoire hors de l'espace latent natif du modèle, limitant son intégration au raisonnement multimodal. En rendant la mémoire nativement latente, LaMem-VLA vise à réduire l'écart entre démonstrations courtes réussies en laboratoire et déploiements réels où les séquences de tâches s'étirent, un critère que surveillent de près les intégrateurs industriels évaluant la fiabilité des VLA au delà du simple "pick and place". Ce travail s'inscrit dans une vague de recherche sur la mémoire des VLA, alors que le secteur de la robotique humanoïde et généraliste, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, Figure avec Helix, cherche à dépasser les tâches courtes démontrées en vidéo pour viser des chaînes d'actions plus longues et industriellement exploitables. Classé "Announce Type: new" sur arXiv et non encore relu par les pairs, le papier ne mentionne aucun déploiement matériel ni partenariat industriel: il s'agit pour l'instant d'une contribution académique validée uniquement en simulation. Les suites attendues, classiques pour ce type de travaux, seraient une validation sur robot physique et une comparaison directe avec les architectures mémoire déjà explorées par les grands laboratoires de robotique généraliste.

RechercheActu
1 source
L'efficacité du fine-tuning LoRA pour les modèles vision-langage-action dans la manipulation robotique industrielle
3arXiv cs.RO 

L'efficacité du fine-tuning LoRA pour les modèles vision-langage-action dans la manipulation robotique industrielle

Une équipe de recherche publie une étude systématique sur l'adaptation à faible rang (LoRA) appliquée à π0, un modèle Vision-Language-Action (VLA) à correspondance de flux, testé sur quatre tâches d'assemblage de précision avec un bras robotique UR5e. Les chercheurs ont balayé des rangs LoRA de 8 à 256, plusieurs stratégies d'allocation des paramètres, et testé le gel sélectif de composants du modèle. Résultat principal : aucune différence statistiquement significative de performance entre le fine-tuning complet (FFT), qui exige des GPU de datacenter, et certaines configurations LoRA. Les performances plafonnent dès un rang de 32, avec une allocation uniforme des paramètres entraînables entre le backbone vision-langage (VLM) et l'expert d'action qui suffit à égaler le FFT. Geler le VLM ou limiter le LoRA au seul encodeur visuel dégrade nettement les résultats. Avec cette configuration optimale (rang 32, encodeur visuel entièrement ajustable), la mémoire VRAM statique de pointe chute de 36,2 à 10,8 Gio, hors mémoire d'activation, sans perte de performance mesurable. Pour l'industrie robotique, ce résultat a une portée pratique directe : il abaisse fortement la barrière matérielle pour spécialiser un modèle VLA préentraîné à un cas d'usage industriel précis, sans avoir besoin d'un cluster GPU dédié à l'entraînement complet. C'est un signal utile pour les intégrateurs et PME qui veulent déployer des politiques de manipulation fine sans les moyens des grands laboratoires. L'étude apporte aussi un contrepoint méthodologique à l'hypothèse selon laquelle seul un réentraînement complet permettrait de combler le "gap d'incarnation" entre un modèle généraliste et un robot physique donné : ici, un ajustement ciblé mais bien réparti sur les couches sémantiques et visuelles suffit. π0 est le modèle VLA développé par Physical Intelligence, l'un des laboratoires de référence sur les politiques de manipulation par apprentissage à grande échelle, aux côtés d'acteurs comme NVIDIA (GR00T N2) ou Figure AI. Cette publication, un preprint arXiv, s'inscrit dans une tendance plus large de recherche sur l'efficacité des VLA plutôt que sur leur seule capacité brute. Aucun acteur français ou européen n'apparaît dans ce travail, mais ses conclusions concernent directement les intégrateurs européens qui évaluent l'adoption de VLA préentraînés sur du matériel limité.

UEAucun acteur français ou européen n'est impliqué dans cette étude, mais ses conclusions offrent une piste concrète pour les intégrateurs et PME européens qui veulent spécialiser des modèles VLA sur du matériel limité sans cluster GPU dédié.

RechercheActu
1 source
EchoVLA : mémoire déclarative synergique pour un modèle vision-langage-action robotique en manipulation mobile
4arXiv cs.RO 

EchoVLA : mémoire déclarative synergique pour un modèle vision-langage-action robotique en manipulation mobile

EchoVLA, un modèle vision-langage-action (VLA) pour la manipulation mobile, est décrit dans la version 3 d'un preprint arXiv (2511.18112). Il ajoute aux VLA classiques, limites a des taches courtes sur table fixe, une mémoire déclarative en deux volets inspirée du cerveau humain : une mémoire de scene qui conserve des cartes spatio-sémantiques de l'environnement, et une mémoire épisodique qui archive les expériences passées sous forme de traits multimodaux. Les deux mémoires sont mises a jour et interrogées séparément puis fusionnées par attention fine et grossière pour piloter des politiques de diffusion coordonnant base mobile et bras. Les auteurs introduisent aussi MoMani, un benchmark automatise générant des trajectoires expertes par planification via un modèle de langage multimodal, complète par des démonstrations sur robot réel. En simulation, EchoVLA atteint 0,52 de réussite sur les taches de manipulation/navigation et 0,31 sur la manipulation mobile complète, devançant la référence Pi-0.5 de +0,20 et +0,11 point. Ce résultat cible un angle mort connu du secteur : la plupart des VLA actuels opèrent a horizon court sur un bras fixe, sans mémoire persistante d'un contexte spatial évolutif, ce qui les rend mal adaptes aux robots devant naviguer puis manipuler dans un même environnement. Pour les intégrateurs combinant AMR et bras robotises, et pour les décideurs évaluant les promesses des VLA généralistes, l'écart avec Pi-0.5 montre un progrès réel, mais des taux de réussite de 0,31 a 0,52, obtenus surtout en simulation, restent loin d'une fiabilité industrielle et confirment que la manipulation mobile a grande échelle demeure un chantier ouvert. EchoVLA s'inscrit dans la vague de recherche visant a doter les agents incarnes d'une mémoire proche de celle d'un humain, aux cotes d'autres familles de VLA comme Pi-0, prises ici comme référence de comparaison plutôt que comme concurrent commercial. Aucun déploiement industriel ni partenariat n'est mentionne : la publication reste, a ce stade, un travail académique valide en simulation et par un nombre limite de démonstrations sur robot réel. Les auteurs ne communiquent pas de calendrier de transfert vers un pilote ou un produit ; la suite logique serait une validation plus large en conditions réelles, au-delà des tests déjà réalisés.

RechercheOpinion
1 source