Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Géométrie de l'effecteur final conditionnée par le résultat dans les modèles vision-langage-action
RecherchearXiv cs.RO 

Géométrie de l'effecteur final conditionnée par le résultat dans les modèles vision-langage-action

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une étude analyse 15 000 déploiements en boucle fermée de quatre politiques vision-langage-action (VLA) sur le benchmark de manipulation LIBERO, en comparant la géométrie des trajectoires du bras terminal plutôt que les seuls taux de réussite. Sur 3 600 paires de politiques appariées par configuration, la distance médiane normalisée de dynamic time warping est de 0,0120 mètre quand les deux politiques réussissent la tâche, contre 0,0380 mètre quand une seule y parvient. Cette hiérarchie se confirme pour chaque tâche, chaque paire de politiques et neuf représentations testées, même si son ampleur varie fortement selon la représentation choisie. Les paires en double échec, plus séparées encore, reposent sur un échantillon jugé trop restreint pour être concluant.

Le résultat répond empiriquement à une question clé pour la manipulation robotique: savoir si des politiques VLA différentes qui réussissent la même tâche empruntent des trajectoires réellement comparables ou seulement des résultats similaires par des chemins distincts. La proximité géométrique observée en cas de succès partagé va dans le sens d'un lien entre contrainte de tâche et trajectoire, sans trancher entre chevauchement des données d'entraînement et contraintes physiques propres à la tâche. Mais l'étude prévient qu'une faible distance entre politiques ne vaut pas interchangeabilité, des différences résiduelles mesurables subsistant même face à une base de référence appariée, ce qui doit inciter intégrateurs et décideurs à ne pas juger l'équivalence de deux modèles sur le seul taux de succès.

Le travail s'inscrit dans un contexte où l'évaluation des politiques VLA repose presque exclusivement sur le taux de réussite, sans examen de la manière dont chacune atteint ce résultat, alors que le secteur multiplie les architectures et interfaces d'action concurrentes pour la manipulation robotique. En s'appuyant sur LIBERO, benchmark de référence en simulation, et sur quatre politiques non nommées individuellement, les auteurs proposent une méthode reproductible fondée sur le dynamic time warping pour comparer les trajectoires plutôt que les seuls scores binaires. Ils relèvent enfin que sous stress visuel composite, classement des politiques et composition des paires évoluent ensemble, un point qui appelle des travaux futurs sur la robustesse comparative des VLA en conditions visuelles dégradées, enjeu direct pour leur fiabilité en déploiement industriel.

Dans nos dossiers

IA physique & VLAManipulation robotique

À lire aussi

1arXiv cs.RO 

Une phénoménologie de la géométrie neuronale dans les modèles vision-langage-action (VLA)

Une étude publiée sur arXiv (v1, octobre 2026) s'intéresse à la forme que prend le monde à l'intérieur des politiques vision-langage-action (VLA), ces modèles qui convertissent images et instructions en commandes moteur. Les travaux antérieurs avaient montré que des variables de tâche, comme la position de l'objet ou l'orientation du poignet, sont lisibles linéairement dans les activations internes. Les auteurs soulignent que cette lisibilité prouve seulement qu'une variable est présente, pas la géométrie de ses valeurs, qui peut être courbe et multidimensionnelle. Combinant balayages contrôlés, trajectoires naturelles, sondes linéaires et interventions sur les activations, ils établissent une taxonomie de sept concepts liés à la tâche. La géométrie observée est surtout multidimensionnelle et façonnée par les contraintes de l'action. Les limites physiques des articulations font de l'orientation du poignet un arc ouvert plutôt qu'un cercle. La distance à la cible, pourtant un simple scalaire, occupe deux sous-espaces orthogonaux : une « règle grossière » pour l'approche et une « règle fine » pour la saisie. Ces structures réapparaissent dans deux autres modèles VLA entraînés sur des données de robots réels. Le résumé ne nomme ni les modèles ni les laboratoires. L'intérêt est d'abord méthodologique, mais concret. Savoir qu'une information existe dans un réseau ne suffit pas à le diagnostiquer ou à le piloter. Connaître sa forme ouvre la voie à des interventions plus ciblées, et les auteurs montrent une manipulation des activations le long de la géométrie propre à un concept. Le fait que les mêmes formes apparaissent hors simulation, sur plusieurs modèles, suggère qu'il ne s'agit pas d'artefacts. Pour les intégrateurs et les équipes qui valident des VLA avant déploiement, cela alimente la piste de l'interprétabilité comme outil de débogage et de contrôle, au-delà des seuls taux de réussite. Il s'agit toutefois de recherche fondamentale : aucune amélioration de performance en production n'est chiffrée. Le travail s'inscrit dans le débat sur la lisibilité linéaire des représentations, déjà bien documentée pour les modèles de langage, et qu'il cherche à prolonger vers l'action physique. Les politiques VLA commerciales ou open source, de type Pi-0, GR00T ou Helix, sont déployées surtout comme des boîtes noires évaluées sur des benchmarks. Les auteurs parlent d'une « phénoménologie initiale », ce qui indique un défrichage plutôt qu'une méthode mûre. La suite logique serait de tester ces géométries sur davantage d'architectures et de tâches, puis d'en dériver des outils de steering ou de sécurité exploitables en conditions industrielles.

RecherchePaper
1 source
Modèle vision-langage-action débiaisé causalement pour modèles du monde conditionnés par l'action incarnée
2arXiv cs.RO 

Modèle vision-langage-action débiaisé causalement pour modèles du monde conditionnés par l'action incarnée

Des chercheurs publient sur arXiv (arXiv:2607.09185v1) un nouveau framework baptisé CD-LAM, destiné à améliorer les modèles du monde conditionnés par l'action (ACWM), ces systèmes qui simulent les observations futures d'un robot en fonction des actions qu'il pourrait exécuter. Ces modèles reposent sur des données massives étiquetées avec les actions correspondantes, coûteuses à collecter en conditions réelles. Pour contourner ce goulot d'étranglement, les modèles d'action latente (LAM) infèrent des actions directement depuis des vidéos non étiquetées, mais souffrent d'un biais connu : entraînés uniquement sur des objectifs de reconstruction, ils mélangent la dynamique liée à l'action avec des éléments visuels non pertinents comme l'arrière-plan ou des objets non manipulés. CD-LAM introduit trois objectifs de fine-tuning complémentaires, une reconstruction centrée sur le corps du robot, un apprentissage contrastif centré sur l'action, et une calibration de l'espace latent, pour produire des représentations plus fidèles et non dégénérées. Testé sur des backbones ACWM de 2 et 14 milliards de paramètres, CD-LAM améliore la contrôlabilité des actions latentes, le suivi des commandes en aval, la fidélité visuelle, et ne nécessite que 6 000 étapes de fine-tuning, soit plus de 12 fois moins de mises à jour d'adaptation que la méthode de référence. L'enjeu dépasse la seule performance technique : réduire d'un facteur 12 le coût d'adaptation d'un modèle du monde à un nouveau robot ou une nouvelle tâche s'attaque directement au principal frein à l'échelle des politiques robotiques actuelles, la rareté des données actions-étiquetées réelles. Ce type de travail nourrit la course aux modèles VLA (vision-language-action) comme Pi-0, GR00T N2 ou Helix, où la capacité à généraliser à partir de peu de démonstrations conditionne la viabilité commerciale des humanoïdes. Il faut toutefois distinguer clairement ce résultat, une contribution de recherche à l'échelle du benchmark, d'un déploiement en production. CD-LAM s'inscrit dans la lignée des travaux récents sur les modèles d'action latente, une direction de recherche née du constat que l'étiquetage manuel des actions robotiques ne passera jamais à l'échelle des humanoïdes commerciaux. L'abstract ne cite ni laboratoire ni entreprise précise, signe d'une publication académique classique plutôt que d'une annonce produit. Les auteurs évoquent des pistes de suite via l'adaptation à davantage de plateformes robotiques et de backbones plus larges, sans calendrier de déploiement communiqué.

RecherchePaper
1 source
HABILIS Brain 0 : supervision par changement de géométrie pour modèles vision-langage-action et récupération de flux résiduel
3arXiv cs.RO 

HABILIS Brain 0 : supervision par changement de géométrie pour modèles vision-langage-action et récupération de flux résiduel

Une équipe de recherche a publié le 23 septembre 2026 sur arXiv (référence 2609.25558) une architecture nommée HABILIS Brain 0, construite autour d'un modèle appelé GC-VLA (Geometry-Change Vision-Language-Action). Plutôt que de s'appuyer sur la géométrie de la scène à l'instant présent, comme le font la plupart des politiques vision-langage-action, ce modèle apprend à prédire des tokens de changement géométrique multi-vues sur un horizon de 0,5 seconde, calculés hors ligne à partir de paires d'images avant/après. L'entraînement se fait en quatre étapes: un modèle vision-langage dédié au changement géométrique (GC-VLM), un module d'action continu (ActionExpert) aligné sur les commandes robotiques sans rétropropager de gradients vers le VLM, une phase où cette rétropropagation est activée pour mettre à jour les deux ensembles conjointement, puis, une fois GC-VLA gelé, l'ajout d'un correctif résiduel nommé Geometry-Conditioned Residual Flow (GCRF), piloté par un routeur d'intervention binaire et une politique de vélocité bornée apprise en boucle fermée. Sur le benchmark de simulation LIBERO, GC-VLA seul atteint 95,20% de réussite, et la version complète avec GCRF grimpe à 99,55%. Ces chiffres proviennent uniquement d'un environnement simulé académique, pas d'un déploiement industriel, une nuance qui compte dans un secteur où l'écart entre performances démontrées et robustesse en conditions réelles reste une source récurrente de scepticisme. L'intérêt de GC-VLA tient surtout à sa promesse d'un préentraînement indépendant de l'embodiment, exploitable sur des vidéos robotiques et égocentriques génériques avant l'alignement spécifique à un bras ou un humanoïde donné, une piste qui parle directement aux intégrateurs cherchant à mutualiser des modèles de perception entre plateformes matérielles différentes plutôt que de réentraîner un modèle par robot. Le score de 99,55% sur LIBERO, bien qu'élevé, reste un résultat de benchmark standard en simulation et ne présume pas d'une performance équivalente hors laboratoire. Ce travail s'inscrit dans la lignée des politiques vision-langage-action récentes telles que Pi-0, GR00T N2 ou Helix, qui combinent perception, langage et contrôle moteur dans un même réseau, mais s'en distingue par une supervision explicite du changement géométrique plutôt que par une géométrie statique de la scène. La construction en couches successives, VLM figé puis dégelé puis correction résiduelle apprise en boucle fermée, dessine une feuille de route où chaque étape peut être publiée et évaluée séparément avant un éventuel transfert vers du matériel physique, une étape que cette publication n'aborde pas encore.

RechercheOpinion
1 source
4arXiv cs.RO 

FastVLA : compression de jetons visuels adaptative, conditionnée par la tâche et par le temps, pour des modèles vision-langage-action (VLA) efficaces

Des chercheurs proposent FastVLA, un cadre de compression des tokens visuels pour les modèles Vision-Langage-Action (VLA), publié sur arXiv (2610.22146) avec son code sur GitHub. Il s'applique sans entraînement supplémentaire et se branche sur des modèles existants. À chaque pas de temps, FastVLA évalue l'importance de chaque token visuel grâce à l'attention entre l'instruction de tâche et l'image. Il fixe ensuite le taux de compression selon l'uniformité de la distribution de ces scores, mesurée par un indice inverse de Simpson calibré en ligne sur une fenêtre glissante. Les auteurs l'ont testé sur OpenVLA, OpenVLA-OFT et CogACT, dans les benchmarks de simulation LIBERO et SIMPLER, puis sur un robot physique Franka Research 3. En simulation, les FLOPs du backbone LLM baissent de 35 à 59 % et la latence d'action de 9 à 32 % (accélération de 1,09x à 1,46x), avec un taux de succès maintenu. Sur le robot réel, la latence de bout en bout diminue de 20 % (1,25x) pour un succès jugé comparable. L'intérêt tient au goulot d'étranglement que vise ce travail. Dans un VLA en boucle fermée, des images haute résolution, souvent multi-vues, sont converties en centaines de tokens à chaque pas. Ces tokens dominent le calcul du transformer et la latence, ce qui limite la fréquence de contrôle et le déploiement sur du matériel embarqué. Les méthodes génériques de compression par attention reposent sur une saillance visuelle indépendante de la tâche et sur un budget fixe. Les auteurs soutiennent que ces deux choix gaspillent du calcul ou éliminent des tokens critiques pour le contrôle. FastVLA répond en adaptant à la fois le critère (la tâche) et le budget (le moment). Un gain de 1,25x sur robot réel reste modeste, mais il s'obtient sans réentraînement, ce qui compte pour les intégrateurs qui ne veulent pas reprendre le fine-tuning. Les chiffres viennent des auteurs. Le test réel se limite à un seul bras, et l'article ne détaille pas ici le nombre de tâches ni d'essais. Les accélérations en simulation sont aussi très variables d'un modèle à l'autre. Ce travail s'inscrit dans une série de méthodes « plug-and-play » de compression, d'élagage et de réutilisation de tokens pour VLA, qui servent de références de comparaison. Les auteurs revendiquent un compromis efficacité-performance équivalent ou meilleur. OpenVLA, OpenVLA-OFT et CogACT sont des bases académiques courantes, bien plus légères que les modèles propriétaires de l'industrie. La transposition aux grands modèles des acteurs commerciaux, comme Pi-0, Helix ou GR00T, reste à démontrer. Il s'agit d'une publication de recherche et non d'un produit. La suite logique est la validation sur davantage de plateformes, de tâches longues et de contraintes embarquées. Le code étant publié, la reproduction indépendante devrait aller vite.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source