RecherchearXiv cs.RO 15 septembre 2026

Quand un déploiement VLA plus rapide modifie le comportement en boucle fermée : analyse succès-latence de SmolVLA en PyTorch et ONNX

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié le 15 septembre 2026 sur arXiv (2609.14146) une étude comparant les performances du modèle vision-langage-action (VLA) SmolVLA (HuggingFaceVLA/smolvla_libero) selon son mode de déploiement, sur une carte graphique modeste RTX 2060 de 6 Go, avec les suites de benchmarks LIBERO Spatial et Object (MuJoCo 3.3.2, LeRobot 0.6.1, seed 42). En configuration PyTorch avec précision mixte (AMP), le modèle atteint 70,0% de réussite en Spatial et 88,0% en Object, pour une latence p99 de 1181 ms. En convertissant le modèle vers ONNX Runtime avec exécution CUDA, les versions dites FP16 et INT8 réduisent la latence p99 à 601 ms et 532 ms respectivement, mais le taux de réussite Spatial chute à 41,0% et 40,0%, tandis qu'Object reste stable à 89,0%. Un audit des graphes de calcul révèle que ces artefacts ONNX sont en réalité des graphes FP32 identiques bit à bit: la variante "INT8" n'est donc pas une quantification réelle au niveau des opérateurs. Un test complémentaire faisant varier la largeur du contexte textuel (16, 24, 32 tokens) montre une réussite Spatial de 41,0%, 75,0% puis 71,0%, la largeur 24 tokens égalant quasiment la performance PyTorch de référence pour environ deux fois moins de latence, sans différence statistiquement significative (p=0,53). Le code est disponible sur GitHub (rafiqul713/smolvla-libero-onnx).

Ce travail illustre un piège fréquent dans le déploiement des modèles VLA en robotique: accélérer l'inférence via une conversion vers un format supposé plus léger peut faire chuter silencieusement le succès en boucle fermée, même quand les chiffres de latence affichés semblent excellents. L'étude démontre aussi qu'une étiquette de "quantification INT8" peut être trompeuse si elle n'est pas vérifiée au niveau du graphe de calcul, un signal d'alerte pour les intégrateurs qui évaluent des pipelines d'inférence optimisés pour l'edge sans audit technique. Elle plaide pour un reporting conjoint de la latence, de l'inspection des artefacts et du taux de réussite réel des tâches, plutôt que la seule métrique de vitesse mise en avant commercialement.

SmolVLA est le modèle VLA compact de Hugging Face, et LIBERO constitue un benchmark de référence pour évaluer la généralisation spatiale et objet des politiques de manipulation robotique. Le choix d'un GPU d'entrée de gamme, plutôt qu'un A100 de laboratoire, reflète les contraintes matérielles réelles du déploiement embarqué, un enjeu partagé par les concurrents du secteur VLA comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, tous confrontés à l'arbitrage entre vitesse d'inférence et fiabilité comportementale sur du matériel contraint.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 Manipulation robotique

À lire aussi

1arXiv cs.RO

VLAQuantBench : évaluation en boucle fermée de la quantification post-entraînement pour les modèles vision-langage-action

Des chercheurs ont publié VLAQuantBench, un protocole d'évaluation en boucle fermée de la quantification post-entraînement pour les modèles vision-langage-action, construit sur 409 runs et 94 574 épisodes de simulation, avec quatre modèles testés sur le benchmark LIBERO et X-VLA évalué en plus sur trois autres familles de benchmarks de simulation. Sous une quantification W4A4 non calibrée (poids et activations sur 4 bits), étendre le sous-ensemble de couches de la tête d'action de π0.5 de 126 à 167 couches fait bondir le taux de réussite de 7,0% à 70,5%, un gain confirmé par rejeu à observations fixes. Une calibration limitée à deux épisodes supprime les échecs sévères observés sur les sous-ensembles testés, mais la même recette de lissage et d'écrêtage dégrade le score de π0 et ne suffit pas à restaurer OpenVLA-OFT de bout en bout, qui exige de protéger une seule projection de sortie de 28 672 paramètres pour retrouver une performance quasi égale à la référence, le reste du réseau (441 couches linéaires) pouvant alors tourner en poids 3 bits sur LIBERO-Long ou en activations 8 bits sur les quatre suites testées. Ces résultats visent directement les équipes qui doivent faire tenir des VLA de plusieurs milliards de paramètres dans la mémoire limitée d'un contrôleur embarqué, un enjeu croissant pour les robots manipulateurs et humanoïdes commerciaux. Le constat principal invalide l'idée de règles de sensibilité par couche universelles et transférables d'un modèle à l'autre: une même recette de calibration peut sauver un modèle et en casser un autre, ce qui impose aux intégrateurs de valider chaque schéma de quantification modèle par modèle plutôt que de recycler des heuristiques génériques. L'étude montre aussi qu'un effondrement massif sous quantification agressive ne trahit pas forcément une fragilité intrinsèque du VLA, puisqu'un ajustement ciblé du périmètre de couches protégées, ou une simple calibration sur deux épisodes, peut faire passer la réussite de 7% à plus de 70%. La quantification post-entraînement, technique éprouvée sur les grands modèles de langage, est de plus en plus reprise telle quelle pour les VLA sans validation poussée sur des tâches de manipulation en boucle fermée, un vide que ce travail comble en testant côte à côte π0, π0.5, OpenVLA-OFT et X-VLA. Le code, les configurations et les enregistrements d'épisodes sont publiés en accès libre sur GitHub, ce qui permet à d'autres équipes de reproduire ou d'étendre les assignations de précision identifiées. L'article, référencé arXiv:2609.25376, n'annonce ni nouveau modèle ni déploiement commercial, mais livre un outil méthodologique aux équipes de recherche et d'ingénierie qui arbitrent entre empreinte mémoire et fiabilité avant de faire tourner un VLA sur du matériel embarqué.

RecherchePaper

1 source

2arXiv cs.RO

Anatomie d'un effondrement en boucle fermée : étude de cas causale d'une politique VLA compressée

Une étude de cas publiée sur arXiv en septembre 2026 documente, de façon causale, l'échec en boucle fermée d'une politique VLA compressée dérivée du modèle Octo-Base. La version étudiante, distillée sur 8 couches, conserve 86% des paramètres du modèle enseignant et réussit tous les contrôles hors ligne appliqués, avec des ratios enseignant/étudiant de 0,996 et 1,000 sur les métriques de validation propres à la famille de modèles. En exécution simulée, sur une tâche de préhension-dépôt avec un bras WidowX, elle échoue pourtant totalement : 0 succès sur 72 essais, contre 40 sur 72 pour l'enseignant. La dégradation est structurée : la prise d'objet chute progressivement (déplacement à 90% du taux enseignant, saisie à 55%), tandis que le transport vers la cible échoue à 0% dans toutes les variantes testées. L'analyse fine des trajectoires isole la cause : un résidu négatif sur l'axe z, concentré en fin de geste, environ dix fois supérieur à sa valeur après correction. Quatre remèdes standards échouent sous contrôles appariés (poursuite de l'entraînement, ajout de données hors ligne dans le domaine, compensation au niveau des commandes, écrêtage du symptôme) sans restaurer aucun succès. Seul le remplacement de la moitié du flux d'entraînement par des trajectoires enseignantes issues de la distribution de déploiement rétablit une performance proche de l'enseignant (18 sur 36 contre 17 sur 36 en test) et supprime le signal défaillant. Ce résultat pointe une faille méthodologique centrale pour le déploiement des politiques VLA compressées : les métriques de validation hors ligne, y compris celles propres à chaque famille de modèles, ne garantissent pas un comportement correct en conditions réelles, même avec des scores de concordance proches de 100% avec le modèle enseignant. Pour les intégrateurs et équipes robotique qui compressent des modèles comme Octo, Pi-0, GR00T N2 ou Helix afin de réduire coût et latence d'inférence à l'edge, l'étude montre qu'une poignée de dizaines d'essais en boucle fermée suffit à révéler des échecs invisibles aux tests hors ligne, alors que les corrections intuitives, plus d'entraînement, plus de données, ajustement au niveau des commandes, ne fonctionnent pas de façon fiable. Elle confirme empiriquement, sur un cas précis et diagnostiqué causalement, l'écart déjà documenté entre évaluation hors ligne et performance réelle des politiques d'apprentissage par imitation. Les auteurs précisent ne revendiquer que l'existence du phénomène sur ce cas, pas sa généralité : il s'agit d'une étude isolée, pas d'un résultat étendu à toute compression de politique VLA. Le travail s'inscrit dans un mouvement plus large de compression des grands modèles vision-langage-action, à mesure que laboratoires et fabricants de bras manipulateurs ou d'humanoïdes cherchent à faire tourner ces politiques sur du matériel embarqué à faible latence. Aucun acteur commercial, français ou européen, n'est associé à ce travail, qui reste un preprint académique sans produit ni déploiement annoncé. Les auteurs appellent les équipes qui distillent ou quantifient des politiques robotiques à ajouter des tests en boucle fermée aux critères d'acceptation, plutôt que de se fier aux seules métriques hors ligne, aujourd'hui la norme du secteur.

RechercheActu

1 source

3arXiv cs.RO

La mémoire, pas le cache : la provenance des portes borne la fiabilité en boucle fermée du saut de tokens VLA sans entraînement

Une étude arXiv (2608.00391) documente une faille dans le "token skipping", technique sans entraînement qui accélère les modèles vision-langage-action (VLA) en robotique en ignorant le calcul de la majorité des tokens visuels à chaque pas de commande, selon un signal de gâté. Si ce gâté provient de la précédente passe déjà accélérée, les tokens ignorés à une étape deviennent aussi les moins visibles pour le gâté suivant, et l'erreur se propage jusqu'à l'échec de la tâche. Sur LIBERO-Object, à un ratio de saut de 0,9, les deux mécanismes testés, réutilisation et suppression, s'effondrent dans ce cas : taux de réussite à 0,68 et 0,31 contre 1,00 en mode dense, un échec invisible aux détecteurs d'anomalies au niveau de l'action évalués par les auteurs. La conclusion centrale n'est pas la technique de saut choisie, mais l'origine du gâté, propre s'il est calculé par une passe qui n'a rien sauté, ou contaminé sinon. Cette distinction, jusqu'ici négligée, remet en question la fiabilité de nombreuses méthodes d'accélération VLA publiées, dont les métriques de succès peuvent masquer une dégradation progressive sans que les détecteurs au niveau action ne l'identifient. Pour les intégrateurs et ingénieurs déployant des politiques VLA en boucle fermée sur du matériel réel, où chaque milliseconde de latence compte face aux contraintes de commande temps réel, cela signifie qu'une accélération validée en apparence peut tout de même faire dérailler une tâche en conditions réelles, sans signal d'alerte exploitable. La solution proposée, l'"actuation-slack refresh", exploite le temps mort pendant lequel le robot exécute déjà son segment d'action courant pour lancer, hors du chemin critique, une passe dense qui fournit au pas suivant un gâté propre et une base KV fraîche. Appliquée systématiquement plutôt que déclenchée par un détecteur jugé peu fiable, elle ramène les deux mécanismes à 0,98 de réussite. Intégrée à des méthodes de cache et d'élagage de référence sur deux politiques VLA, quatre suites LIBERO et quatre tâches SIMPLER, elle corrige tous les effondrements observés, avec une latence de service réduite de 18 à 22 % par rapport au mode dense, confirmée en simulation comme sur robot physique.

RecherchePaper

1 source

4arXiv cs.RO

Les modèles VLA aériens peuvent-ils coopérer ? Évaluation de la coordination air-sol en boucle fermée avec CARLA-Air

Des chercheurs ont publié sur arXiv (arXiv:2605.31066) une évaluation systématique des modèles vision-langage-action (VLA) aériens dans des scénarios de coopération air-sol. L'étude introduit CARLA-Air, un environnement de simulation mono-processus qui fusionne CARLA et AirSim au sein d'un même runtime Unreal Engine. Cette architecture unifiée permet de partager un état physique commun, un tick de physique synchronisé et un pipeline de capteurs cohérent entre un drone (UAV) et un robot terrestre (UGV), garantissant ainsi une mesure précise de la latence de coordination effective et de l'alignement temporel entre les agents. Deux tâches de diagnostic complémentaires ont été retenues : l'atterrissage sur plateforme mobile et l'escorte avec récupération d'occlusion, deux scénarios qui exigent une action jointe continue en boucle fermée. Les résultats révèlent un écart notable entre compétence individuelle et comportement coopératif stable. Les modèles VLA aériens testés parviennent souvent à suivre ou à pister un partenaire sol, mais échouent à convertir cette aptitude mono-agent en coordination fiable. L'ajout de prompts d'état explicites (state prompting) n'apporte qu'un bénéfice limité, et l'interaction bidirectionnelle naïve ne stabilise pas les performances, elle amplifie même les erreurs pour la majorité des baselines évaluées. Ce constat soulève une question structurelle pour les intégrateurs et décideurs industriels qui envisagent des flottes hétérogènes : les VLA actuels, conçus pour des missions autonomes mono-agent, ne sont pas directement transposables à la coopération multi-robot sans ingénierie supplémentaire sur l'interface de communication et la gestion d'objectifs partagés. L'étude s'inscrit dans un momentum fort autour des VLA embarqués (modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA), majoritairement optimisés pour des robots manipulateurs ou des plateformes terrestres. La robotique aérienne coopérative reste un angle peu couvert. Les auteurs identifient trois prérequis manquants pour le zero-shot air-sol : un ancrage explicite de l'état du partenaire, une coordination d'action à faible latence, et un alignement sur un objectif d'équipe partagé. Le code de CARLA-Air est disponible publiquement sur GitHub, ce qui ouvre la voie à des benchmarks reproductibles dans un domaine encore dépourvu de standards d'évaluation communs.

RechercheActu

1 source