RecherchearXiv cs.RO 15 octobre 2026

Accélérer l'inférence des VLA grâce à une exécution guidée par les perturbations

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent PICES (Perturbation-Informed Chunk and Execution Horizon Selection), une méthode sans entraînement qui accélère l'inférence des modèles vision-langage-action (VLA) à découpage d'actions. Ces modèles prédisent des séquences d'actions futures, appelées chunks. Avec l'exécution à horizon fixe, le robot n'exécute qu'un préfixe de longueur constante avant de rappeler la politique, et le reste du chunk est jeté. PICES choisit, au sein d'un même appel, le chunk à exécuter et le nombre d'actions à jouer avant le prochain appel. L'expert d'actions génère un lot de chunks à partir de plusieurs bruits initiaux et de leurs versions localement perturbées, avec les mêmes caractéristiques de conditionnement. L'écart entre chaque action nominale et son homologue perturbée sert à fixer un horizon d'exécution propre à chaque candidat, puis à retenir un chunk nominal. Les tests couvrent des benchmarks en simulation et des tâches de manipulation réelles. Ils annoncent jusqu'à 2,3 fois moins de temps d'inférence (mesuré en temps réel) sur Jetson Orin et Jetson Thor, par rapport aux références à horizon fixe, avec un taux de réussite amélioré. Le résumé ne donne ni les modèles de base, ni les tâches, ni les gains de réussite chiffrés.

L'inférence d'un VLA est coûteuse sur le matériel embarqué, et c'est un frein concret au déploiement. Un horizon court permet des corrections précises mais multiplie les appels, tandis qu'un horizon long amortit le coût au prix de la réactivité. PICES vise à adapter cet arbitrage à chaque situation. L'intérêt pour les intégrateurs tient à trois points. La méthode ne demande aucun réentraînement, donc elle peut s'appliquer à des politiques déjà en place. Elle cible les plateformes Jetson Orin et Thor, très répandues dans la robotique embarquée. Et elle utilise un seul passage batché, ce qui limite le surcoût. Il faut tout de même nuancer. Le « jusqu'à 2,3x » est un maximum, probablement obtenu dans le cas le plus favorable. Le gain moyen, la variance entre tâches et la robustesse hors benchmark restent à vérifier dans l'article complet. Il s'agit d'une preuve de concept académique, pas d'un produit livré ni d'un déploiement industriel.

Ce travail s'inscrit dans la course à l'efficacité des VLA à flow matching ou diffusion, comme Pi-0 ou GR00T, dont la fréquence de décision reste limitée sur des puces embarquées. Les approches rivales passent par la distillation, la quantification, la mise en cache ou l'exécution asynchrone, avec ou sans « temporal ensembling ». PICES a l'avantage de s'y combiner sans modifier les poids. La suite logique serait une validation sur plus de modèles, sur des tâches à contacts riches et sur des cycles de production réels, avec des mesures de latence de bout en bout et pas seulement du temps d'inférence de la politique.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T

À lire aussi

1arXiv cs.RO

Adaptation des modèles vision-langage-action (VLA) à des perturbations visuelles inconnues pendant l'exécution

Des chercheurs proposent SALT (Self-supervised Adaptation from Leftover Trajectories), une méthode d'adaptation au moment du test pour les modèles vision-langage-action (VLA), publiée sur arXiv (2610.07946). Elle cible un problème précis : une perturbation visuelle (corruption d'image, obstruction physique de la caméra) survient en cours d'exécution, sans que la politique connaisse son type ni son moment d'apparition. SALT exploite la « trajectoire résiduelle », c'est-à-dire la partie non exécutée du chunk d'actions précédent. Les chunks consécutifs se recouvrant dans le temps, ce résidu fournit une cible alignée sur le même intervalle de contrôle que la prédiction courante. Aucune annotation de perturbation, aucune action d'expert et aucune démonstration du domaine cible ne sont requises. Une porte d'adaptation légère, calibrée uniquement sur des trajectoires nominales, déclenche les mises à jour. Sur LIBERO-10, le taux de succès moyen sur cinq corruptions visuelles persistantes passe de 43,9 % à 53,2 % avec SmolVLA, et de 58,7 % à 66,0 % avec GR00T N1.7, avec une performance nominale largement préservée. Sur robot réel, la progression de tâche moyenne, perturbations numériques et physiques confondues, passe de 0,49 à 0,61. L'intérêt tient à la nature du problème traité. La plupart des travaux de robustesse des VLA supposent un entraînement avec augmentation de données ou une connaissance du décalage de domaine. Or en production, caméras salies, éclairage changeant ou occultations partielles arrivent sans préavis. SALT suggère qu'on peut gagner entre 7 et 9 points de succès sans données supplémentaires, en recyclant les prédictions déjà produites par le modèle. Deux mécanismes expliquent l'effet : à l'apparition du décalage, le résidu garde un plan formé avant la corruption et sert d'ancre (Transition Anchoring), puis la correction se propage d'un replanning à l'autre (Sequential Correction Propagation). Les limites sont nettes : le gain reste modeste en valeur absolue, les taux de succès restent sous les 70 %, et le test sur robot réel, mesuré par un score de progression et non un taux de réussite, offre peu de détails sur le nombre d'essais ou les tâches. Le benchmark LIBERO reste de plus de la simulation. Ce travail s'inscrit dans l'effort de fiabilisation des VLA après la vague de modèles généralistes comme Pi-0, GR00T ou SmolVLA, dont l'écart entre démonstration et déploiement tient souvent à la sensibilité aux conditions visuelles. L'approche rejoint l'adaptation au moment du test, déjà explorée en vision par ordinateur, mais l'applique ici à la structure par chunks d'actions propre aux politiques modernes. Elle reste un résultat de recherche, sans produit ni déploiement annoncé. Les prochaines étapes probables sont des validations sur d'autres architectures, des perturbations plus variées et des tâches longues, ainsi qu'une évaluation du coût de calcul des mises à jour en ligne sur du matériel embarqué, point que le résumé ne chiffre pas.

RecherchePaper

1 source

2arXiv cs.RO

Accélérer l'exécution des politiques grâce à un apprentissage par renforcement léger : SpeedTuning

SpeedTuning, un framework d'apprentissage par renforcement décrit dans une prépublication arXiv du 11 août 2026 (arXiv:2608.09138v1), vise à accélérer l'exécution des politiques de manipulation robotique apprises par imitation. Le système apprend à prédire, pour chaque action, la vitesse d'exécution optimale, en complément d'une politique de base déjà entraînée et sans nécessiter de nouvelle collecte de démonstrations. Ses auteurs rapportent un gain de vitesse supérieur à 2,4x par rapport à la politique originale, avec un taux de réussite jugé adéquat, comparé à la fois à la politique de base et à des méthodes d'accélération naïves comme l'interpolation linéaire à vitesse fixe. La méthode a été testée sur des tâches dynamiques et précises, verser un liquide, lancer un objet et saisir un objet, en conditions réelles sur robot. Le problème ciblé touche un point sensible du secteur : les politiques apprises par imitation héritent de la cadence de l'opérateur humain pendant la téléopération de collecte de données, ce qui plafonne structurellement leur vitesse une fois déployées, et aucune méthode établie ne permettait jusqu'ici d'accélérer une politique déjà entraînée sans repasser par une collecte de démonstrations plus rapides et coûteuses en heures de téléopération. En démontrant qu'il est possible de découpler vitesse d'exécution et taux de réussite, SpeedTuning s'adresse directement aux intégrateurs industriels, pour qui le temps de cycle conditionne la rentabilité d'une cellule robotisée. La portée de la démonstration reste toutefois limitée : le gain de 2,4x est une moyenne sur trois familles de tâches testées en laboratoire, pas une garantie généralisable, et l'article ne précise ni la plateforme robotique utilisée ni son nombre de degrés de liberté. Ce travail s'inscrit dans une limitation bien identifiée de l'apprentissage par imitation appliqué à la manipulation robotique, où les politiques de type diffusion ou VLA (vision-language-action) restent bridées par la qualité et la vitesse des démonstrations humaines collectées par téléopération, un goulot d'étranglement sur lequel travaillent plusieurs laboratoires développant des modèles fondation pour la robotique. En proposant une couche d'accélération post-hoc plutôt qu'une nouvelle architecture de politique ou un nouveau mode de collecte, SpeedTuning se positionne comme un complément aux approches existantes plutôt qu'un concurrent direct. Le document, publié en prépublication sur arXiv et non encore évalué par les pairs, ne mentionne aucun partenariat industriel ni date de mise en production : il s'agit pour l'instant d'un résultat de recherche restant à valider sur un éventail plus large de tâches et de plateformes avant toute adoption en environnement industriel.

RecherchePaper

1 source

3arXiv cs.RO

Guided Action Flow : inférence guidée par Q pour les politiques VLA à appariement de flux

Des chercheurs publient le 2 juillet 2026 (arXiv:2607.02092) Guided Action Flow, une méthode d'inférence qui améliore les politiques robotiques vision-langage-action (VLA) à flow matching sans réentraîner le modèle de base. La politique préentraînée SmolVLA reste gelée : un critique appris sur des trajectoires réelles de succès et d'échec guide l'échantillonnage en temps inverse via des gradients d'action, avec un conditionnement possible sur la description de tâche issue du canal langage de SmolVLA. Sur le benchmark de manipulation LIBERO, un critique spécifique à une tâche fait passer le taux de succès de 68,0% à 82,0% sur une fenêtre de seed, puis de 82,0% à 86,0% sur une autre. Un critique multi-famille, entraîné sur plusieurs types de tâches, améliore le succès en validation de 46,0% à 56,0%, mais le gain sur le jeu de test verrouillé reste plus modeste, de 65,0% à 67,5%. Pour les intégrateurs qui déploient des politiques VLA figées en production, l'approche offre un gain de performance à l'inférence sans le coût d'un réentraînement complet, en transposant aux politiques d'action robotiques un guidage par critique déjà courant en génération d'image et en apprentissage par renforcement. L'écart entre le gain en validation (+10 points) et celui observé sur données verrouillées (+2,5 points) est le résultat le plus significatif de l'étude : il révèle une généralisation limitée du critique au-delà de sa distribution d'entraînement. La méthode est donc prometteuse pour affiner des politiques déjà déployées, mais son bénéfice réel sur des tâches totalement inédites reste contraint tant que la généralisation du critique et un guidage sensible à l'incertitude ne sont pas résolus, ce que les auteurs identifient eux-mêmes comme le verrou central de l'approche. SmolVLA, la politique de base utilisée, est un modèle VLA compact pensé pour du matériel limité, positionné face à des politiques plus lourdes comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. LIBERO, le benchmark d'évaluation, est une suite standard de tâches de manipulation conçue pour tester l'apprentissage continu en robotique, et le choix du flow matching comme mécanisme de génération d'action reflète une bascule plus large du secteur vers des schémas de transport plus rapides à échantillonner que la diffusion classique. Guided Action Flow se positionne comme une brique complémentaire aux efforts de réentraînement à grande échelle, offrant un moyen peu coûteux d'améliorer des politiques déjà déployées plutôt que de concurrencer les gros modèles généralistes. Les auteurs annoncent vouloir approfondir la généralisation du critique et intégrer une notion d'incertitude dans le guidage, sans donner de calendrier précis pour ces prochaines étapes.

RechercheActu

1 source

4arXiv cs.RO

ChunkTrust : adapter les horizons d'exécution des politiques robotiques grâce aux indices de l'expert en actions

Les politiques robotiques de type « foundation model » prédisent des séquences d'actions (action chunks), mais le nombre d'actions à exécuter avant de replanifier reste généralement un hyperparamètre fixe. Une équipe académique, dont le projet est hébergé sur Hugging Face, publie sur arXiv ChunkTrust, un cadre qui traite cet horizon d'exécution comme une variable latente, inférée à partir des signaux internes de l'action expert. Son composant central, l'Action-aware Horizon Selector (AHS), ne demande aucun entraînement. Il combine la stabilité spectrale intra-chunk des traces de génération avec la continuité inter-chunk entre l'historique exécuté et les actions prédites. Un posterior Beta en ligne, avec oubli par noyau, suit les préférences d'horizon d'une replanification à l'autre. Un module optionnel léger, le Query-based Horizon Adapter (QHA), apprend un a priori dense conditionné par le contexte, tandis que la politique de base reste gelée. Sur RoboTwin2.0 (50 tâches), l'AHS gagne 6,80 points de succès sur π0.5. Sur RoboCasa GR1 Tabletop, il gagne 9,67 points sur Qwen3GR00T. Avec QHA, le gain monte à 9,44 points sur un sous-ensemble de huit tâches avec π0.5. Sur quatre tâches domestiques réelles, le score de processus normalisé moyen passe de 50,4 % à 57,5 %. L'intérêt pratique tient à ce que le réglage de l'horizon d'exécution est souvent traité comme un détail de déploiement, alors qu'il pèse directement sur la réussite. Un horizon long donne des mouvements fluides, mais il réagit mal aux perturbations. Un horizon court est plus réactif, mais plus saccadé et plus coûteux en calcul. Obtenir un gain sans réentraîner ni modifier le modèle de base est précieux pour les intégrateurs, qui peuvent amender des politiques existantes sans repasser par la collecte de données. Le gain mesuré en conditions réelles est plus modeste que celui des simulateurs, avec +7,1 points sur un score de processus. Cet écart rappelle que les benchmarks simulés surestiment souvent les progrès transférables. Seules quatre tâches réelles sont évaluées, et l'article ne détaille ni la taille des essais ni la variance. Ces résultats restent donc des indications, pas une validation à l'échelle. Ce travail s'inscrit dans la lignée des méthodes de découpage d'actions (action chunking) et de commande à horizon glissant, popularisées par ACT et les politiques de diffusion, puis reprises par les modèles VLA comme π0.5 de Physical Intelligence et la famille GR00T de NVIDIA. Il rejoint d'autres travaux sur l'exécution asynchrone et le lissage des transitions entre chunks, qui visent à réduire les à-coups lors de la replanification. Aucun déploiement industriel ni calendrier de pilote n'est annoncé, il s'agit d'une prépublication v1 non évaluée par les pairs. La suite logique consisterait à valider l'approche sur davantage de plateformes, de tâches longues et de politiques à architectures variées, ainsi qu'à mesurer le surcoût de latence de l'AHS et du QHA en boucle fermée.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source