RecherchearXiv cs.RO 5 octobre 2026

Moins de jetons, meilleure action : les agents robotiques GPT-6 Astra gagnent 14 % de réussite avec 65 % de jetons en moins

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (identifiant 2610.01939v1) PyRUA-Lean, un cadre d'exécution de code interactif pour piloter des robots avec un agent VLM (modèle vision-langage). Ici, le planificateur est GPT-6 Astra. L'agent compose des primitives robotiques classiques et des politiques VLA (vision-language-action) apprises dans des cellules Python. Ces cellules effectuent des vérifications conditionnelles et des tentatives locales de reprise. Elles ne renvoient au modèle que les images et les retours d'état demandés explicitement, pour permettre le replanning. L'évaluation porte sur 700 instances de tâches simulées issues de LIBERO-PRO, RoboTwin 2.0 et RoboCasa365. La référence est un agent à appels d'outils (tool-calling) qui utilise le même planificateur et les mêmes primitives. À budget d'appels LLM égal, le taux de réussite global passe de 63,1 % à 71,7 %, soit 8,6 points de plus (environ 14 % en relatif). Sur les instances résolues par les deux agents, PyRUA-Lean utilise 49 % d'appels LLM en moins et 65 % de tokens d'entrée en moins.

Le résultat touche un coût d'exploitation souvent absent des démonstrations : le nombre d'appels au modèle et le volume d'observations qu'il ingère à chaque pas. Dans une boucle classique, chaque action déclenche un appel au planificateur et le renvoi d'images, ce qui pèse sur la latence et la facture. Déléguer les vérifications et les reprises à du code exécuté localement déplace une partie du contrôle vers des routines déterministes. Pour un intégrateur, cela suggère qu'une partie du gain vient de l'architecture de l'agent, pas seulement d'un meilleur modèle. L'approche rapproche aussi les VLA, utilisés comme primitives, d'un orchestrateur de plus haut niveau. Il faut toutefois rester prudent. Tous les chiffres viennent de la simulation, le papier est un preprint non évalué par des pairs, et la comparaison porte sur un seul type de baseline. Le gap sim-to-real n'est pas traité dans le résumé, et la réduction de 49 % et 65 % ne vaut que sur les tâches réussies par les deux agents, ce qui exclut les cas où l'agent de référence échoue.

Ce travail s'inscrit dans la tendance des agents « code-as-policy », où un LLM écrit du code qui appelle des modules de perception et de contrôle, désormais associés à des politiques VLA comme Pi-0 ou GR00T. Les benchmarks retenus (LIBERO-PRO, RoboTwin 2.0, RoboCasa365) couvrent la manipulation tabletop, le bimanuel et les tâches domestiques en cuisine simulée. Ils sont courants, mais ils restent éloignés des contraintes d'un site industriel. Le résumé ne cite ni acteur européen, ni partenaire industriel, ni calendrier de déploiement. Les suites logiques seraient une validation sur robot physique, une comparaison avec d'autres architectures d'agents et une mesure du coût en euros par tâche plutôt qu'en tokens. Tant que ces tests n'existent pas, PyRUA-Lean reste un résultat de recherche et non un produit disponible.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Les modèles du monde rêvent de réussite : diagnostiquer et corriger leur insensibilité à l'échec en robotique

Des chercheurs publient CureWM, une méthode de réparation pour les modèles du monde robotiques (world models) qui échouent à distinguer une action réussie d'un échec. Le constat part de quatre checkpoints publics issus de deux familles d'architectures: tous réagissent faiblement aux changements d'action et prédisent des issues «proches du succès» pour des échecs pourtant vérifiés. CureWM génère des actions alternatives à partir de démonstrations réussies, sur une grille de sévérité. Il en vérifie ensuite le résultat par exécution, en simulation ou sur matériel réel. Enfin, il affine le modèle existant sur les échecs obtenus, sur les succès restants et sur les démonstrations nominales, sans toucher à l'architecture ni à l'objectif d'entraînement. Le code est disponible sur GitHub. Sur 484 contrefactuels d'échec réservés du benchmark LIBERO, l'optimisme excessif (la part d'échecs prédits comme des succès) tombe de 80 % après un affinage sur les données officielles à 30-43 % sur quatre modèles CureWM entraînés indépendamment, soit 38 % en moyenne. Sur un bras robotique physique, dans deux évaluations distinctes, les prédictions d'échec jugées «proches du succès» par un diagnostic de distance latente passent de 90 % (affinage sur succès seuls) à 33 % avec CureWM. À nombre d'échecs par tâche, données de rejeu de succès et budget d'entraînement égaux, les échecs contrefactuels donnent un écart de valeur succès-échec de 0,124, contre 0,014 pour des échecs «on-policy» collectés à neuf. Ces résultats comptent parce que les world models servent de plus en plus à évaluer des politiques, à planifier et à produire des données synthétiques. Un modèle qui «rêve» le succès quelle que soit l'action rend ces usages trompeurs: une politique défaillante paraîtrait performante, et des données générées seraient biaisées vers la réussite. Le travail remet aussi en cause l'idée que collecter davantage d'échecs réels suffit, puisque les échecs on-policy apportent ici douze fois moins de contraste que les contrefactuels construits depuis un même contexte initial. Les auteurs ajoutent un garde-fou méthodologique: réduire l'optimisme ne suffit pas, il faut le mesurer avec la capacité de discrimination entre succès et échec, faute de quoi un modèle pessimiste en tout passerait pour réparé. Les chiffres proviennent d'un seul groupe, sur LIBERO et un bras unique, sans validation indépendante à ce stade. Ce papier s'inscrit dans une littérature qui intègre déjà des échecs à l'entraînement des world models, mais en modifiant architecture ou objectif. CureWM vise au contraire la réparation a posteriori de checkpoints diffusés, ce qui le rend directement applicable aux modèles que les équipes utilisent déjà. Il s'adresse à ceux qui s'appuient sur des modèles du monde pour la validation de politiques VLA avant déploiement. Les prochaines étapes à surveiller sont la reproduction sur d'autres benchmarks et morphologies, ainsi que l'application à de plus grands modèles de fondation.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage robotique en contexte avec des agents VLM

Un article publié sur arXiv (référence 2609.19138v1) présente GPT-Policy, un cadre logiciel qui permet à un robot d'apprendre au moment du déploiement, sans réentraînement préalable pour chaque tâche. L'architecture combine un « context compiler » qui conserve les transitions visuelles utiles à la tâche, un modèle vision-langage (VLM) grand public comme GPT-6 Astra chargé de proposer des actions robot-outil, et un contrôleur contraint qui vérifie, exécute et rapporte le résultat de chaque action. Sur robot réel, des démonstrations vidéo humaines améliorent le taux de réussite même sans étiquetage des actions robotiques correspondantes, et des références d'actions alignées apportent un gain supplémentaire sur les tâches sensibles au contact. Aucun chiffre de charge utile, de degrés de liberté ou de temps de cycle n'est communiqué : il s'agit d'une étude de recherche évaluée sur des métriques de réussite et d'efficacité, pas d'un produit commercialisé. Le problème visé est central pour l'industrie : aucun jeu de démonstrations fini ne peut couvrir toutes les tâches et situations qu'un robot rencontrera en usage réel, ce qui limite la généralisation des politiques actuelles entraînées par imitation. En s'appuyant sur l'apprentissage en contexte, déjà courant chez les grands modèles de langage pour le texte ou le code, mais sans mise à jour de gradient ni modification persistante des paramètres, l'approche suggère qu'un VLM généraliste pourrait s'adapter à une situation nouvelle à partir de quelques exemples fournis au moment de l'exécution. Si elle se confirme à plus grande échelle, cette piste remettrait en question l'idée selon laquelle seuls des modèles vision-langage-action spécialement entraînés sur des données robotiques peuvent piloter un robot, un enjeu direct pour les intégrateurs cherchant à réduire le coût de collecte de données par tâche. Ce travail s'inscrit dans la vague des modèles fondation appliqués à la robotique, aux côtés de familles VLA comme Pi-0, GR00T N2 ou Helix, qui misent à l'inverse sur un entraînement massif de bout en bout sur des données robotiques. Les auteurs présentent eux-mêmes leurs résultats comme une étape vers l'apprentissage en contexte plutôt que comme une solution aboutie, reconnaissant que des défis subsistent avant un déploiement fiable. Aucun acteur français ou européen, aucun site de déploiement industriel ni calendrier de commercialisation ne figurent dans cette publication, qui reste une contribution académique destinée à poser des fondations empiriques plutôt qu'un produit prêt à l'emploi.

UEAucun acteur ni déploiement européen n'est mentionné, mais la piste de l'apprentissage en contexte pourrait à terme intéresser les intégrateurs robotiques européens en réduisant le coût de collecte de données par tâche.

RecherchePaper

1 source

3arXiv cs.RO

ReAT : tokenisation résiduelle des actions pour les politiques robotiques autorégressives

Des chercheurs proposent ReAT (Residual Action Tokenization), une méthode de tokenisation d'actions pour politiques robotiques autorégressives, décrite dans l'article arXiv 2610.13093. Ces politiques prédisent des « chunks » d'actions continues sous forme de courtes séquences de jetons discrets, produits par un tokenizer. Les tokenizers existants savent reconstruire un chunk à partir de ses codes, mais le rôle de chaque jeton dans l'action reconstruite reste implicite. ReAT assigne à chaque jeton une fonction explicite d'affinement : le jeton suivant est construit à partir de l'erreur résiduelle entre l'action cible et la reconstruction décodée du préfixe déjà émis. L'encodage et le décodage forment ainsi une boucle fermée, où chaque nouveau jeton corrige les écarts laissés par ce que le décodeur reconstruit réellement. Les auteurs annoncent des résultats sur 19 tâches de manipulation, réparties sur trois benchmarks de simulation et des essais en conditions réelles. Avec 8 jetons, les politiques ReAT dépassent les baselines évaluées en taux de réussite. Sur LIBERO, une version à 4 jetons surpasse même les baselines de tokenisation à 8 jetons, soit la moitié du budget de jetons. L'intérêt tient à l'efficacité de la représentation. Dans les modèles VLA (vision-langage-action) autorégressifs, chaque jeton d'action supplémentaire allonge la séquence à générer et augmente la latence d'inférence, un point critique pour les contrôleurs temps réel. Obtenir de meilleurs résultats avec moitié moins de jetons suggère que la qualité de la tokenisation pèse autant que la taille du modèle ou le volume de données. L'approche ouvre aussi la voie à une politique « auto-correctrice », qui apprend à raffiner progressivement son plan d'action, à la manière d'une quantification résiduelle. Pour les équipes qui entraînent des VLA, c'est un levier peu coûteux, puisqu'il agit sur la couche de discrétisation sans refonte de l'architecture. Il faut toutefois nuancer. Il s'agit d'une prépublication sans relecture par les pairs, et les gains sont mesurés face aux seules baselines « évaluées » par les auteurs, sans garantie qu'elles couvrent l'état de l'art. LIBERO et les autres benchmarks simulés restent saturés et peu représentatifs de la variabilité industrielle, et la part des essais réels n'est pas précisée dans le résumé : ni nombre de robots, ni nombre d'essais, ni taux de succès chiffrés. Le travail s'inscrit dans la lignée des tokenizers d'actions comme FAST, qui compresse les actions par transformée en cosinus discrète, et des approches par quantification vectorielle, face aux politiques à diffusion ou à flow matching comme Pi-0, qui évitent la discrétisation. La suite logique sera une validation sur de grands VLA, avec des mesures de latence et des déploiements sur des tâches longues, avant d'y voir autre chose qu'un résultat de recherche.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

VLA-ACL : élagage de jetons visuels cohérent avec les actions pour des modèles vision-langage-action (VLA) efficaces

Des chercheurs publient sur arXiv VLA-ACL (Action Consistency Learning), une méthode d'élagage de tokens visuels pour les modèles Vision-Language-Action (VLA), dont le code est disponible sur GitHub. Le système apprend une politique d'élagage légère tout en laissant le modèle VLA de base entièrement gelé. L'entraînement vise à ce que les actions produites à partir d'un contexte visuel élagué restent cohérentes avec celles d'un modèle enseignant qui voit le contexte complet. Les actions de référence (ground truth) ne servent que de supervision auxiliaire. Les tests portent sur le benchmark de simulation LIBERO et sur des tâches de manipulation en conditions réelles. La méthode élimine jusqu'à 87,5 % des tokens visuels tout en gardant des performances jugées compétitives. Elle réduit le calcul jusqu'à 75 % et accélère l'inférence d'un facteur 1,5. Ces chiffres comptent pour le déploiement. Un VLA doit traiter de longues séquences de tokens à chaque pas de contrôle, et les patchs visuels dominent cette séquence. Cette charge limite le temps réel sur le matériel embarqué. Le gain d'inférence de 1,5x reste nettement inférieur à la réduction de calcul de 75 %. Cet écart suggère que les coûts hors visuel, comme le décodage des actions, plafonnent l'accélération réelle. Les résultats viennent de l'article seul, sans reproduction indépendante. La notion de « performance compétitive » n'est pas chiffrée dans le résumé, et on ignore sur quels modèles de base et quels robots les tests réels ont été faits. La méthode gèle le modèle de base, donc un intégrateur peut l'ajouter à un VLA existant sans le réentraîner. Elle illustre aussi un changement d'approche : choisir les tokens selon leur effet sur la commande finale plutôt que selon des scores d'attention. Les travaux antérieurs d'élagage pour VLA se répartissent en deux familles. La première regroupe des heuristiques sans entraînement, fondées sur les scores d'attention ou des seuils de mouvement, jugées indirectes par les auteurs. La seconde exige un réglage fin coûteux du modèle de base. VLA-ACL se place entre les deux : une supervision au niveau de l'action, sans toucher aux poids du VLA. Les auteurs affirment un meilleur compromis performance-efficacité que les méthodes d'élagage existantes pour VLA gelés. La suite dépendra de la généralisation à d'autres architectures (Pi-0, GR00T, Helix et leurs équivalents) et de tests sur plus de tâches réelles. Le code étant public, la communauté pourra vérifier ces résultats rapidement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source