Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Behavior-Skill : un benchmark détaillé pour évaluer les politiques VLA dans des tâches à long horizon
RecherchearXiv cs.RO 

Behavior-Skill : un benchmark détaillé pour évaluer les politiques VLA dans des tâches à long horizon

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs associés au laboratoire NuBot de la National University of Defense Technology (NUDT), en Chine, ont publié en aout 2026 sur arXiv un article présentant Behavior-Skill, un benchmark destine a évaluer les politiques vision-langage-action (VLA) sur des taches ménagères a long horizon. Le jeu de données comprend 235 492 instances de compétences élémentaires issues de 10 000 démonstrations, reparties sur 50 taches domestiques et 34 catégories sémantiques de compétences (saisir, verser, ouvrir un tiroir, etc.). Chaque instance associe une instruction de compétence a un segment observation-action aligne, avec un état intermédiaire restaurable et une condition de réussite propre, ce qui permet d'évaluer chaque sous-compétence indépendamment plutôt que de se limiter au succès global de la tache. Les auteurs ont teste sur l'ensemble des 50 taches deux politiques VLA représentatives, pi0.5 (Physical Intelligence) et GR00T (famille de modèles de NVIDIA), en mesurant des métriques a la fois au niveau trajectoire et au niveau compétence. Le code et les données sont disponibles publiquement sur GitHub, sous nubot-nudt/Behavior-Skill.

Pour l'industrie de la robotique mobile et humanoïde, ce travail met en lumière un angle mort connu mais rarement quantifie: le score de réussite global d'une tache masque ou et pourquoi une politique échoue réellement. Les résultats montrent des taux d'échec très inégaux selon les compétences, la manipulation a contact riche (saisir des objets déformables, manipuler des poignées, ajuster une prise) formant un goulot d'étranglement persistant, même pour des modèles réputés généralistes comme pi0.5 ou GR00T. Pour des intégrateurs ou décideurs qui évaluent une pile VLA avant déploiement, cela confirme qu'une démonstration réussie sur une tache complète ne garantit pas la robustesse des briques sous-jacentes, et qu'un audit fin par compétence devient nécessaire avant de valider un cas d'usage industriel.

Ce benchmark s'inscrit dans une lignée d'évaluations pour la manipulation mobile a long horizon qui, jusqu'ici, reposaient presque exclusivement sur des rollouts de tache complète et des métriques agrégées, rendant les échecs intermédiaires difficiles a observer et a diagnostiquer. En proposant une décomposition fine par compétence, Behavior-Skill se positionne comme un complément, et non un remplacement, des benchmarks de bout en bout existants, dans un paysage ou pi0.5 et GR00T comptent parmi les références les plus citées pour les politiques VLA généralistes. Les auteurs invitent la communauté a s'appuyer sur cette base pour diagnostiquer et améliorer les politiques existantes, sans annoncer a ce stade de déploiement industriel ni de suite commerciale au-delà de la publication du benchmark et de son code source.

Dans nos dossiers

IA physique & VLANVIDIA GR00TPhysical Intelligence — π0arXiv cs.RO

À lire aussi

LongBench : évaluation des politiques de manipulation robotique sur des tâches réelles à horizon long
1arXiv cs.RO 

LongBench : évaluation des politiques de manipulation robotique sur des tâches réelles à horizon long

Une équipe de chercheurs a publié en avril 2026 LongBench, un benchmark conçu pour évaluer les politiques de manipulation robotique sur des tâches longues et enchaînées dans le monde réel. Contrairement à la majorité des benchmarks existants, LongBench repose sur plus de 1 000 épisodes exécutés en conditions réelles, et non en simulation. Il se structure autour de deux régimes complémentaires : les tâches Context-Independent, où l'état du monde est entièrement observable, et les tâches Context-Dependent, où le robot doit gérer une ambiguïté sur l'état ou l'intention. Les tâches sont organisées en sous-ensembles ciblant des capacités spécifiques (robustesse d'exécution, cohérence temporelle, raisonnement contextuel), permettant un diagnostic fin des sources d'échec. Six politiques de l'état de l'art ont été évaluées sur ce protocole, sans qu'un seul facteur dominant n'explique les dégradations de performance sur les horizons longs. Ces résultats remettent en question une hypothèse courante dans le domaine : celle selon laquelle améliorer la mémoire ou le contexte historique suffirait à résoudre les échecs en manipulation longue durée. LongBench montre que dans les environnements pleinement observables, c'est la robustesse d'exécution, c'est-à-dire la capacité du robot à répéter fidèlement une séquence motrice sur des dizaines de pas, qui domine les performances, et non la gestion du contexte. À l'inverse, dans les scénarios ambigus, les méthodes à mémoire n'apportent pas d'amélioration systématique : la difficulté contextuelle varie fortement selon les tâches, ce qui suggère qu'il n'existe pas de solution générique. Pour les intégrateurs et les équipes R&D qui évaluent des politiques VLA (Vision-Language-Action) ou des architectures de contrôle diffusion, ce benchmark offre un protocole de diagnostic plus fin que les métriques de succès agrégé habituelles. Le benchmark s'inscrit dans un effort plus large de la communauté robotique pour dépasser les évaluations en simulation, dont le sim-to-real gap reste un problème structurel non résolu. Plusieurs benchmarks récents, comme DROID ou Open X-Embodiment, ont posé des bases de données multi-robots, mais peu proposent une décomposition mécaniste des sources d'échec sur des horizons longs. LongBench se positionne comme un outil de diagnostic complémentaire, agnostique à l'architecture, applicable aussi bien aux politiques de type ACT, Diffusion Policy qu'aux approches VLA. Les auteurs n'annoncent pas de déploiement industriel associé : il s'agit d'un outil de recherche, pas d'un produit. Les prochaines étapes attendues incluent l'extension à d'autres morphologies robotiques et l'intégration de tâches bi-manuelles, qui représentent le prochain mur de complexité pour la manipulation longue durée.

RecherchePaper
1 source
MAGMA-Bench : évaluer les agents incarnés à long horizon face à des tâches dynamiques et à des échecs d'exécution
2arXiv cs.RO 

MAGMA-Bench : évaluer les agents incarnés à long horizon face à des tâches dynamiques et à des échecs d'exécution

MAGMA-Bench, présenté sur arXiv (2610.13534) comme un benchmark indépendant de l'architecture, vise à mesurer la capacité d'agents incarnés à raisonner sur de longues missions dans des environnements multi-robots dynamiques. Il évalue les agents sur des horizons de tâche croissants et sous perturbations contrôlées en ligne : échecs d'exécution, interruptions de tâche et mises à jour de mission. Les scénarios imposent de coordonner des robots aux capacités hétérogènes. Une interface structurée au niveau des compétences (skills) sépare le raisonnement de haut niveau de la perception et du contrôle bas niveau. Les auteurs ont testé des planificateurs open-weight déployables en local, plusieurs stratégies de suivi d'état multi-agents et des modèles frontière. Même les meilleurs échouent sur une part substantielle des épisodes « propres », sans perturbation, et leur taux de succès baisse encore dès que des perturbations sont injectées. Une adaptation supervisée améliore nettement un petit modèle, mais ses performances restent bien inférieures sur les missions longues et multi-robots. L'équipe publie le benchmark, 261 646 exemples d'entraînement au niveau tâche et un pipeline de génération de traces expertes, lui aussi indépendant de l'architecture. L'intérêt tient à ce que ces résultats disent de l'écart entre démonstrations et fiabilité opérationnelle. Beaucoup de systèmes à base de LLM ou de VLA brillent sur des tâches courtes et scriptées, mais un intégrateur industriel travaille dans l'inverse : des missions longues, des pannes de préhension, des commandes modifiées en cours de route, des flottes mêlant AMR, bras et humanoïdes. Qu'un modèle frontière échoue déjà sans perturbation suggère que la mémoire de tâche, le suivi d'état et la replanification restent des verrous, indépendamment de la qualité de la perception ou du contrôle, que le benchmark neutralise volontairement. Le gain obtenu par fine-tuning sur un petit modèle est un signal utile pour les décideurs : un planificateur local, peu coûteux et déployable sur site, peut devenir compétitif sur des missions courtes avec des données spécialisées. Mais l'écart persistant sur les horizons longs et la coordination multi-robots relativise l'idée d'une orchestration autonome prête à la production. Précision méthodologique : il s'agit de résultats de simulation avec une couche de compétences abstraite, qui ne mesurent donc ni les aléas de la perception réelle ni la robustesse du contrôle. Le benchmark comble un angle mort entre deux familles d'évaluations existantes : celles qui testent l'exécution dynamique de tâches pour un agent isolé, et celles qui testent la coordination multi-agents incarnée dans des conditions statiques. Il arrive alors que les acteurs du secteur (modèles de type Pi-0, Helix ou GR00T, systèmes de planification à base de LLM) multiplient les annonces d'autonomie à long terme sans protocole commun pour comparer la gestion des échecs. La publication du jeu d'entraînement et du pipeline de traces permet à d'autres laboratoires de reproduire les résultats et d'entraîner leurs propres planificateurs, ce qui pourrait en faire une référence pour les équipes travaillant sur la robotique de flotte, y compris en Europe. Les prochaines étapes à surveiller sont les évaluations de modèles tiers sur ce banc, et surtout un passage à des déploiements physiques, seul moyen de vérifier que ces faiblesses de raisonnement persistent hors simulation.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Extension de la mémoire à court terme des politiques visuomotrices pour les tâches à long horizon
3arXiv cs.RO 

Extension de la mémoire à court terme des politiques visuomotrices pour les tâches à long horizon

Des chercheurs ont soumis le 16 juin 2026 sur arXiv (2606.16178) une architecture transformer nommée PRISM, conçue pour doter les politiques visuomotrices entraînées par imitation learning d'une mémoire à court terme effective. Le système combine deux mécanismes : une attention filtrée (gated attention) qui supprime les corrélations parasites entre l'historique sensoriel et la prédiction d'action, et une architecture hiérarchique qui compresse les informations locales en tokens compacts pour capturer des dépendances temporelles étendues. PRISM maintient ainsi une mémoire opérationnelle sur environ deux minutes. Ses performances : 5 à 12 % de gains absolus sur les baselines les plus solides, et 11 à 15 % de mieux que sa variante sans mémoire sur RoboCasa et LIBERO, dépassant des modèles VLA fine-tunés comme GR00T-N1-3B (NVIDIA) et OpenVLA, sans aucun pré-entraînement à grande échelle. Les auteurs publient aussi ReMemBench, un benchmark de huit tâches de manipulation domestique couvrant quatre catégories mémorielles. La quasi-totalité des politiques visuomotrices actuelles n'exploitent que l'entrée sensorielle instantanée, les rendant incapables de gérer des tâches impliquant des objets temporairement occultés ou des actions à déclencher après un délai défini. PRISM démontre qu'une architecture mémoire soigneusement conçue peut surpasser des VLA massivement pré-entraînés, remettant en question l'hypothèse dominante selon laquelle la taille du corpus de pré-entraînement prime sur les choix architecturaux. Pour les intégrateurs et les décideurs industriels, ce résultat ouvre la voie à des politiques de manipulation longue séquence plus accessibles en calcul. PRISM s'inscrit dans un débat actif entre approches récurrentes (LSTM, Mamba) et architectures transformer pour les politiques de manipulation robotique. Les benchmarks RoboCasa et LIBERO font référence en simulation pour ce type de tâches, et des modèles comme GR00T-N1 de NVIDIA (3B paramètres) ou OpenVLA ont misé sur un pré-entraînement multimodal massif pour y performer. PRISM se positionne comme une alternative architecturale plus légère et sans pré-entraînement. Il faut toutefois souligner que tous les résultats sont obtenus en simulation : aucun transfert sim-to-real ni déploiement physique n'est annoncé, laissant ouverte la question de la robustesse sur robot réel.

RechercheOpinion
1 source
ManiUnit : un jeu de données et un banc d'essai de compétences de manipulation pour les tâches à long horizon
4arXiv cs.RO 

ManiUnit : un jeu de données et un banc d'essai de compétences de manipulation pour les tâches à long horizon

ManiUnit est un jeu de données et un benchmark de compétences de manipulation, construit à partir de 50 activités du simulateur BEHAVIOR-1K et publié sur arXiv en octobre 2026. Le jeu de données compte 137 899 segments répartis sur 21 types de compétences et 417 sous-tâches, tandis que le benchmark comprend 1 260 instances de test. Chaque segment est associé à une instruction explicite de sous-tâche. Le benchmark mesure aussi la sensibilité à des perturbations de la position initiale de la base mobile ou de la configuration articulaire du robot. Il restaure des états intermédiaires du simulateur et définit des conditions de succès locales, ce qui permet d'évaluer chaque compétence sans exécuter les étapes qui la précèdent. Sur deux activités à long horizon, une politique de compétence entraînée sur les segments ManiUnit atteint 78,7 % de succès local en manipulation, contre 49,3 % pour une politique de tâche entraînée sur des démonstrations complètes. Une fois coordonnées par un planificateur, politiques de tâche et de compétence font passer le succès sur la tâche complète de 4,0 % à 18,0 %. L'enjeu est de rendre diagnostiquables les échecs de la manipulation mobile à long horizon, où un robot doit traverser plusieurs pièces et enchaîner des compétences à partir d'une seule consigne en langage naturel. Les auteurs identifient trois difficultés. D'abord, des observations proches sous une même consigne rendent la sélection de la compétence ambiguë. Ensuite, même lorsqu'une compétence réussit, l'état du robot qu'elle transmet à la suivante peut s'écarter des états de départ démontrés et dégrader l'exécution. Enfin, les métriques au niveau de la tâche masquent les causes d'échec, puisqu'une défaillance précoce empêche de tester les étapes suivantes. Les évaluations de politiques vision-langage-action (VLA) représentatives montrent que des scores agrégés similaires peuvent cacher des écarts importants d'une compétence à l'autre. Sur le benchmark complet, les perturbations articulaires réduisent le taux de succès d'environ 56 % par rapport aux états de départ démontrés. Ce résultat appelle à la prudence face aux démonstrations de VLA mesurées sur des conditions initiales propres. Il faut toutefois relativiser la portée de ces chiffres : tout est mesuré en simulation, sur un nombre limité d'activités pour la comparaison compétence contre tâche, et un succès de 18,0 % sur la tâche complète reste très éloigné d'un seuil industriel. Les auteurs ne nomment pas ici les modèles VLA évalués. ManiUnit s'inscrit dans la lignée de BEHAVIOR-1K, benchmark de tâches domestiques de longue durée, et d'une tendance à décomposer les tâches en compétences réutilisables pilotées par un planificateur, plutôt qu'à entraîner une politique monolithique. Le gain obtenu avec le planificateur suggère que cette approche modulaire est plus prometteuse, mais elle dépend de la robustesse de chaque compétence face aux états hérités. Le jeu de données et le benchmark sont des ressources de recherche, sans calendrier de déploiement ni transfert vers le matériel réel annoncé dans le résumé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source