RecherchearXiv cs.RO 23 septembre 2026

Au-delà de la réussite de la tâche finale : comment auditer la récupération d'expériences visuelles en robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une nouvelle méthodologie d'audit publiée sur arXiv (2609.26567v1) s'attaque à un angle mort de la robotique par réutilisation d'expériences: la plupart des systèmes sélectionnent, dans une bibliothèque d'expériences passées, celle à réutiliser dans une scène nouvelle par simple similarité visuelle, et les évaluations ne rapportent que le taux de succès final, sans dire si ce choix fait scène par scène est réellement bon. Les auteurs testent leur audit sur deux tâches de manipulation, trois mécanismes de réutilisation et des bibliothèques de K=3, 10 et 50 expériences, en exécutant systématiquement chaque expérience stockée sur chaque scène de requête pour cinq méthodes de sélection basées sur la distance du plus proche voisin dans des espaces d'embeddings visuels allant des pixels bruts à CLIP. Résultat central: une seule expérience fixe, choisie a posteriori, capture déjà 30 à 58% de l'écart entre sélection aléatoire et un oracle optimal, la sélection scène par scène n'ajoutant que 0,07 à 0,15 point de taux de succès. À partir de K=10, les règles visuelles se concentrent sur une seule expérience 1,5 à 3 fois plus que l'oracle, et leur score reflète alors surtout la qualité de cette expérience dominante. La distance visuelle prédit bien la réussite d'une paire donnée (AUROC jusqu'à 0,96) mais classe mal les candidats au sein d'une même scène, à peine mieux que le hasard pour quatre des cinq embeddings à K=50 (AUROC 0,45-0,52).

Ce travail remet en cause une hypothèse répandue dans la robotique fondée sur la récupération d'expériences, y compris dans les architectures vision-langage-action: la similarité visuelle, même via CLIP, ne garantirait pas une bonne sélection à l'échelle, et une part importante des gains de performance attribués à un mécanisme de sélection viendrait en réalité de la simple présence d'une expérience générique très transférable dans la bibliothèque. Comparée à un mélange aléatoire conservant les mêmes taux de sélection mais réassignant les scènes au hasard, chaque règle testée se révèle en fait moins bonne dès qu'elle s'en écarte significativement, pour toutes les politiques d'images apprises évaluées. Pour les équipes qui développent des systèmes adaptatifs par réutilisation plutôt que par ré-entraînement, cela signifie qu'optimiser le mécanisme de sélection sans auditer la composition de la bibliothèque peut être un mauvais usage des ressources d'ingénierie.

Cette contribution s'inscrit dans la montée des approches d'adaptation par réutilisation de trajectoires stockées, alternative au ré-entraînement complet de politiques popularisée par les architectures VLA. Faute d'une méthode pour distinguer l'apport du mécanisme de sélection de celui de la bibliothèque, le secteur s'appuyait jusqu'ici sur un score agrégé trompeur. Comme l'exécution exhaustive de chaque expérience sur chaque scène reste impraticable en conditions réelles, les auteurs proposent deux rapports simples que toute étude future pourrait fournir sans audit complet: la distribution des expériences effectivement sélectionnées, et le taux de succès de la meilleure expérience unique déterminée après coup.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

LIBERO-RECOVER : au-delà de la réussite des tâches, la récupération après échec dans les modèles de manipulation robotique

Des chercheurs ont publié le 5 septembre 2026 sur arXiv (2609.05178) LIBERO-Recover, un benchmark consacré à la récupération après échec des modèles de manipulation robotique Vision-Language-Action (VLA) ou World Action (WAM). Construit à partir de LIBERO, référence de l'apprentissage robotique en simulation, il rassemble plus de 1 000 scénarios d'échecs réels issus de modèles état de l'art, répartis en quatre niveaux : réessai d'action, adaptation d'action, récupération de l'état de l'objet et récupération environnementale. Il évalue quatre compétences : compréhension spatiale, raisonnement sur la structure des objets, compréhension des interactions et raisonnement topologique. Le projet est disponible sur liulin815.github.io/LIBERO-Recovery. L'enjeu est réel pour les intégrateurs et décideurs du secteur robotique : les modèles les plus avancés affichent des taux de succès proches de 100% sur LIBERO, souvent présentés comme preuve de maturité pour un déploiement réel. Les auteurs contestent cette lecture, car ces scores mesurent l'exécution de tâches depuis des états initiaux idéaux, sans jamais tester la réaction à une prise ratée, une collision ou un déplacement involontaire d'objet, situations pourtant inévitables hors laboratoire. LIBERO-Recover déplace ainsi la question de la réussite d'une tâche vers la capacité à s'en remettre après un échec, nuançant l'idée que le sim-to-real et l'apprentissage par imitation à grande échelle seraient déjà résolus. Pour les industriels évaluant des piles VLA, ce travail rappelle que les scores de benchmark actuels ne garantissent pas la robustesse opérationnelle. Ce travail s'inscrit dans une critique méthodologique croissante des benchmarks de manipulation robotique : LIBERO, désormais jugé saturé, ne mesurait que la réussite finale d'une tâche, jamais la résilience face à l'imprévu. Il s'agit d'une contribution académique en preprint, sans lien annoncé avec un produit commercial : aucun robot physique, partenariat industriel ni calendrier de commercialisation n'est mentionné. Les auteurs présentent LIBERO-Recover comme le premier benchmark à grande échelle consacré à la récupération après échec en robotique incarnée, un manque notable face à la multiplication des modèles fondation pour la manipulation. La suite attendue est l'adoption de ce protocole par la communauté pour évaluer les futurs modèles VLA sur cet axe de robustesse, plutôt que sur le seul taux de succès brut.

RecherchePaper

1 source

2arXiv cs.RO

Comment les utilisateurs évaluent les performances des modèles fondation robotiques au-delà du taux de réussite des tâches

Une étude publiée sur arXiv (arXiv:2602.03920) examine comment des utilisateurs non-spécialistes interprètent les données de performance des modèles de fondation robotiques (RFM, Robot Foundation Models), ces architectures d'IA généraliste conçues pour piloter des robots domestiques polyvalents comme ceux développés par Physical Intelligence (pi0), Google DeepMind (GR00T N2) ou Figure AI. Le cœur du problème : lorsqu'un utilisateur demande à un robot RFM d'effectuer une tâche hors de son domaine d'entraînement, il doit pouvoir évaluer le risque d'échec, qui peut être coûteux, voire dangereux. Les chercheurs ont exposé des participants à des données réelles issues de plusieurs projets RFM publiés, incluant le taux de succès aux tâches (TSR, Task Success Rate), des descriptions de cas d'échec et des vidéos de démos. Les résultats montrent que les non-experts comprennent et utilisent le TSR de façon conforme aux attentes des spécialistes, ce qui valide son usage comme métrique primaire dans les publications académiques. Mais la découverte la plus significative est ailleurs : les utilisateurs accordent une valeur élevée aux descriptions de cas d'échec, une information rarement reportée de façon systématique dans les évaluations de RFMs. Par extension, ils souhaitent disposer à la fois de données historiques issues des évaluations passées du modèle et d'estimations proactives du robot sur ses chances de succès face à une tâche inédite. Cette attente soulève un défi concret pour les intégrateurs et les équipes produit : la transparence sur les limites du modèle n'est pas optionnelle si l'on vise un déploiement grand public. Ce travail s'inscrit dans un débat plus large sur le fossé entre les démos laboratoire et l'usage réel, souvent qualifié de "demo-to-reality gap". Alors que le secteur converge vers des benchmarks standardisés comme DROID ou Open-X-Embodiment pour comparer les RFMs entre eux, la question de leur lisibilité par les décideurs non-techniques reste largement ouverte. Des acteurs comme Enchanted Tools en France ou Wandercraft misent sur des interfaces d'interaction proches de l'utilisateur final, mais peu d'équipes formalisent encore la communication sur les taux d'échec. Cette étude plaide pour l'intégration de "failure reporting" structuré dans les fiches produit et les publications techniques, une évolution qui pourrait devenir un critère de certification dans les futures réglementations européennes sur la robotique.

UEL'étude plaide pour un 'failure reporting' structuré qui pourrait devenir un critère de certification dans les futures réglementations européennes sur la robotique, concernant directement Enchanted Tools et Wandercraft pour leurs fiches produit.

RecherchePaper

1 source

3arXiv cs.RO

Ancrer la généralisation robotique dans les données d'entraînement via des VLM à récupération augmentée

Des chercheurs présentent RADAR, un framework qui compare directement les taches d'évaluation utilisées pour tester des politiques de manipulation robotique aux données d'entrainement de ces mêmes politiques, décrit dans un article arXiv (2603.11426, version 3, mise a jour d'une publication antérieure). Le système fonctionne en deux étapes : une phase de récupération (retrieval) s'appuie sur des embeddings de politiques généralistes pour identifier, parmi les données d'entrainement, les exemples les plus pertinents pour une tache d'évaluation donnée ; puis des modèles vision-langage (VLM) comparent cette tache aux exemples retrouves selon plusieurs axes, produisant une analyse interprétable et une classification du type de généralisation requis, de la simple variation proche de la distribution d'entrainement jusqu'au scenario réellement inédit. Des expériences contrôlées montrent que les VLM identifient correctement ce type de généralisation et que l'étape de récupération isole efficacement les exemples pertinents. Les auteurs appliquent ensuite RADAR a des jeux de données a grande échelle, ou les classifications produites concordent avec des catégories de benchmarks définies manuellement par des travaux antérieurs. Une démonstration est disponible sur radar-analysis.github.io. L'enjeu dépasse la pure méthodologie de recherche. Dans un secteur domine par des annonces de "généralisation" autour de modèles vision-langage-action (VLA) comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, il est aujourd'hui quasi impossible pour un intégrateur ou un décideur B2B de vérifier si une tache de démonstration constitue réellement un test hors distribution, ou si elle ressemble fortement a des exemples déjà vus a l'entrainement. RADAR propose un outil d'audit systématique de cet écart entre discours marketing et réalité technique, en remplaçant l'évaluation subjective par une comparaison quantifiable aux données réelles. Pour l'industrie, cela ouvre la voie a des benchmarks plus rigoureux, capables de distinguer une véritable avancée en généralisation d'un recyclage de scenarios familiers présentes comme des démonstrations impressionnantes. Ce travail s'inscrit dans un mouvement plus large visant a mieux caractériser les limites réelles des politiques généralistes, alors que la course aux robots humanoïdes et aux modèles fondation pour la manipulation s'appuie largement sur des vidéos de démonstration difficiles a vérifier indépendamment. La troisième version de l'article, publiée comme mise a jour sur arXiv, suggère une itération après retours de la communauté scientifique. Aucun acteur français ou européen n'est mentionne dans cette publication, qui reste pour l'instant un outil de recherche académique plutôt qu'un produit commercial : la suite logique serait son adoption par des laboratoires tiers ou des organismes de benchmark pour auditer les claims de généralisation des grands modèles VLA du marche.

UEAucun acteur francais ou europeen n'est mentionne, mais cet outil d'audit pourrait aider les integrateurs europeens a verifier les claims de generalisation avant d'adopter un modele VLA.

RecherchePaper

1 source

4arXiv cs.RO

Les politiques robotiques compactes exigent des représentations visuelles fines

Des chercheurs proposent CoRP (Compressed Representation Policy), une politique de manipulation multi-tâches volontairement compacte: 48,9 millions de paramètres, sans modèle vision-langage ni prior génératif vidéo. Elle sépare un extracteur de représentation d'un générateur d'actions par flow matching. Elle atteint 97,0 % de réussite sur LIBERO et 75,78 % (Clean) et 73,36 % (Randomized) sur RoboTwin 2.0, soit des scores comparables à ceux de systèmes 40,9 à 163,6 fois plus gros. Il s'agit de résultats de benchmarks en simulation, publiés sous forme de préprint arXiv, sans déploiement réel annoncé. Les auteurs fixent ensuite le générateur d'actions et font varier une seule propriété de l'extracteur à la fois. Un ViT-S/14 initialisé aléatoirement tombe à 78,1 % sur LIBERO, un ResNet-34 pré-entraîné sur ImageNet à 74,5 %, et geler l'encodeur coûte 19,8 points. Rééchantillonner chaque vue à 48 tokens bat le passage de tous les tokens de patchs (97,0 % contre 83,2 %). Le résultat remet en cause une lecture courante du secteur: les gains des VLA (vision-language-action) viendraient surtout de l'échelle ou des priors génératifs. Faute de comparaisons contrôlées, les publications mélangent architecture, taille et pré-entraînement, et ne permettent pas d'isoler ce qui compte. Ici, la représentation visuelle serait le facteur dominant: pré-entraînée, adaptée à la tâche et compressée. Pour un intégrateur ou un décideur, la portée est pratique: une politique de moins de 50 M de paramètres peut tourner sur du matériel embarqué modeste, avec une latence et un coût d'inférence bien plus faibles que des modèles de plusieurs milliards de paramètres. Deux résultats nuancent toutefois cette idée. Un goulot d'information variationnel est pire qu'un budget dur de tokens: il fait chuter LIBERO-Goal de 95,8 % à 33,0 %, car il supprime la sélection de tokens dépendante de l'instruction. Le langage n'aide que si l'observation laisse le but ambigu (LIBERO-Goal passe de 9,2 % à 95,8 %), alors que sur RoboTwin 2.0 sa suppression améliore légèrement le succès. Ce travail s'inscrit dans la course aux grands VLA (Pi-0, GR00T, Helix, entre autres), qui misent sur des backbones vision-langage massifs ou des priors vidéo. CoRP défend la voie inverse, celle de la politique frugale, et ajoute un argument d'ablation à un débat encore ouvert. Les limites sont claires: LIBERO est déjà proche de la saturation, RoboTwin 2.0 reste simulé, et rien ne dit que ces conclusions tiennent sur des tâches longues, du matériel varié ou des environnements industriels non structurés. La suite logique est une validation sur robots réels et la comparaison avec des modèles de grande taille dans les mêmes conditions. Une page projet est disponible à l'adresse corp-policy.github.io.

UEUne politique de manipulation de moins de 50 M de paramètres, validée uniquement en simulation, pourrait à terme permettre aux intégrateurs européens de robots industriels (KUKA, ABB, Universal Robots, Festo) d'embarquer l'IA sur du matériel modeste avec un coût d'inférence réduit, mais sans déploiement réel annoncé l'impact reste prospectif.

RecherchePaper

1 source