RecherchearXiv cs.RO 4 juin 2026

Comment les utilisateurs évaluent les performances des modèles fondation robotiques au-delà du taux de réussite des tâches

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une étude publiée sur arXiv (arXiv:2602.03920) examine comment des utilisateurs non-spécialistes interprètent les données de performance des modèles de fondation robotiques (RFM, Robot Foundation Models), ces architectures d'IA généraliste conçues pour piloter des robots domestiques polyvalents comme ceux développés par Physical Intelligence (pi0), Google DeepMind (GR00T N2) ou Figure AI. Le cœur du problème : lorsqu'un utilisateur demande à un robot RFM d'effectuer une tâche hors de son domaine d'entraînement, il doit pouvoir évaluer le risque d'échec, qui peut être coûteux, voire dangereux. Les chercheurs ont exposé des participants à des données réelles issues de plusieurs projets RFM publiés, incluant le taux de succès aux tâches (TSR, Task Success Rate), des descriptions de cas d'échec et des vidéos de démos.

Les résultats montrent que les non-experts comprennent et utilisent le TSR de façon conforme aux attentes des spécialistes, ce qui valide son usage comme métrique primaire dans les publications académiques. Mais la découverte la plus significative est ailleurs : les utilisateurs accordent une valeur élevée aux descriptions de cas d'échec, une information rarement reportée de façon systématique dans les évaluations de RFMs. Par extension, ils souhaitent disposer à la fois de données historiques issues des évaluations passées du modèle et d'estimations proactives du robot sur ses chances de succès face à une tâche inédite. Cette attente soulève un défi concret pour les intégrateurs et les équipes produit : la transparence sur les limites du modèle n'est pas optionnelle si l'on vise un déploiement grand public.

Ce travail s'inscrit dans un débat plus large sur le fossé entre les démos laboratoire et l'usage réel, souvent qualifié de "demo-to-reality gap". Alors que le secteur converge vers des benchmarks standardisés comme DROID ou Open-X-Embodiment pour comparer les RFMs entre eux, la question de leur lisibilité par les décideurs non-techniques reste largement ouverte. Des acteurs comme Enchanted Tools en France ou Wandercraft misent sur des interfaces d'interaction proches de l'utilisateur final, mais peu d'équipes formalisent encore la communication sur les taux d'échec. Cette étude plaide pour l'intégration de "failure reporting" structuré dans les fiches produit et les publications techniques, une évolution qui pourrait devenir un critère de certification dans les futures réglementations européennes sur la robotique.

Impact France/UE

L'étude plaide pour un 'failure reporting' structuré qui pourrait devenir un critère de certification dans les futures réglementations européennes sur la robotique, concernant directement Enchanted Tools et Wandercraft pour leurs fiches produit.

Dans nos dossiers

Figure Wandercraft Enchanted Tools — Mirokaï NVIDIA GR00T

À lire aussi

1arXiv cs.RO

Au-delà de la réussite de la tâche finale : comment auditer la récupération d'expériences visuelles en robotique

Une nouvelle méthodologie d'audit publiée sur arXiv (2609.26567v1) s'attaque à un angle mort de la robotique par réutilisation d'expériences: la plupart des systèmes sélectionnent, dans une bibliothèque d'expériences passées, celle à réutiliser dans une scène nouvelle par simple similarité visuelle, et les évaluations ne rapportent que le taux de succès final, sans dire si ce choix fait scène par scène est réellement bon. Les auteurs testent leur audit sur deux tâches de manipulation, trois mécanismes de réutilisation et des bibliothèques de K=3, 10 et 50 expériences, en exécutant systématiquement chaque expérience stockée sur chaque scène de requête pour cinq méthodes de sélection basées sur la distance du plus proche voisin dans des espaces d'embeddings visuels allant des pixels bruts à CLIP. Résultat central: une seule expérience fixe, choisie a posteriori, capture déjà 30 à 58% de l'écart entre sélection aléatoire et un oracle optimal, la sélection scène par scène n'ajoutant que 0,07 à 0,15 point de taux de succès. À partir de K=10, les règles visuelles se concentrent sur une seule expérience 1,5 à 3 fois plus que l'oracle, et leur score reflète alors surtout la qualité de cette expérience dominante. La distance visuelle prédit bien la réussite d'une paire donnée (AUROC jusqu'à 0,96) mais classe mal les candidats au sein d'une même scène, à peine mieux que le hasard pour quatre des cinq embeddings à K=50 (AUROC 0,45-0,52). Ce travail remet en cause une hypothèse répandue dans la robotique fondée sur la récupération d'expériences, y compris dans les architectures vision-langage-action: la similarité visuelle, même via CLIP, ne garantirait pas une bonne sélection à l'échelle, et une part importante des gains de performance attribués à un mécanisme de sélection viendrait en réalité de la simple présence d'une expérience générique très transférable dans la bibliothèque. Comparée à un mélange aléatoire conservant les mêmes taux de sélection mais réassignant les scènes au hasard, chaque règle testée se révèle en fait moins bonne dès qu'elle s'en écarte significativement, pour toutes les politiques d'images apprises évaluées. Pour les équipes qui développent des systèmes adaptatifs par réutilisation plutôt que par ré-entraînement, cela signifie qu'optimiser le mécanisme de sélection sans auditer la composition de la bibliothèque peut être un mauvais usage des ressources d'ingénierie. Cette contribution s'inscrit dans la montée des approches d'adaptation par réutilisation de trajectoires stockées, alternative au ré-entraînement complet de politiques popularisée par les architectures VLA. Faute d'une méthode pour distinguer l'apport du mécanisme de sélection de celui de la bibliothèque, le secteur s'appuyait jusqu'ici sur un score agrégé trompeur. Comme l'exécution exhaustive de chaque expérience sur chaque scène reste impraticable en conditions réelles, les auteurs proposent deux rapports simples que toute étude future pourrait fournir sans audit complet: la distribution des expériences effectivement sélectionnées, et le taux de succès de la meilleure expérience unique déterminée après coup.

RecherchePaper

1 source

2arXiv cs.RO

LIBERO-RECOVER : au-delà de la réussite des tâches, la récupération après échec dans les modèles de manipulation robotique

Des chercheurs ont publié le 5 septembre 2026 sur arXiv (2609.05178) LIBERO-Recover, un benchmark consacré à la récupération après échec des modèles de manipulation robotique Vision-Language-Action (VLA) ou World Action (WAM). Construit à partir de LIBERO, référence de l'apprentissage robotique en simulation, il rassemble plus de 1 000 scénarios d'échecs réels issus de modèles état de l'art, répartis en quatre niveaux : réessai d'action, adaptation d'action, récupération de l'état de l'objet et récupération environnementale. Il évalue quatre compétences : compréhension spatiale, raisonnement sur la structure des objets, compréhension des interactions et raisonnement topologique. Le projet est disponible sur liulin815.github.io/LIBERO-Recovery. L'enjeu est réel pour les intégrateurs et décideurs du secteur robotique : les modèles les plus avancés affichent des taux de succès proches de 100% sur LIBERO, souvent présentés comme preuve de maturité pour un déploiement réel. Les auteurs contestent cette lecture, car ces scores mesurent l'exécution de tâches depuis des états initiaux idéaux, sans jamais tester la réaction à une prise ratée, une collision ou un déplacement involontaire d'objet, situations pourtant inévitables hors laboratoire. LIBERO-Recover déplace ainsi la question de la réussite d'une tâche vers la capacité à s'en remettre après un échec, nuançant l'idée que le sim-to-real et l'apprentissage par imitation à grande échelle seraient déjà résolus. Pour les industriels évaluant des piles VLA, ce travail rappelle que les scores de benchmark actuels ne garantissent pas la robustesse opérationnelle. Ce travail s'inscrit dans une critique méthodologique croissante des benchmarks de manipulation robotique : LIBERO, désormais jugé saturé, ne mesurait que la réussite finale d'une tâche, jamais la résilience face à l'imprévu. Il s'agit d'une contribution académique en preprint, sans lien annoncé avec un produit commercial : aucun robot physique, partenariat industriel ni calendrier de commercialisation n'est mentionné. Les auteurs présentent LIBERO-Recover comme le premier benchmark à grande échelle consacré à la récupération après échec en robotique incarnée, un manque notable face à la multiplication des modèles fondation pour la manipulation. La suite attendue est l'adoption de ce protocole par la communauté pour évaluer les futurs modèles VLA sur cet axe de robustesse, plutôt que sur le seul taux de succès brut.

RecherchePaper

1 source

3arXiv cs.RO

Kitchen Robotic Manipulation utilisant des modèles fondation

Un pipeline de perception modulaire pour la manipulation robotique en cuisine, dédié notamment au tri de la vaisselle, vient d'être détaillé dans un article publié sur arXiv (2608.04042) par l'équipe RAIVLab. Le système enchaîne détection d'objets en vocabulaire ouvert, segmentation multi-vues, reconstruction 3D par instance, puis fusion de caractéristiques 2D-3D pour l'estimation de pose en 6D et la planification de préhension. Sa conception modulaire permet de substituer librement les modèles de fondation visuels et géométriques utilisés à chaque étage. Après une évaluation extensive, la combinaison la plus performante identifiée associe LLMDet pour la détection, SAMv2 pour la segmentation, DINOv2 pour l'extraction de caractéristiques et GeoTransformer pour le recalage géométrique. Sur un benchmark maison de 20 scènes de cuisine encombrées et partiellement occultées, cette configuration atteint un score ADI de 89,12%. Les auteurs ont aussi testé le système sur un robot physique, avec deux tâches concrètes : le transfert de vaisselle de l'évier au lave-vaisselle et l'empilement de tasses, sans réentraînement spécifique à l'environnement testé. Pour l'industrie robotique, l'intérêt tient moins à la performance brute, mesurée sur un benchmark propriétaire donc non directement comparable à d'autres travaux, qu'à la démonstration qu'un assemblage de modèles de fondation "sur étagère" peut généraliser sans réentraînement à un nouvel environnement domestique encombré. C'est un point sensible pour les intégrateurs qui cherchent à déployer des robots de service en cuisine ou en restauration collective : la robustesse à l'occlusion et au désordre reste l'un des principaux obstacles entre démonstration en laboratoire et usage réel. En proposant une architecture modulaire plutôt qu'une politique bout en bout, l'équipe offre aussi une méthodologie réutilisable pour comparer objectivement les modèles de vision et de géométrie disponibles, un exercice rarement mené de façon aussi systématique. Ce travail s'inscrit dans la vague plus large des modèles de fondation appliqués à la robotique, où des architectures comme SAM ou DINO, conçues au départ pour la vision générique, sont réutilisées comme briques de perception dans des pipelines de manipulation, en complément des politiques de bout en bout de type VLA telles que Pi-0 ou GR00T N2. Contrairement à ces dernières, qui apprennent directement une politique d'action, cette approche se concentre sur la perception et l'estimation de pose en amont de la préhension. Publié en preprint sans mention de partenariat industriel, le projet met à disposition son code et ses données sur GitHub, une étape qui devra être suivie d'une validation sur un éventail plus large de tâches et d'environnements avant d'envisager un usage industriel.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage sûr pour les tâches robotiques à contact riche : état de l'art, des méthodes classiques aux modèles fondation sécurisés

Une nouvelle version (v3) de l'article de synthèse arXiv 2512.11908, intitulé "Safe Learning for Contact-Rich Robot Tasks: A Survey from Classical Learning-Based Methods to Safe Foundation Models", dresse un état des lieux des méthodes d'apprentissage sûr appliquées aux tâches robotiques à contact riche, comme l'assemblage, l'insertion de pièces ou la manipulation fine. Les auteurs classent les approches existantes en deux grandes familles : l'exploration sûre et l'exécution sûre. Ils passent en revue des techniques telles que l'apprentissage par renforcement sous contraintes, l'optimisation sensible au risque, la modélisation consciente de l'incertitude, les fonctions de barrière de contrôle et les boucliers de sécurité par commande prédictive. Une section importante du papier étudie comment ces principes de sécurité s'articulent avec les modèles de fondation robotiques émergents, en particulier les modèles vision-langage (VLM) et vision-langage-action (VLA), qui unifient perception, langage naturel et commande motrice. Les auteurs publient une bibliographie et des ressources complémentaires sur un dépôt GitHub dédié. Ce travail de synthèse importe pour les intégrateurs et les décideurs du secteur robotique parce qu'il pointe précisément le goulot d'étranglement qui sépare les démonstrations impressionnantes de manipulation des déploiements industriels fiables : la sécurité, pendant l'apprentissage comme pendant l'exécution. À mesure que les modèles VLA se généralisent dans les bras manipulateurs et les humanoïdes, le papier montre que le langage naturel peut servir à spécifier des contraintes de sécurité et à ancrer des signaux de sécurité multimodaux, mais il souligne aussi que ces mêmes modèles de fondation amplifient les risques et compliquent l'évaluation, faute de méthodologies de test standardisées. C'est un rappel utile que la capacité à générer un comportement plausible ne garantit pas l'absence de dommage lors d'un contact physique réel. Le sujet s'inscrit dans la montée en puissance des modèles de fondation robotiques ces deux dernières années, qui ont déplacé la recherche de contrôleurs spécialisés vers des politiques génériques entraînées à grande échelle, sans que les garanties de sécurité suivent au même rythme. Les auteurs concluent en identifiant les limites actuelles et des pistes de recherche pour des robots fiables et alignés sur la sécurité dans des environnements à contact riche, sans annoncer de produit ni de déploiement concret.

RecherchePaper

1 source