RecherchearXiv cs.RO 4 juin 2026

Comment les utilisateurs évaluent les performances des modèles fondation robotiques au-delà du taux de réussite des tâches

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une étude publiée sur arXiv (arXiv:2602.03920) examine comment des utilisateurs non-spécialistes interprètent les données de performance des modèles de fondation robotiques (RFM, Robot Foundation Models), ces architectures d'IA généraliste conçues pour piloter des robots domestiques polyvalents comme ceux développés par Physical Intelligence (pi0), Google DeepMind (GR00T N2) ou Figure AI. Le cœur du problème : lorsqu'un utilisateur demande à un robot RFM d'effectuer une tâche hors de son domaine d'entraînement, il doit pouvoir évaluer le risque d'échec, qui peut être coûteux, voire dangereux. Les chercheurs ont exposé des participants à des données réelles issues de plusieurs projets RFM publiés, incluant le taux de succès aux tâches (TSR, Task Success Rate), des descriptions de cas d'échec et des vidéos de démos.

Les résultats montrent que les non-experts comprennent et utilisent le TSR de façon conforme aux attentes des spécialistes, ce qui valide son usage comme métrique primaire dans les publications académiques. Mais la découverte la plus significative est ailleurs : les utilisateurs accordent une valeur élevée aux descriptions de cas d'échec, une information rarement reportée de façon systématique dans les évaluations de RFMs. Par extension, ils souhaitent disposer à la fois de données historiques issues des évaluations passées du modèle et d'estimations proactives du robot sur ses chances de succès face à une tâche inédite. Cette attente soulève un défi concret pour les intégrateurs et les équipes produit : la transparence sur les limites du modèle n'est pas optionnelle si l'on vise un déploiement grand public.

Ce travail s'inscrit dans un débat plus large sur le fossé entre les démos laboratoire et l'usage réel, souvent qualifié de "demo-to-reality gap". Alors que le secteur converge vers des benchmarks standardisés comme DROID ou Open-X-Embodiment pour comparer les RFMs entre eux, la question de leur lisibilité par les décideurs non-techniques reste largement ouverte. Des acteurs comme Enchanted Tools en France ou Wandercraft misent sur des interfaces d'interaction proches de l'utilisateur final, mais peu d'équipes formalisent encore la communication sur les taux d'échec. Cette étude plaide pour l'intégration de "failure reporting" structuré dans les fiches produit et les publications techniques, une évolution qui pourrait devenir un critère de certification dans les futures réglementations européennes sur la robotique.

Impact France/UE

L'étude plaide pour un 'failure reporting' structuré qui pourrait devenir un critère de certification dans les futures réglementations européennes sur la robotique, concernant directement Enchanted Tools et Wandercraft pour leurs fiches produit.

Dans nos dossiers

Figure Wandercraft Enchanted Tools — Mirokaï NVIDIA GR00T

À lire aussi

1arXiv cs.RO

Kitchen Robotic Manipulation utilisant des modèles fondation

Un pipeline de perception modulaire pour la manipulation robotique en cuisine, dédié notamment au tri de la vaisselle, vient d'être détaillé dans un article publié sur arXiv (2608.04042) par l'équipe RAIVLab. Le système enchaîne détection d'objets en vocabulaire ouvert, segmentation multi-vues, reconstruction 3D par instance, puis fusion de caractéristiques 2D-3D pour l'estimation de pose en 6D et la planification de préhension. Sa conception modulaire permet de substituer librement les modèles de fondation visuels et géométriques utilisés à chaque étage. Après une évaluation extensive, la combinaison la plus performante identifiée associe LLMDet pour la détection, SAMv2 pour la segmentation, DINOv2 pour l'extraction de caractéristiques et GeoTransformer pour le recalage géométrique. Sur un benchmark maison de 20 scènes de cuisine encombrées et partiellement occultées, cette configuration atteint un score ADI de 89,12%. Les auteurs ont aussi testé le système sur un robot physique, avec deux tâches concrètes : le transfert de vaisselle de l'évier au lave-vaisselle et l'empilement de tasses, sans réentraînement spécifique à l'environnement testé. Pour l'industrie robotique, l'intérêt tient moins à la performance brute, mesurée sur un benchmark propriétaire donc non directement comparable à d'autres travaux, qu'à la démonstration qu'un assemblage de modèles de fondation "sur étagère" peut généraliser sans réentraînement à un nouvel environnement domestique encombré. C'est un point sensible pour les intégrateurs qui cherchent à déployer des robots de service en cuisine ou en restauration collective : la robustesse à l'occlusion et au désordre reste l'un des principaux obstacles entre démonstration en laboratoire et usage réel. En proposant une architecture modulaire plutôt qu'une politique bout en bout, l'équipe offre aussi une méthodologie réutilisable pour comparer objectivement les modèles de vision et de géométrie disponibles, un exercice rarement mené de façon aussi systématique. Ce travail s'inscrit dans la vague plus large des modèles de fondation appliqués à la robotique, où des architectures comme SAM ou DINO, conçues au départ pour la vision générique, sont réutilisées comme briques de perception dans des pipelines de manipulation, en complément des politiques de bout en bout de type VLA telles que Pi-0 ou GR00T N2. Contrairement à ces dernières, qui apprennent directement une politique d'action, cette approche se concentre sur la perception et l'estimation de pose en amont de la préhension. Publié en preprint sans mention de partenariat industriel, le projet met à disposition son code et ses données sur GitHub, une étape qui devra être suivie d'une validation sur un éventail plus large de tâches et d'environnements avant d'envisager un usage industriel.

RecherchePaper

1 source

2arXiv cs.RO

Comment choisir un modèle fondation pour son robot : pour un cadre d'évaluation communautaire des robots sociaux

Un article de recherche publié sur arXiv sous la référence 2608.06898v1 propose un cadre communautaire d'évaluation pour les modèles de fondation utilisés dans les robots sociaux. Les auteurs constatent que les leaderboards publics existants ignorent les exigences de l'interaction sociale incarnée en temps réel, tandis que les évaluations directes avec robots restent trop coûteuses à mener à grande échelle, faute de temps de participants, de robots et d'expérimentateurs disponibles. Ils identifient cinq dimensions clés à évaluer : la compétence conversationnelle, la sécurité de l'utilisateur, le caractère incarné du robot, l'efficacité dans la scène ciblée et l'adéquation au public visé. Leur solution est un entonnoir en trois paliers, du filtrage par métriques générales peu coûteuses jusqu'aux tests spécifiques sur robot, en passant par des interactions simulées. Cette démarche met en lumière un manque structurel pour l'industrie : les modèles de fondation généralistes, de type VLA ou conversationnels, s'imposent de plus en plus dans les robots sociaux destinés à l'accueil, l'assistance ou l'éducation, mais aucun standard ne permet de les comparer sur des critères pertinents pour l'interaction physique et humaine, contrairement aux benchmarks textuels classiques. Pour les intégrateurs et décideurs B2B, cela signifie que le choix d'un modèle repose encore largement sur des essais empiriques coûteux plutôt que sur des références partagées. En structurant l'évaluation en paliers progressifs, les auteurs visent à rendre la sélection plus rapide et mieux informée sans exiger systématiquement des études utilisateurs complètes, limitant ainsi les déploiements bâtis sur des démonstrations sélectionnées ou des métriques peu représentatives. Cette proposition s'inscrit dans une tendance plus large de la robotique sociale, qui délaisse les systèmes de dialogue scriptés au profit de modèles de fondation préentraînés, une évolution parallèle à celle des humanoïdes industriels s'appuyant sur des modèles comme GR00T N2 ou Helix. À la différence de ces annonces produits, il s'agit ici d'un travail de recherche amont, sans robot ni entreprise commerciale nommés, qui cherche à bâtir une méthodologie commune avant que le secteur ne se disperse en benchmarks propriétaires incompatibles. Aucun calendrier n'est précisé, mais les auteurs lancent un appel explicite à la communauté pour combler les méthodes d'évaluation manquantes, notamment sur la sécurité utilisateur et l'adéquation au public, deux dimensions jugées encore insuffisamment couvertes.

RecherchePaper

1 source

3arXiv cs.RO

Modèle fondation de comportement perceptif : adapter les a priori de mouvement humain au terrain robotique

Publiée sur arXiv en juin 2026 (2606.08059), l'architecture Perceptive Behavior Foundation Model (Perceptive BFM) s'attaque à une limite structurelle des modèles fondamentaux de comportement humanoïde : l'hypothèse implicite que les mouvements de référence humains sont physiquement compatibles avec l'environnement du robot. En pratique, quand démonstrateur et robot se trouvent dans des contextes différents, la motion capture ne fournit ni les appuis au sol précis, ni les hauteurs de franchissement, ni les timings de contact requis sur terrain accidenté. Perceptive BFM conserve les références cinématiques brutes comme interface comportementale, tout en intégrant une perception locale du terrain pour adapter dynamiquement contacts, posture et timing. La méthode clé est le TCRS (terrain-conformal reference synthesis) : il retransforme des séquences de mouvement humain en références cohérentes avec le sol via construction d'appuis adaptatifs, optimisation des phases de balancement, reconstruction cinématique et réparation de collisions. L'entraînement suit une architecture enseignant-étudiant : un teacher aveugle apprend les comportements conformes au terrain, puis transfère ce savoir à un student déployé sur références brutes. L'apport concret pour les intégrateurs est une séparation nette entre intention comportementale et adaptation terrain, ce qui rend le système scalable sans motion capture annotée sol par sol. Le student, un Transformer tracker à gating d'identité, n'active les corrections terrain que via des voies résiduelles initialisées à ne rien modifier, ce qui préserve la robustesse du prior de mouvement original. C'est une réponse partielle au débat sur le sim-to-real gap en locomotion humanoïde : l'adaptation repose sur la perception locale plutôt que sur une modélisation globale ou une planification externe, ce qui simplifie le déploiement en environnement non structuré. Ce travail s'inscrit dans l'effervescence des behaviour foundation models pour humanoïdes : Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, ou les politiques corps entier issues de CMU et Stanford sont autant de points de comparaison directs. La question du fossé entre motion priors humains et locomotion réelle avait été partiellement adressée par les travaux sur l'imitation par RL (PHC, AMP, ASE), mais l'extension à des modèles fondamentaux déployables reste ouverte. L'article ne mentionne ni partenariat industriel ni validation hardware publiée : Perceptive BFM est pour l'instant une contribution de recherche sans déploiement terrain confirmé.

RechercheOpinion

1 source

4arXiv cs.RO

SC3-Eval : évaluer les modèles fondation pour la robotique via la génération vidéo auto-cohérente

Une équipe de chercheurs a publié fin juin 2026 SC3-Eval (arXiv:2606.18610), un cadre d'évaluation des politiques de manipulation robotique basé sur la génération vidéo cohérente. Le principe : plutôt que de rouler une politique en conditions réelles, un modèle fondamental vidéo pré-entraîné simule les trajectoires du robot et prédit si la tâche aboutit. SC3-Eval repose sur trois mécanismes de cohérence complémentaires. La cohérence dynamique avant-inverse entraîne simultanément le modèle à prédire les images à partir des actions et à récupérer les actions à partir des images, ancrant les rollouts à un espace d'action physiquement plausible. La cohérence multi-vue oblige le modèle à reconstruire chaque caméra depuis les autres, maintenant la cohérence spatiale sur de longs épisodes. Enfin, à l'inférence, un signal d'incertitude par chunk d'actions interrompt les rollouts dont les images générées divergent des actions demandées. Évalué sur sept politiques vision-langage-action (VLA) réelles, SC3-Eval atteint une corrélation de Pearson de 0,929 avec les résultats terrain et un MMRV de 0,119, surpassant trois baselines vidéo existantes. Ce résultat a une portée pratique immédiate : évaluer une politique de manipulation en conditions réelles est coûteux, lent et difficile à paralléliser. Un corrélat simulé à 0,929 constitue un substitut crédible pour filtrer les candidats politiques avant déploiement physique, réduisant potentiellement les cycles d'itération de plusieurs semaines à quelques heures. Fait notable, SC3-Eval reproduit fidèlement les modes d'échec observés en réel, permettant un diagnostic fin au niveau tâche plutôt qu'un classement agrégé, ce qui est plus actionnable pour un intégrateur. Le cadre se généralise par ailleurs à des tâches hors distribution d'entraînement, un point critique pour les équipes qui développent des politiques généralistes. Ce travail s'inscrit dans la vague d'adoption des modèles VLA commerciaux et de recherche, Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, Helix, OpenVLA, dont l'évaluation standardisée reste un goulot d'étranglement reconnu. Les approches alternatives passent par des simulateurs physiques classiques (MuJoCo, Isaac Sim) ou des rollouts réels coûteux ; les world models vidéo comme UniSim ou IRASim avaient amorcé cette direction mais se heurtaient à la dérive autorégressiveet à l'incohérence multi-caméras que SC3-Eval adresse directement. Le code et les données ne sont pas encore publiés au moment de la préprint, ce qui limite l'adoption immédiate. La prochaine étape logique sera de valider la méthode sur des plateformes humanoïdes à plus haute dimensionnalité, où le coût d'évaluation réelle est encore plus prohibitif.

RechercheOpinion

1 source