FR/EU ecosystemearXiv cs.RO 11 juin 2026

DuoBench : un benchmark reproductible pour la manipulation bimanuelles en simulation et dans le monde réel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié en juin 2026 DuoBench, un cadre de benchmarking dédié à la manipulation bimanuelle, conçu pour la plateforme FR3 Duo de Franka Robotics. Le benchmark comprend onze tâches réparties en quatre catégories de coordination, implémentées en simulation et partiellement reproduites en environnement réel grâce à des protocoles reproductibles incluant des composants imprimables en 3D. Les auteurs ont constitué des jeux de données de télé-opération humaine pour l'ensemble des onze tâches, et proposent un schéma d'évaluation par étapes (stage-based evaluation) permettant une analyse sémantique fine des modes d'échec, au-delà du simple critère binaire succès/échec. Plusieurs politiques d'apprentissage par imitation à deux bras ainsi que des politiques VLA (vision-language-action) ont été évaluées en simulation et sur matériel réel.

Les résultats sont sans ambiguïté : les politiques actuelles, y compris les approches VLA considérées comme l'état de l'art, restent insuffisantes pour la manipulation bimanuelle. Les échecs se concentrent sur trois axes : les phases d'interaction initiale, l'exécution parallèle des deux bras, et le transfert simulation-réel (sim-to-real). Ce dernier point est particulièrement significatif : malgré les progrès récents sur le gap sim-to-real pour la manipulation à un bras, DuoBench révèle que la coordination bimanuelle pose des défis supplémentaires non résolus. Pour les équipes R&D et les intégrateurs industriels, ce benchmark fournit un outil diagnostique structuré pour identifier précisément où les politiques échouent, une lacune que les frameworks existants comme RLBench ou LIBERO, conçus pour les systèmes à un seul bras, ne comblaient pas.

La manipulation bimanuelle est un prérequis pour de nombreuses tâches complexes en industrie (assemblage, conditionnement, manipulation d'objets déformables), ce qui explique l'intérêt croissant du secteur pour les plateformes à deux bras. Le FR3 Duo de Franka Robotics est l'une des rares plateformes de recherche standardisées pour ce segment. Dans la course aux capacités bimanuelles, des acteurs comme Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, ou Figure AI avec ses robots humanoïdes ont annoncé des performances prometteuses, mais les benchmarks publics rigoureux permettant de les comparer restent rares. DuoBench, dont le code, les jeux de données et les vidéos sont disponibles sur duobench.github.io, ambitionne de combler ce manque avec un protocole reproductible que tout laboratoire peut répliquer à faible coût grâce aux assets imprimables en 3D.

Impact France/UE

Franka Robotics (Allemagne) est la plateforme centrale de DuoBench, offrant aux laboratoires et équipes R&D européens un benchmark standardisé et reproductible pour évaluer leurs politiques bimanuelle, y compris les approches VLA, sans disposer de ressources matérielles coûteuses.

Dans nos dossiers

Figure NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Pipeline d'intégration simulation-réel pour l'entraînement et le déploiement de politiques VLA de manipulation par blocs

Des chercheurs du laboratoire ISIR (Sorbonne Université, Paris) ont publié le 21 septembre 2026 sur arXiv (2609.21817) un protocole open-source de transfert simulation-vers-réel pour entraîner des modèles Vision-Language-Action (VLA) de manipulation. Sur un bras Franka FR3, des trajectoires expertes générées en simulation sont rejouées en boucle ouverte, tandis que les observations visuelles et proprioceptives réelles correspondantes sont enregistrées et converties dans un format compatible avec l'entraînement VLA, qui prédit des actions dans l'espace de pose de l'effecteur sous forme de chunks. La même chaîne de déploiement sert ensuite, en boucle fermée, à évaluer la politique entraînée sur un matériel identique. Les jeux de données sont publiés sur Hugging Face et le code sur GitLab (gitlab.isir.upmc.fr/kappel). L'enjeu vise le principal goulot d'étranglement de l'entraînement des VLA : la collecte de démonstrations réelles par téléopération humaine, coûteuse, lente et difficile à faire monter en échelle. En appariant chaque enregistrement réel à la trajectoire simulée qui l'a produit, le protocole offre surtout une mesure directe et chiffrée de l'écart sim-to-real, là où la plupart des annonces du secteur se contentent d'affirmer le problème résolu sans le quantifier. Pour les laboratoires et équipes d'intégration sans flotte de téléopération, l'outil permet de constituer des jeux d'entraînement reproductibles et de comparer objectivement des politiques VLA sur un même banc matériel plutôt que sur des vidéos de démonstration sélectionnées. Ce travail s'inscrit dans une course plus large aux modèles VLA, où des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix) misent sur de vastes jeux de données réelles collectés par téléopération, une dépendance que l'ISIR cherche justement à alléger. Le Franka FR3, bras à sept degrés de liberté du fabricant allemand Franka Robotics, est une plateforme standard des laboratoires de manipulation, sans lien avec les humanoïdes commerciaux comme Optimus ou Figure 03. Il s'agit ici d'une publication académique et non d'un produit ou d'un déploiement industriel : aucun chiffre de charge utile, de temps de cycle ou de volume n'est communiqué, l'ISIR misant sur l'adoption communautaire du code et des données pour que d'autres équipes reproduisent et étendent le protocole à d'autres plateformes robotiques.

UELe laboratoire français ISIR (Sorbonne Universite) publie un protocole et des données open-source qui renforcent la visibilité de la recherche européenne en robotique VLA et offrent aux équipes françaises sans flotte de téléopération un outil reproductible pour entrainer et comparer leurs propres politiques de manipulation.

FR/EU ecosystemePaper

1 source

2arXiv cs.RO

TAVIS : un benchmark pour la vision active égocentrique et le regard anticipateur en apprentissage par imitation

Une équipe de chercheurs a publié TAVIS, un environnement d'évaluation standardisé pour comparer les approches de vision active en apprentissage par imitation, soit la capacité d'une politique robotique à contrôler son propre regard pendant une tâche de manipulation. Le benchmark comprend deux suites : TAVIS-Head (5 tâches avec caméra sur cardan pan/tilt pour la recherche globale de scène) et TAVIS-Hands (3 tâches avec caméras de poignet pour gérer les occlusions locales). Il est construit sur IsaacLab et s'appuie sur deux embodiments de torse humanoïde : le GR1T2 de Fourier Intelligence et le Reachy2 de Pollen Robotics (Bordeaux). Environ 2 200 épisodes de démonstrations téléopérées sont publiés en format LeRobot v3.0 sur HuggingFace, avec Diffusion Policy et π₀ (Physical Intelligence) comme baselines. Trois résultats principaux ressortent : la vision active améliore les performances, mais de façon conditionnelle à la tâche ; les politiques multi-tâches se dégradent nettement sous distribution shift contrôlé ; et l'imitation seule produit un regard anticipatoire dont les temps de préemption médians, mesurés par la métrique GALT (Gaze-Action Lead Time), sont comparables à ceux du téléopérateur humain de référence. Jusqu'ici, plusieurs groupes avaient démontré indépendamment les bénéfices de la vision active en 2024-2025, sans base commune de comparaison. TAVIS comble ce vide avec trois primitives reproductibles : un protocole comparatif caméra mobile/caméra fixe sur des démonstrations identiques, la métrique GALT issue des sciences cognitives et de l'HRI (Human-Robot Interaction), et des splits procéduraux in-distribution/out-of-distribution. Le constat que les gains sont task-conditional invalide l'hypothèse naïve qu'ajouter des degrés de liberté à la caméra améliore systématiquement les performances, nuance décisive pour les intégrateurs industriels. La fragilité sous distribution shift constitue un signal d'alarme concret pour tout déploiement hors simulation. La vision active en manipulation connaît un regain d'intérêt depuis 2024, porté par les progrès des VLA (Vision-Language-Action models) et la disponibilisation de robots humanoïdes à têtes articulées. Le choix de Reachy2 comme plateforme de référence est notable : Pollen Robotics, startup bordelaise fondée en 2016, est l'un des rares acteurs européens dont le robot open-source figure dans des benchmarks académiques internationaux, face aux concurrents américains (Figure, Agility) et asiatiques (Fourier, Unitree). Les prochaines étapes naturelles incluent l'évaluation de politiques VLA récentes comme GR00T N2 ou OpenVLA sur TAVIS, ainsi que le transfert sim-to-real, que le papier ne couvre pas encore.

UEPollen Robotics (Bordeaux) est l'une des deux seules plateformes de référence du benchmark TAVIS, ce qui ancre un acteur français open-source au cœur d'une infrastructure d'évaluation académique internationale pour les politiques VLA.

FR/EU ecosystemePaper

1 source

3arXiv cs.RO

Marinarium : une installation expérimentale modulaire pour la robotique de terrain maritime et analogue-spatiale reproductible

Marinarium est une installation expérimentale modulaire dédiée à la robotique de terrain maritime et aux analogues spatiaux, présentée dans un article déposé sur arXiv (2602.23053v2, version corrigée). L'infrastructure combine un volume opérationnel sous-marin et aérien entièrement instrumenté, un système de capture de mouvement (MoCap), un toit rétractable permettant un fonctionnement à l'abri ou en plein air, un jumeau numérique implémenté via SMaRCSim, et une intégration directe avec un laboratoire de robotique spatiale planaire. Cette dernière connexion permet de mener des expérimentations à la fois maritimes et d'analogie spatiale sous-marine au sein d'une même installation. Les auteurs valident les capacités de Marinarium à travers quatre études représentatives : l'identification de système pilotée par les données pour la dynamique de véhicules sous-marins, un rendez-vous robotique hétérogène multi-domaine, un transfert sim-to-real pour la robotique sous-marine reposant sur des résidus de dynamique appris, et une validation croisée de l'autonomie de véhicules spatiaux à l'aide de substituts sous-marins. L'enjeu affiché par les auteurs est de combler un vide méthodologique persistant entre la simulation à faible coût mais peu fidèle et l'expérimentation offshore, coûteuse et difficile à reproduire. Les bassins instrumentés existants n'offrent généralement qu'un capteur limité, des capacités expérimentales restreintes et une intégration faible avec les outils de simulation. En proposant un banc d'essai intermédiaire reproductible, Marinarium s'adresse directement aux équipes de recherche en robotique de terrain qui doivent aujourd'hui choisir entre des simulations peu représentatives et des campagnes en mer onéreuses. Le recours à des substituts sous-marins pour valider de l'autonomie spatiale illustre aussi une piste économique pour tester des comportements normalement réservés à des essais orbitaux ou lunaires coûteux. Le nom SMaRCSim renvoie au Swedish Maritime Robotics Centre, dont les outils de simulation servent de jumeau numérique à l'installation, suggérant une origine académique suédoise pour ce projet. L'article ne précise pas de partenaires industriels ni de calendrier de déploiement commercial : il s'agit d'une infrastructure de recherche destinée à la communauté scientifique, positionnée comme complément aux bassins d'essai existants plutôt que comme concurrent direct des grandes installations offshore. Les quatre études servent de preuve de concept plutôt que de démonstration à l'échelle industrielle.

UECette installation de recherche suédoise (SMaRC) renforce les capacités européennes en robotique de terrain maritime et en analogues spatiaux, sans impact direct sur la France ni sur une régulation européenne.

FR/EU ecosystemeActu

1 source

4arXiv cs.RO

UMI-Bench 1.0 : un benchmark ouvert et reproductible pour la manipulation robotique de surface avec données UMI

Une équipe de recherche a déposé le 10 juin 2026 le preprint arXiv 2606.10382 décrivant UMI-Bench 1.0, présenté comme le premier benchmark entièrement dédié à l'évaluation en conditions réelles de politiques de manipulation robotique entraînées via l'Universal Manipulation Interface (UMI). Le benchmark cible la manipulation d'objets sur table (tabletop manipulation) et couvre l'intégralité de la chaîne de validation : collecte de données, réinitialisation de scène entre essais, exécution de politique, journalisation des résultats et analyse par facteurs de tâche. Il opère en mode "local-first", c'est-à-dire que les évaluations tournent directement sur robot réel, sans couche de simulation intermédiaire. L'UMI couple observations depuis une caméra montée au poignet, représentation des actions, collecte de démonstrations humaines et déploiement physique, une architecture dont les performances dépendent de la cohérence de chaque maillon. Ce benchmark répond à un problème structurel de l'apprentissage par imitation : l'absence de protocole standardisé conduit chaque équipe à évaluer ses politiques dans des conditions non comparables, ce qui rend la littérature difficile à arbitrer pour un intégrateur ou un décideur industriel. En rendant le processus reproductible et auditable, UMI-Bench permet de mesurer concrètement dans quelle mesure une politique entraînée sur des démonstrations généralise à des configurations physiques inédites, ce que les chercheurs appellent la sim-to-real (ici demo-to-real) generalization. C'est un enjeu central pour les politiques de diffusion (Diffusion Policy) et les VLA (Vision-Language-Action models), dont les performances en démonstration sélectionnée restent difficiles à quantifier sans infrastructure de test commune. L'UMI a été introduit en 2023-2024 par Cheng Chi et al. (Columbia University) comme interface portable de collecte de démonstrations : un opérateur guide un gripper équipé d'une caméra et d'un module de localisation, et les trajectoires servent directement à entraîner des politiques. Le paysage concurrent des benchmarks comprend LIBERO, DROID et le framework LeRobot de Hugging Face, qui proposent leurs propres protocoles mais sans calibration spécifique pour le pipeline UMI. L'étape logique suivante serait l'intégration de modèles fondationnels comme pi-0 (Physical Intelligence) ou OpenVLA dans ce protocole de référence, et l'extension à des tâches multi-étapes.

RecherchePaper

1 source