RecherchearXiv cs.RO 2 juin 2026

RoboBenchMart : évaluation comparative des robots en environnement commercial

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie RoboBenchMart (arXiv:2511.10276), un environnement de simulation open source conçu pour évaluer les robots manipulateurs dans les dark stores de la grande distribution, ces entrepôts automatisés où des systèmes robotiques préparent des commandes e-commerce sans présence humaine. Le benchmark met en scène un manipulateur mobile face à des tâches de manipulation complexes sur des articles d'épicerie variés : saisie en milieu encombré, objets positionnés à hauteurs et profondeurs différentes, configurations spatiales changeantes à chaque évaluation. Plusieurs modèles VLA (Vision-Language-Action) de référence sont évalués dans ce cadre, après fine-tuning sur des trajectoires générées de manière procédurale reproduisant des scénarios réalistes de picking en rayon.

Les résultats indiquent que les VLAs généralistes actuels, malgré leurs performances sur les benchmarks classiques de manipulation en environnement domestique ou de bureau, échouent de manière significative sur des tâches de commerce de détail pourtant courantes. Ce constat valide empiriquement ce que beaucoup soupçonnaient : la généralisation inter-domaines des VLAs reste un problème non résolu. La géométrie des rayonnages, la sémantique des produits emballés et les workflows logistiques sont suffisamment différents des environnements d'entraînement habituels pour mettre en défaut même les modèles les plus avancés. Pour les intégrateurs industriels et les opérateurs de dark stores, cela signifie que les solutions VLA prêtes à déployer dans le retail ne sont pas encore disponibles, malgré les démonstrations convaincantes en laboratoire.

La quasi-totalité des benchmarks robotiques de référence, RLBench, ManiSkill ou LIBERO, ciblent des scénarios domestiques ou de table rase, laissant le domaine du retail largement inexploré côté évaluation standardisée. Des acteurs comme Exotec (FR), pionnier des systèmes Skypod pour entrepôts, ou Ocado Technology (UK) avancent sur l'automatisation des dark stores, mais sans benchmark public partagé. RoboBenchMart comble partiellement ce vide en publiant l'ensemble de la suite : générateur procédural de plans de magasin, pipeline de génération de trajectoires, outils d'évaluation et modèles de base fine-tunés. Les prochaines étapes naturelles incluent l'intégration de robots physiques pour valider le sim-to-real, ainsi que l'extension à des tâches de réassort ou de gestion d'inventaire.

Impact France/UE

Exotec (FR) et les opérateurs de dark stores européens disposent désormais d'un benchmark open source pour objectiver l'écart de performance des VLAs sur le picking retail, ce qui permet de calibrer les décisions d'investissement avant tout déploiement industriel.

Dans nos dossiers

Exotec arXiv cs.RO

À lire aussi

1arXiv cs.RO

Évaluation comparative d'une interface de contrôle XR à stylet pour la navigation semi-autonome de robots mobiles en environnement de service

Une équipe de recherche publie sur arXiv (référence 2609.31117v1) une étude comparant quatre méthodes de commande pour la navigation semi-autonome de robots mobiles de service en environnement domestique. Le système central utilise un stylet commercial de réalité étendue (XR pen) permettant à l'opérateur de pointer un emplacement dans la pièce, de le sélectionner, puis de faire glisser une flèche augmentée pour définir l'orientation souhaitée du robot à cette destination, le tout visualisé en réalité augmentée superposée au monde réel. Trois autres interfaces ont été développées dans le même cadre logiciel : des contrôleurs de mouvement XR, la reconnaissance de gestes de la main, et une base de référence logicielle standard, RViz, pilotée depuis un ordinateur. Dix participants ont testé les quatre méthodes lors de tâches de navigation dans un environnement reconstituant un domicile. Les résultats montrent que le stylet XR obtient le temps de sélection des tâches le plus court et les sélections les plus constantes, tandis que les contrôleurs de mouvement XR reçoivent les meilleurs scores perçus de charge de travail et d'utilisabilité, devant la base RViz. Cette étude s'inscrit dans un enjeu concret pour les intégrateurs de robotique de service : l'autonomie complète reste peu fiable dans des environnements imprévisibles, ce qui oblige à maintenir un contrôle humain accessible à des utilisateurs non experts. Les résultats nuancent l'idée reçue selon laquelle les interfaces XR par gestes ou contrôleurs seraient naturellement intuitives : ici, ce sont les contrôleurs de mouvement, technologie plus mature, qui l'emportent en expérience utilisateur, tandis que le stylet, malgré sa rapidité mesurée, souffre de limitations techniques d'intégration qui dégradent l'expérience. Pour des décideurs évaluant des solutions de supervision robotique, le message est que performance objective (vitesse, précision de sélection) et perception subjective (charge cognitive, facilité d'usage) ne convergent pas nécessairement vers le même outil, un point à trancher avant tout choix d'interface de téléopération à grande échelle. Le travail part du constat que les robots de service peinent à s'implanter dans les foyers, coincés entre une autonomie encore insuffisante et des méthodes de contrôle jugées peu accessibles aux novices. Les chercheurs ont construit trois interfaces XR au sein du même framework logiciel afin de les comparer directement entre elles et face à RViz, l'outil de visualisation standard de l'écosystème ROS utilisé en robotique de recherche. Le stylet XR testé étant décrit comme récemment commercialisé, les auteurs signalent que son intégration logicielle actuelle reste imparfaite, ce qui freine aujourd'hui son expérience utilisateur malgré ses bons résultats de performance brute. L'étude, menée sur un échantillon restreint de dix participants, ouvre la voie à des travaux futurs visant à améliorer cette intégration technique et à élargir la validation à des populations d'utilisateurs plus larges avant tout déploiement en conditions réelles.

RecherchePaper

1 source

2arXiv cs.RO

Évaluation multimodale de la perception robotique en environnements naturels

Des chercheurs du CSIRO (Commonwealth Scientific and Industrial Research Organisation, Australie) ont publié en juin 2026 le benchmark WildCross, un jeu de données multi-modal destiné à évaluer les systèmes de perception robotique dans des environnements naturels non structurés. Le dataset comprend plus de 476 000 frames RGB séquentielles annotées avec profondeur semi-dense, normales de surface, pose 6DoF précise et sous-cartes lidar denses synchronisées. WildCross cible deux tâches clés : la reconnaissance de lieu (place recognition) et l'estimation de profondeur métrique, deux briques fondamentales pour la navigation autonome en extérieur. L'article, disponible en preprint sur arXiv (2606.11563), constitue une extension d'une publication précédente avec un focus particulier sur les expériences d'estimation de profondeur. Le benchmark révèle une faiblesse structurelle des modèles de vision actuels, notamment les vision foundation models (type DINOv2, SAM ou DepthAnything) : entraînés massivement sur des données urbaines structurées (routes, bâtiments, feux de signalisation), ils se dégradent significativement face aux textures répétitives, aux variations d'éclairage et à l'absence de repères géométriques nets caractéristiques des milieux forestiers, agricoles ou montagneux. Pour les intégrateurs en robotique de terrain (agriculture de précision, inspection d'infrastructures, opérations de recherche et sauvetage), cela confirme ce que les praticiens suspectent depuis longtemps : les benchmarks urbains comme KITTI ou NYUv2 ne prédisent pas les performances réelles sur le terrain. Le CSIRO Robotics est l'un des principaux laboratoires mondiaux sur la robotique en environnements difficiles, notamment via ses contributions au challenge DARPA Subterranean et au développement du robot Spot dans des mines australiennes. WildCross entre en compétition directe avec des initiatives comme RUGD, RELLIS ou le benchmark TartanAir sur la question du sim-to-real en outdoor, mais se distingue par l'intégration de lidar dense synchronisé permettant une vérité terrain de profondeur plus fiable. Le dataset et le code sont accessibles publiquement via csiro-robotics.github.io/WildCross. Les prochaines étapes annoncées incluent l'évaluation de modèles VLA (vision-language-action) sur ce corpus, ce qui pourrait élargir la portée du benchmark au-delà de la seule perception passive.

UELes équipes européennes en robotique de terrain (agriculture de précision, inspection d'infrastructures) peuvent utiliser ce benchmark open-source pour évaluer objectivement leurs modèles de perception en environnement non structuré, confirmant que les référentiels urbains classiques ne prédisent pas les performances réelles sur le terrain.

RecherchePaper

1 source

3arXiv cs.RO

Évaluation des robots pour les environnements du quotidien : des essais en laboratoire aux opérations réelles

Un article de recherche interdisciplinaire (arXiv:2609.26490) présente un cadre de benchmarking pour robots déployés en environnements publics, conçu pour combler l'écart entre les métriques de laboratoire classiques et les exigences d'une évaluation en conditions réelles. Trois robots distincts ont été testés sur trois cas d'usage représentatifs du quotidien : le nettoyage de parcs en extérieur, le nettoyage de passages souterrains piétons et l'assistance interactive en bibliothèque. Le processus s'est étalé sur trois ans, de 2023 à 2025, et a compris sept événements de benchmarking, un atelier de consensus et six évaluations sur site, à raison de deux par cas d'usage, menées dans des environnements de test réalistes en intérieur comme en extérieur. Un panel d'experts couvrant la robotique, l'interaction homme-robot, la sécurité et l'économie a conçu et affiné méthodiquement un protocole d'évaluation destiné à analyser la transition des prototypes de laboratoire vers des systèmes opérationnels. Ce travail importe surtout pour la méthodologie qu'il propose plutôt que pour des résultats chiffrés spécifiques : il identifie une grille de facteurs jugés critiques pour un déploiement réussi, à savoir l'accomplissement effectif de la tâche, la qualité de l'interaction avec les usagers, la sécurité et la viabilité économique. Pour les intégrateurs et décideurs B2B, ce cadre offre un outil pour évaluer des robots de service au-delà des démonstrations contrôlées, souvent peu représentatives, et pour objectiver l'écart persistant entre promesses commerciales et performance réelle en environnement non structuré, fréquenté par le public. En l'absence de standard partagé pour comparer des robots hétérogènes hors laboratoire, une telle grille pourrait servir de référence commune aux acheteurs publics et privés évaluant des solutions de nettoyage autonome ou d'assistance robotique. L'article ne nomme ni les robots testés ni les entreprises qui les fabriquent, l'accent étant mis sur la méthode d'évaluation plutôt que sur la promotion de produits commerciaux, ce qui distingue nettement cette démarche des annonces marketing habituelles du secteur des robots humanoïdes ou de service. Elle s'inscrit dans un effort plus large de la communauté robotique pour standardiser l'évaluation des systèmes déployés en environnement public, un enjeu devenu plus pressant à mesure que des robots de nettoyage, de logistique ou d'accueil sortent des laboratoires pour être testés dans des parcs, des espaces urbains ou des bibliothèques. Les auteurs présentent leurs travaux comme une base actionnable pour chercheurs et praticiens, sans annoncer de calendrier de déploiement commercial ni de partenariat industriel précis, ce qui situe clairement cette publication du côté de la recherche méthodologique plutôt que du produit prêt à être commercialisé.

RecherchePaper

1 source

4arXiv cs.RO

Vers des métriques fondées sur les données pour l'évaluation comparative de la navigation sociale des robots

Une équipe de recherche a publié une métrique d'évaluation entièrement pilotée par les données pour la navigation robotique en environnement social, baptisée SN26. Le travail s'appuie sur un jeu de données de 4427 trajectoires, dont 182 enregistrées sur des robots réels et 4245 générées en simulation, notées ensuite par des évaluateurs humains selon des critères de qualité et d'acceptabilité sociale. Après un contrôle qualité des annotations, 4402 trajectoires notées ont été retenues pour entraîner le modèle. Les auteurs présentent des résultats qualitatifs et quantitatifs, dont la perte de test obtenue, une comparaison directe avec les métriques manuelles utilisées jusqu'ici dans le domaine, ainsi qu'une étude d'ablation détaillant la contribution de chaque composante. L'ensemble des données, du code et des poids du modèle a été rendu public. Cette publication répond à un problème concret pour les équipes qui développent des robots mobiles autonomes destinés à évoluer parmi des humains, entrepôts, hôpitaux, espaces commerciaux : l'absence de métrique standardisée et fiable pour juger si une trajectoire de navigation est socialement acceptable. Jusqu'ici, les métriques reposaient sur des règles conçues à la main, distance minimale aux piétons, vitesse, fluidité, qui peinent à capturer la perception humaine réelle du confort ou de l'intrusion. Une métrique apprise à partir de données réelles et d'annotations humaines pourrait devenir un outil de référence pour comparer objectivement des politiques de navigation, y compris celles entraînées par apprentissage par renforcement, et accélérer le passage de la démonstration en simulation au déploiement en conditions réelles, un des points de friction classiques du secteur robotique. Le sujet s'inscrit dans un effort collectif de la communauté de recherche en navigation sociale, où plusieurs benchmarks et simulateurs concurrents coexistent sans consensus sur la métrique d'évaluation à privilégier. En rendant public le dataset, le code et les poids du modèle SN26, les auteurs cherchent explicitement à fournir une base commune réutilisable par d'autres laboratoires et industriels, plutôt qu'un outil propriétaire fermé. Les prochaines étapes attendues concernent l'élargissement du dataset à davantage de trajectoires réelles et l'adoption de cette métrique par d'autres équipes pour valider sa généralisation au-delà du corpus initial.

RecherchePaper

1 source