RecherchearXiv cs.RO 7 juillet 2026

MUSON : jeu de données multimodal orienté raisonnement pour la navigation socialement conforme en milieu urbain

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche publie MUSON, un nouveau jeu de données multimodal destiné à entraîner les robots et systèmes de navigation autonome à respecter les normes sociales dans les espaces partagés avec des humains. Le corpus comprend 10 110 échantillons égocentriques (captés à la première personne, comme le ferait un robot ou un piéton) collectés dans des scènes intérieures et extérieures variées. Chaque échantillon est annoté selon un cadre structuré en cinq étapes de raisonnement en chaîne : perception, prédiction, raisonnement, action et explication, avec un espace de décision standardisé à six actions possibles et une modélisation explicite des contraintes physiques statiques (obstacles fixes, rétrécissements de passage, etc.). Les chercheurs ont évalué dix modèles vision-langage (VLM) de taille petite à moyenne sur ce benchmark. Qwen3-VL-8B, développé par Alibaba, arrive en tête avec une précision d'action de 0,7765, un score Macro-F1 de 0,7490 et le taux de collision le plus bas parmi les modèles testés, à 0,0609. Le dataset est publié en accès libre sur GitHub sous la version 1.0.

Cette publication répond à un manque identifié dans la recherche en navigation sociale : jusqu'ici, aucun jeu de données à grande échelle ne combinait annotations égocentriques et raisonnement structuré pour ce cas d'usage précis. Les modèles vision-langage génériques, même performants sur des tâches visuelles classiques, peinent à interpréter finement les normes sociales implicites (céder le passage, anticiper une trajectoire piétonne, respecter une distance de confort) sans fine-tuning spécifique. En fournissant un benchmark reproductible avec des métriques comparables, MUSON offre aux équipes de recherche en robotique mobile et en véhicules autonomes de proximité un outil pour évaluer objectivement leurs modèles, plutôt que de se fier à des démonstrations ponctuelles souvent peu représentatives des conditions réelles.

Le projet s'inscrit dans la lignée des travaux récents cherchant à exploiter les VLM comme couche de raisonnement de haut niveau pour la navigation robotique, en complément des piles de perception et de contrôle bas niveau classiques. Contrairement à une annonce produit, il s'agit ici d'une contribution académique dont la valeur dépendra de son adoption par la communauté comme référence d'évaluation, à l'image d'autres benchmarks ayant structuré des sous-domaines de la robotique ces dernières années. Le code et les données étant publics, les prochaines étapes attendues sont des extensions du dataset et des comparaisons avec des modèles plus volumineux ou spécialisés.

À lire aussi

1arXiv cs.RO

EgoWalk : un jeu de données multimodal pour la navigation robotique en conditions réelles

Une équipe de chercheurs a publié EgoWalk, un dataset multimodal de 50 heures de navigation humaine destiné à entraîner des algorithmes de navigation robotique en conditions réelles. Les données ont été collectées dans une grande variété d'environnements intérieurs et extérieurs, sur plusieurs saisons et sites géographiques différents. Le dataset comprend les données brutes ainsi qu'un format prêt pour l'apprentissage par imitation (Imitation Learning), accompagné de pipelines automatisés générant deux types de sous-datasets dérivés : des annotations d'objectifs en langage naturel et des masques de segmentation de traversabilité. L'ensemble des pipelines de traitement et la description de la plateforme matérielle utilisée pour la collecte sont publiés en open source. L'intérêt principal d'EgoWalk réside dans la rareté des datasets de navigation en conditions non contrôlées, à grande échelle et couvrant plusieurs saisons. La majorité des systèmes de navigation robotique actuels souffrent d'un écart sim-to-real persistant, faute de données réelles suffisamment diversifiées. En proposant simultanément des annotations langage naturel et des masques de traversabilité générés automatiquement, EgoWalk vise à réduire le coût de labellisation manuelle qui freine le développement de modèles vision-langage-action (VLA) pour la navigation outdoor. La publication open source des pipelines permet aux équipes de réplication de reconstruire des datasets similaires sur leur propre plateforme, ce qui est un signal positif pour la reproductibilité dans le domaine. La navigation autonome en environnements non structurés reste l'un des défis centraux de la robotique mobile, que ce soit pour les robots de livraison, les plateformes de surveillance ou les assistants mobiles. EgoWalk s'inscrit dans un mouvement plus large de constitution de datasets ego-centriques, aux côtés d'initiatives comme SCAND (UT Austin) ou des travaux de Boston Dynamics et de Google DeepMind sur la navigation en extérieur. Le fait que les données soient collectées du point de vue humain, plutôt que depuis un robot, soulève la question du transfert de domaine, que les auteurs reconnaissent implicitement en proposant des benchmarks et études de diversité. Les prochaines étapes naturelles seraient la validation sur des plateformes robotiques réelles et l'intégration dans des architectures de type foundation model pour la navigation.

RechercheActu

1 source

2arXiv cs.RO

ACME : jeu de données multiculturel et multi-incarnation pour la navigation sociale

Wandercraft, Pollen Robotics ou tout autre acteur français ne figurent pas dans cette étude, qui reste une publication de recherche pure sur arXiv. Voici la synthèse. Une équipe de chercheurs publie ACME (Cross-cultural, Multi-Embodiment dataset), un jeu de données destiné à la navigation sociale des robots, collecté sur 8 sites répartis dans 5 pays et utilisant 7 embodiments robotiques différents. Le corpus totalise 29,35 heures de données embarquées capturées directement par les robots et 43,5 heures de suivi piéton en vue aérienne. Contrairement aux jeux de données existants, ACME cible spécifiquement des scénarios de navigation orientée objectif en environnement social complexe, avec des interactions explicites robot-foule incluant la parole du robot comme signal d'interaction. Le dataset fournit des features de scène en 2D et 3D, des données d'odométrie, des informations d'interaction et des trajectoires piétonnes annotées manuellement, disponibles à la fois en format brut binaire et en version lisible par sensor modality. L'enjeu pour l'industrie robotique est celui de la généralisation. Les politiques de navigation sociale entraînées aujourd'hui reposent souvent sur des corpus captés dans un seul pays, avec un seul type de robot, ce qui expose les systèmes déployés à un risque de mauvaise généralisation face à des normes culturelles de proxémie ou de comportement piéton différentes. En couvrant plusieurs cultures et embodiments simultanément, ACME répond directement à cette limite documentée dans la littérature. Les auteurs affirment que leur dataset capture des scénarios plus complexes et une distribution de comportements piétons plus large que les jeux de données précédents, une évaluation qualitative et quantitative qui reste toutefois auto-rapportée par l'équipe elle-même et mériterait une validation indépendante avant d'être prise comme référence de facto. Ce travail s'inscrit dans une dynamique plus large de la recherche en robotique mobile, où la multiplication des robots de service et de livraison en espace partagé avec des humains a rendu criante l'absence de données d'entraînement culturellement diverses. La publication ouverte du dataset, avec formats bruts et annotés, vise à en faire un benchmark communautaire pour entraîner des politiques de navigation et des modèles de prédiction de trajectoires piétonnes, sans qu'aucune date de disponibilité publique ou dépôt associé ne soit précisé dans l'abstract.

RecherchePaper

1 source

3arXiv cs.RO

Bi3 : un jeu de données biplateforme, biculturel et bipersonnel pour la navigation des robots sociaux

Bi3 est un jeu de données pour la navigation sociale de robots en espaces contraints, publié en preprint sur arXiv en mai 2026. L'expérience place systématiquement un robot face à deux humains dans un espace de laboratoire restreint, avec 74 participants recrutés sur deux sites : un aux États-Unis, un en France. Le dataset totalise 10,5 heures de trajectoires avec vérité terrain pour humains et robots, des flux vidéo RGB et des évaluations subjectives des participants sur les performances du robot. Cinq algorithmes de navigation distincts ont été testés sur deux plateformes robotiques différentes, ce qui constitue une couverture algorithmique et matérielle inédite dans ce domaine. La navigation sociale en milieu dense reste l'un des verrous techniques majeurs de la robotique de service et de la logistique en environnement humain. Les benchmarks existants souffrent généralement d'un biais culturel marqué et d'une densité d'interaction artificiellement faible. Bi3 cible ces lacunes directement : la dimension biculturelle France/USA permet de tester si les comportements proximaux humains varient selon les normes sociales locales, une hypothèse rarement éprouvée empiriquement. Les métriques publiées, densité d'interaction et vélocité humaine, montrent une complexité comportementale supérieure aux datasets précédents, ce qui en fait un terrain d'évaluation plus exigeant pour les modèles de prédiction de mouvement et les politiques de contrôle de navigation. Ce dataset s'inscrit dans l'effort collectif de la communauté robotique pour réduire l'écart entre simulations et déploiements réels. La présence d'un site de collecte en France est notable : elle apporte une représentation européenne rare dans ce type de benchmark, où les données américaines ou asiatiques dominent historiquement. Bi3 est conçu comme une ressource ouverte pour entraîner des architectures VLA (Vision-Language-Action) et des politiques de navigation en espaces denses, ainsi que des modèles de prédiction de mouvement humain. À ce stade, il s'agit d'un preprint académique, pas d'un déploiement opérationnel. Les suites naturelles incluent l'intégration dans des benchmarks standardisés et l'utilisation pour affiner des politiques de navigation sur des AMR (Autonomous Mobile Robots) en environnement industriel ou hospitalier.

UELa présence d'un site de collecte en France apporte des données comportementales européennes dans un benchmark de navigation sociale, offrant une référence plus représentative pour calibrer des AMR déployés en milieu hospitalier ou industriel en Europe.

RecherchePaper

1 source

4arXiv cs.RO

PRISM : cartographie multimodale de terrain pour la navigation d'un rover en environnement non structuré

Des chercheurs présentent PRISM, un système de perception multimodale destiné à la cartographie de terrain pour la navigation de rovers en environnements non structurés, dans un article publié sur arXiv (2607.16366v1). Le système s'appuie sur une suite de capteurs personnalisée capturant simultanément des images RGB, de profondeur et thermiques alignées, format noté RGB-D-T. Son cœur algorithmique, baptisé OmniUnet, est un réseau basé sur les vision transformers, conçu spécifiquement pour la segmentation sémantique multimodale de terrain. Les auteurs ont validé leur approche sur deux jeux de données inédits, BASEPROD et LAENTIEC, annotés pour l'occasion, puis testé le système lors d'expériences de terrain réelles. Point notable, PRISM tourne sur un calculateur embarqué aux ressources limitées et génère des cartes de franchissabilité directement exploitables par le sous-système de guidage, navigation et contrôle (GNC) du rover. L'intérêt principal de ces travaux réside dans l'ajout de l'imagerie thermique aux capteurs optiques et de profondeur classiques, une combinaison qui améliore la différenciation des types de terrain, notamment dans des conditions où la seule vision RGB-D peine (faible luminosité, ombres, poussière, végétation ambiguë). Pour l'industrie de la robotique de terrain, planétaire ou tout-terrain, cela répond à un vrai point de friction : la fiabilité de la cartographie de franchissabilité conditionne directement la sécurité de navigation autonome sur pentes raides ou sols rocheux. Le fait que le pipeline complet, capteurs, réseau de segmentation et génération de carte, fonctionne sur du matériel embarqué contraint constitue une démonstration concrète de faisabilité, plutôt qu'une simple preuve de concept en simulation, ce qui distingue ce travail d'approches purement académiques limitées au laboratoire. Ce papier s'inscrit dans une tendance plus large de fusion de capteurs pour la perception robotique en extérieur, où les systèmes purement RGB-D montrent des limites face à la diversité des textures et éclairages du terrain naturel. Contrairement à des annonces de robots humanoïdes très médiatisées, il s'agit ici d'une contribution académique (preprint arXiv, non encore relu par les pairs) centrée sur les rovers et véhicules autonomes tout-terrain, un segment où les acteurs de référence restent les programmes d'exploration planétaire et la robotique de défense ou agricole. Les prochaines étapes attendues concernent l'extension des jeux de données et des essais terrain supplémentaires pour confirmer la robustesse du système dans des conditions plus variées.

RecherchePaper

1 source