Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
EgoWalk : un jeu de données multimodal pour la navigation robotique en conditions réelles
RecherchearXiv cs.RO3sem

EgoWalk : un jeu de données multimodal pour la navigation robotique en conditions réelles

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié EgoWalk, un dataset multimodal de 50 heures de navigation humaine destiné à entraîner des algorithmes de navigation robotique en conditions réelles. Les données ont été collectées dans une grande variété d'environnements intérieurs et extérieurs, sur plusieurs saisons et sites géographiques différents. Le dataset comprend les données brutes ainsi qu'un format prêt pour l'apprentissage par imitation (Imitation Learning), accompagné de pipelines automatisés générant deux types de sous-datasets dérivés : des annotations d'objectifs en langage naturel et des masques de segmentation de traversabilité. L'ensemble des pipelines de traitement et la description de la plateforme matérielle utilisée pour la collecte sont publiés en open source.

L'intérêt principal d'EgoWalk réside dans la rareté des datasets de navigation en conditions non contrôlées, à grande échelle et couvrant plusieurs saisons. La majorité des systèmes de navigation robotique actuels souffrent d'un écart sim-to-real persistant, faute de données réelles suffisamment diversifiées. En proposant simultanément des annotations langage naturel et des masques de traversabilité générés automatiquement, EgoWalk vise à réduire le coût de labellisation manuelle qui freine le développement de modèles vision-langage-action (VLA) pour la navigation outdoor. La publication open source des pipelines permet aux équipes de réplication de reconstruire des datasets similaires sur leur propre plateforme, ce qui est un signal positif pour la reproductibilité dans le domaine.

La navigation autonome en environnements non structurés reste l'un des défis centraux de la robotique mobile, que ce soit pour les robots de livraison, les plateformes de surveillance ou les assistants mobiles. EgoWalk s'inscrit dans un mouvement plus large de constitution de datasets ego-centriques, aux côtés d'initiatives comme SCAND (UT Austin) ou des travaux de Boston Dynamics et de Google DeepMind sur la navigation en extérieur. Le fait que les données soient collectées du point de vue humain, plutôt que depuis un robot, soulève la question du transfert de domaine, que les auteurs reconnaissent implicitement en proposant des benchmarks et études de diversité. Les prochaines étapes naturelles seraient la validation sur des plateformes robotiques réelles et l'intégration dans des architectures de type foundation model pour la navigation.

Dans nos dossiers

Boston DynamicsIA physique & VLA

À lire aussi

MiniVLA-Nav v1 : un jeu de données de simulation multi-scènes pour la navigation robotique guidée par le langage
1arXiv cs.RO 

MiniVLA-Nav v1 : un jeu de données de simulation multi-scènes pour la navigation robotique guidée par le langage

MiniVLA-Nav v1 est un dataset de simulation publié sur HuggingFace pour la navigation robotique conditionnée par le langage naturel, tâche désignée LCOA (Language-Conditioned Object Approach). Un robot différentiel NVIDIA Nova Carter reçoit une instruction courte et doit atteindre l'objet nommé en s'arrêtant à moins d'un mètre. Le dataset couvre 1 174 épisodes dans quatre scènes Isaac Sim photoréalistes (bureau, hôpital, entrepôt complet, entrepôt à étagères multiples), chacun annoté avec images RGB 640x640, cartes de profondeur métriques float32, masques de segmentation d'instance et labels d'action à 60 Hz (commandes continues v/omega et tokenisation 7x7 via contrôleur proportionnel visuel). Trois tiers de distance d'initialisation (1,5-3,5 m, 3,5-7,0 m, et lointain curatés) assurent la diversité des trajectoires, avec une corrélation Pearson r=0,94 entre distance de départ et longueur. Douze catégories d'objets et 30 templates (18 d'entraînement, 12 hors distribution) structurent cinq splits d'évaluation. La rareté de données annotées pour entraîner des modèles VLA (Vision-Language-Action) orientés navigation reste un frein reconnu dans la communauté. MiniVLA-Nav v1 y répond avec un benchmark à cinq axes : précision en distribution, robustesse aux paraphrases et généralisation hors distribution sur de nouvelles catégories. La tâche LCOA isole délibérément le grounding linguistique, c'est-à-dire la capacité à relier une instruction verbale à un objet physique, sans mélanger avec la planification globale de chemin. Les labels moteurs continus à 60 Hz offrent une supervision plus fine que la majorité des datasets de navigation verbale existants, souvent limités à des waypoints discrets. La compatibilité native avec l'écosystème Isaac Sim et la plateforme Nova Carter facilite un éventuel transfert sim-to-real vers des robots physiques en milieu industriel ou hospitalier. Ce travail s'inscrit dans la lignée de R2R et REVERIE pour la navigation à instruction verbale, mais avec un focus bas niveau peu commun. La publication, signée Ali Bustami et déposée sur arXiv en mai 2025 (2605.00397), ne présente pas encore de modèle baseline entraîné sur ces données, ce qui en limite la portée empirique immédiate : c'est un dataset, pas une preuve de performance. L'écosystème concurrent inclut Meta AI avec Habitat, Allen AI avec AI2-THOR et plusieurs benchmarks récents de Google DeepMind, mais aucun ne cible spécifiquement le LCOA avec commandes continues à 60 Hz sur plateforme NVIDIA. Le dataset est librement accessible sur HuggingFace (alibustami/miniVLA-Nav), en attente d'un modèle VLA de référence et d'expériences de transfert sim-to-real sur robot physique.

RechercheOpinion
1 source
M2R2 : représentation robotique multimodale pour la segmentation temporelle des actions
2arXiv cs.RO 

M2R2 : représentation robotique multimodale pour la segmentation temporelle des actions

Des chercheurs ont publié fin avril 2025 sur arXiv (2504.18662) un extracteur de représentations multimodal baptisé M2R2 (MultiModal Robotic Representation for Robotic TAS), conçu pour la segmentation temporelle d'actions (TAS) en robotique. L'approche combine des informations proprioceptives (encodeurs, capteurs force-couple, état des articulations) et extéroceptives (caméras RGB) dans un extracteur de features commun, accompagné d'une stratégie d'entraînement inédite permettant la réutilisation de ces représentations sur plusieurs architectures de segmentation indépendantes. Les résultats annoncés positionnent M2R2 à l'état de l'art sur trois jeux de données de référence en robotique : REASSEMBLE (assemblage de composants), (Im)PerfectPour (versage de liquide) et JIGSAWS (chirurgie robotique laparoscopique simulée). Une étude d'ablation extensive quantifie la contribution respective de chaque modalité. L'intérêt principal de M2R2 réside dans la modularité de son extracteur : les approches multimodales existantes en robotique fusionnaient les modalités directement à l'intérieur du modèle de segmentation, rendant les features non réutilisables entre architectures. Ici, le découplage extracteur/modèle de TAS ouvre la voie à une bibliothèque de représentations partageable, ce qui réduit le coût de réentraînement lors du changement de tâche ou de robot. Sur les scénarios à faible visibilité d'objet, les extracteurs purement visuels issus du computer vision chutent en performance, là où l'ajout de la proprioception maintient la robustesse. C'est un résultat concret sur la fragilité des approches vision-seule dans des environnements industriels ou chirurgicaux réels, où occlusions et éclairage variable sont la norme. La segmentation temporelle d'actions est un verrou historique pour l'autonomie des robots manipulateurs : sans identifier les frontières entre skills (saisir, aligner, visser...), il est impossible de planifier, corriger ou réutiliser des séquences de gestes. En chirurgie robotique, JIGSAWS est le benchmark de référence depuis 2016, utilisé notamment dans les travaux autour des plateformes da Vinci (Intuitive Surgical). En robotique industrielle, des acteurs comme Wandercraft ou les équipes de manipulation de Boston Dynamics s'appuient sur des approches similaires pour les transitions de phases motrices. M2R2 reste à ce stade une contribution de recherche académique sans déploiement industriel annoncé, mais son extracteur réutilisable représente un candidat sérieux pour des pipelines d'imitation learning dans lesquels labelliser chaque skill manuellement est le principal goulot d'étranglement.

UEL'extracteur modulaire M2R2 pourrait bénéficier aux équipes de manipulation françaises (notamment Wandercraft) en réduisant le coût de labellisation dans les pipelines d'imitation learning, mais reste une contribution académique sans déploiement industriel annoncé.

RecherchePaper
1 source
Bi3 : un jeu de données biplateforme, biculturel et bipersonnel pour la navigation des robots sociaux
3arXiv cs.RO 

Bi3 : un jeu de données biplateforme, biculturel et bipersonnel pour la navigation des robots sociaux

Bi3 est un jeu de données pour la navigation sociale de robots en espaces contraints, publié en preprint sur arXiv en mai 2026. L'expérience place systématiquement un robot face à deux humains dans un espace de laboratoire restreint, avec 74 participants recrutés sur deux sites : un aux États-Unis, un en France. Le dataset totalise 10,5 heures de trajectoires avec vérité terrain pour humains et robots, des flux vidéo RGB et des évaluations subjectives des participants sur les performances du robot. Cinq algorithmes de navigation distincts ont été testés sur deux plateformes robotiques différentes, ce qui constitue une couverture algorithmique et matérielle inédite dans ce domaine. La navigation sociale en milieu dense reste l'un des verrous techniques majeurs de la robotique de service et de la logistique en environnement humain. Les benchmarks existants souffrent généralement d'un biais culturel marqué et d'une densité d'interaction artificiellement faible. Bi3 cible ces lacunes directement : la dimension biculturelle France/USA permet de tester si les comportements proximaux humains varient selon les normes sociales locales, une hypothèse rarement éprouvée empiriquement. Les métriques publiées, densité d'interaction et vélocité humaine, montrent une complexité comportementale supérieure aux datasets précédents, ce qui en fait un terrain d'évaluation plus exigeant pour les modèles de prédiction de mouvement et les politiques de contrôle de navigation. Ce dataset s'inscrit dans l'effort collectif de la communauté robotique pour réduire l'écart entre simulations et déploiements réels. La présence d'un site de collecte en France est notable : elle apporte une représentation européenne rare dans ce type de benchmark, où les données américaines ou asiatiques dominent historiquement. Bi3 est conçu comme une ressource ouverte pour entraîner des architectures VLA (Vision-Language-Action) et des politiques de navigation en espaces denses, ainsi que des modèles de prédiction de mouvement humain. À ce stade, il s'agit d'un preprint académique, pas d'un déploiement opérationnel. Les suites naturelles incluent l'intégration dans des benchmarks standardisés et l'utilisation pour affiner des politiques de navigation sur des AMR (Autonomous Mobile Robots) en environnement industriel ou hospitalier.

UELa présence d'un site de collecte en France apporte des données comportementales européennes dans un benchmark de navigation sociale, offrant une référence plus représentative pour calibrer des AMR déployés en milieu hospitalier ou industriel en Europe.

RecherchePaper
1 source
Lucid-XR : un moteur de données en réalité étendue pour la manipulation robotique
4arXiv cs.RO 

Lucid-XR : un moteur de données en réalité étendue pour la manipulation robotique

Une équipe de chercheurs a présenté Lucid-XR, un moteur de données génératif pour produire des données d'entraînement synthétiques multimodales destinées aux robots réels. Publié début mai 2026 sur arXiv (référence 2605.00244), le système repose sur vuer, un environnement de simulation physique web qui s'exécute directement sur un casque de réalité étendue (XR), sans équipement spécialisé. Lucid-XR intègre simulation physique embarquée et retargeting de posture humain-vers-robot : un opérateur pilote un avatar virtuel dont les mouvements sont convertis en trajectoires exploitables par le robot cible. Ces données sont ensuite amplifiées par un pipeline de génération vidéo guidé par la physique, paramétrable via des instructions en langage naturel. Les auteurs démontrent un transfert zéro-shot de politiques visuelles vers des environnements réels non vus lors de l'entraînement, y compris des scènes encombrées et mal éclairées, sur des tâches de manipulation impliquant matières souples, particules non liées (sable, grains) et contacts rigides. Le résultat central est ce transfert zéro-shot : la politique entraînée exclusivement sur données synthétiques opère directement sur robot réel, sans fine-tuning en environnement physique. C'est précisément le "sim-to-real gap" qui bloque le déploiement industriel des politiques d'imitation depuis des années. En rendant la collecte accessible via un casque XR grand public et en augmentant automatiquement le volume de données par génération vidéo, Lucid-XR s'attaque simultanément aux deux goulots d'étranglement classiques des VLA (Vision-Language-Action models) : quantité et diversité des données. La manipulation de matières particulaires reste un cas notoirement difficile pour les approches classiques, ce qui rend ces démonstrations pertinentes, même si les vidéos sélectionnées publiées sur le site projet ne permettent pas d'évaluer le taux d'échec réel. Ce travail entre en concurrence directe avec les moteurs de données synthétiques existants : NVIDIA Isaac Lab pour la simulation, les jeux de données de téléopération massive de Physical Intelligence (Pi-0) ou Google DeepMind (GR00T N2, déployé chez Figure et Agility Robotics). Des initiatives ouvertes comme Open-X Embodiment misent sur la mutualisation de données réelles. La distinction de Lucid-XR est de parier sur l'accessibilité matérielle et l'augmentation par génération vidéo plutôt que sur des fermes de téléopération coûteuses. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans la publication, qui reste pour l'instant une preuve de concept académique sans validation à l'échelle industrielle.

RechercheOpinion
1 source