Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
HM3D-M3 : un benchmark pour la navigation multi-agents, multimodale et multi-objets vers un but
RecherchearXiv cs.RO 

HM3D-M3 : un benchmark pour la navigation multi-agents, multimodale et multi-objets vers un but

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs publient HM3D-M3, un benchmark de navigation par objectifs qui réunit pour la première fois, dans un même épisode, trois dimensions jusqu'ici étudiées séparément: plusieurs agents, plusieurs modalités et plusieurs objets. Une équipe de K agents démarre depuis des positions dispersées dans une scène intérieure photoréaliste et doit retrouver un ensemble non ordonné de M objets. Chaque objectif est donné sous l'une de trois formes: une catégorie en vocabulaire ouvert, une image d'instance ou une description textuelle d'instance. Le jeu comprend 1 000 épisodes de validation couvrant 3 926 objectifs répartis sur 379 catégories, ainsi que 100 000 échantillons d'entraînement d'assignation observation-objectif. Deux métriques d'équipe sont proposées: un taux de réussite (SR) au niveau de chaque objectif et un SPL normalisé par le makespan, c'est-à-dire par le temps total nécessaire à l'équipe pour finir.

Les auteurs fournissent deux références. HiGA est un assigneur hiérarchique d'objectifs entraîné, posé sur une politique de navigation en vocabulaire ouvert gelée. LaViRA-M3 est une équipe d'agents à base de modèles vision-langage (VLM), sans entraînement, qui partagent cartographie et analyse de progression. Les méthodes multi-robots et zero-shot adaptées plafonnent entre 16 et 27 % de SR, contre 38 à 41 % pour les deux références, avec des forces complémentaires et des modes d'échec distincts. LaViRA-M3 a aussi été déployé sur une équipe hétérogène de trois robots. Aucune précision n'est donnée dans le résumé sur les plateformes, l'environnement ni les résultats de ce test physique.

L'intérêt tient à l'écart entre ce que promettent les démonstrations de robots de service et ce que mesurent les benchmarks. Une flotte réelle reçoit des demandes mélangées (une photo, un nom d'objet, une consigne parlée) et doit répartir le travail, ce que les évaluations actuelles ne testent pas. Avec moins de 41 % de réussite en simulation, le résultat rappelle que la coordination multi-robots pilotée par langage reste loin d'un niveau exploitable en production. Le fait qu'une approche sans entraînement rivalise avec une approche apprise suggère que le raisonnement des VLM est déjà compétitif sur l'allocation de tâches, mais sans régler la fiabilité. Il s'agit d'un travail académique en simulation (base HM3D), avec une seule démonstration physique, et non d'un produit ni d'un déploiement commercial. Le benchmark servira surtout à comparer des méthodes futures, notamment les systèmes de navigation en vocabulaire ouvert et les architectures vision-langage-action orientées équipes.

Dans nos dossiers

IA physique & VLA

À lire aussi

Navigation vision-langage multi-agents systématique : formulation, benchmark et méthode
1arXiv cs.RO 

Navigation vision-langage multi-agents systématique : formulation, benchmark et méthode

Une équipe de chercheurs publie sur arXiv (référence 2609.35965) un cadre formel pour la navigation multi-agents guidée par la vision et le langage (VLN, Vision-and-Language Navigation), jusqu'ici centrée sur un seul robot suivant une seule consigne. Les auteurs proposent ce qu'ils présentent comme la première formalisation systématique du problème sous forme de coordination sous contraintes : chaque mission se décompose en sous-tâches liées par des dépendances et des contraintes de ressources, notamment des verrous de présence et des chaînes de détention d'objets. Ils livrent le benchmark MAVLN, produit par un pipeline de création en quatre étapes vérifiées : 11 724 épisodes répartis sur 145 scènes, avec des équipes allant jusqu'à quatre agents et trois régimes de consigne, ainsi que des métriques adaptées à ces contraintes. Ils présentent aussi TRISS, un système de référence qui associe un ordonnanceur de sous-tâches fondé sur un LLM, une mémoire topologique partagée transformant l'exploration de chaque agent en connaissance d'équipe, et un mécanisme d'exécution qui résout les conflits pour produire des trajets sans collision. Une page projet est publiée. Il s'agit d'un travail de recherche en simulation : aucun robot physique, déploiement ni produit n'est annoncé. L'enjeu tient à l'écart entre les démonstrations actuelles et les besoins des sites logistiques ou industriels, où plusieurs machines doivent se partager des ressources et respecter un ordre d'exécution. La plupart des travaux sur les modèles vision-langage-action (VLA) et sur la navigation évaluent un agent isolé. Le benchmark rend mesurable la coordination elle-même : qui fait quoi, dans quel ordre, avec quel objet, sans blocage mutuel. Le résultat le plus instructif est négatif. Les auteurs affirment que TRISS établit une base de comparaison complète mais laisse une marge de progression importante à chaque étage, ordonnancement, planification et exécution. Autrement dit, même avec un LLM qui planifie, la coordination sous contraintes reste loin d'être résolue. Les scores chiffrés ne figurent pas dans le résumé, et les 145 scènes simulées ne disent rien de la robustesse en environnement réel. Pour un intégrateur, cela relativise les promesses d'orchestration de flottes hétérogènes pilotées par langage naturel. Ce travail s'inscrit dans la montée des benchmarks VLN, puis des approches où un LLM sert de planificateur de haut niveau, jusqu'ici surtout mono-agent. Il complète des systèmes de flottes déjà commercialisés, comme les AMR d'Exotec en France, dont l'orchestration repose sur des optimiseurs classiques plutôt que sur des consignes en langage libre. Côté humanoïdes, des acteurs comme Figure avec Helix ou Tesla avec Optimus visent aussi le travail en équipe, sans métrique publique équivalente. Les suites probables sont l'adoption de MAVLN comme banc d'essai par d'autres laboratoires, des évaluations sur robots réels et l'intégration de modèles VLA capables d'agir, pas seulement de se déplacer.

RecherchePaper
1 source
DM³-Nav : navigation sémantique décentralisée multi-agents, multimodale et multi-objets
2arXiv cs.RO 

DM³-Nav : navigation sémantique décentralisée multi-agents, multimodale et multi-objets

DM³-Nav (Decentralized Multi-Agent Multimodal Multi-Object Navigation) est un système de navigation sémantique multi-robots présenté dans un preprint arXiv déposé en avril 2026. L'architecture repose sur une décentralisation intégrale : aucun coordinateur central, aucune carte globale agrégée, aucun état partagé à l'exécution. Les robots se coordonnent exclusivement via une communication ad hoc par paires, en échangeant cartes locales, état des missions et intentions de navigation, sans synchronisation globale. Un mécanisme implicite d'allocation de tâches combine la diffusion d'intentions et une sélection de frontières pondérée par la distance pour réduire les explorations redondantes. Le système a été évalué sur les scènes HM3DSem via les benchmarks HM3Dv0.2 et GOAT-Bench, puis validé en environnement de bureau réel avec deux robots mobiles fonctionnant entièrement sur calcul et capteurs embarqués, sans infrastructure réseau centrale. Sur le plan des résultats, DM³-Nav égale ou dépasse les baselines centralisées et à carte partagée tout en supprimant le point de défaillance unique (SPOF) inhérent aux architectures à coordinateur. Pour un intégrateur de flotte AMR ou un opérateur industriel, l'implication concrète est directe : une panne réseau ou serveur ne paralyse plus la flotte entière. La spécification d'objectifs en vocabulaire ouvert et multimodale (texte et image sans réentraînement) élargit le périmètre des missions reconfigurables sans reprogrammation. La validation sur GOAT-Bench, conçu pour les missions multi-objets en intérieurs réalistes, renforce la crédibilité de l'approche au-delà du simulateur. La navigation sémantique multi-agents était jusqu'ici dominée par les approches centralisées à carte commune, portées par des travaux de CMU, Meta AI Research (Habitat-challenge) et Georgia Tech. DM³-Nav s'inscrit dans une tendance vers la décentralisation, dictée par les contraintes de passage à l'échelle en entrepôt, hôpital ou site industriel où la connectivité est intermittente. Il faut toutefois relativiser : le papier est un preprint non encore révisé par les pairs, et la validation terrain se limite à deux robots dans un seul bureau, écart significatif avec les 80 scènes simulées HM3DSem. Les suites probables passent par une soumission en conférence (IROS 2026 ou ICRA 2027) et une extension à des flottes plus importantes pour confirmer la tenue à l'échelle.

RecherchePaper
1 source
IntentionNav : un benchmark pour la navigation vers des objets guidée par des intentions humaines implicites
3arXiv cs.RO 

IntentionNav : un benchmark pour la navigation vers des objets guidée par des intentions humaines implicites

Un groupe de chercheurs a publié fin mai 2026 IntentionNav, un benchmark diagnostique conçu pour évaluer la navigation d'agents incarnés à partir d'instructions humaines implicites. Contrairement aux benchmarks classiques d'ObjectNav (MP3D, HM3D), qui fournissent à l'agent une catégorie cible explicite ("trouve un micro-ondes"), IntentionNav formule des intents en langage naturel non directif : "j'ai besoin de quelque chose pour réchauffer ce plat" ou "la pièce me semble étouffante". Le benchmark couvre 500 épisodes distribués sur 176 scènes Isaac Sim et 64 catégories d'objets cibles. Chaque intent est reformulé en quatre styles linguistiques contrôlés et annoté selon quatre modes sémantiques distincts (script d'événement, état physique, affordance, usage contextuel), ce qui permet d'isoler les erreurs de reformulation linguistique des erreurs d'inférence sémantique. Trois modèles VLM (Vision-Language Models) ont été évalués avec un agent de navigation fixe. Les résultats sont sans ambiguïté : les modèles identifient correctement l'objet cible dans 48,3 % des épisodes, atteignent son voisinage à 2 mètres dans 68,7 % des cas, mais ne terminent avec succès que dans 24,9 % des épisodes et n'atteignent un succès ancré à 1 mètre que dans 5,5 % des cas. Ces chiffres révèlent que le bottleneck principal dans la navigation incarnée réelle n'est pas la navigation proprement dite, mais l'inférence d'intention, la vérification visuelle de l'instance correcte, et la décision de terminaison. Les intents de type "script d'événement" (ex : préparer le dîner) obtiennent les meilleurs scores (28,7 % de succès terminal), tandis que les intents fondés sur l'état physique (19,2 %) ou l'affordance (18,5 %) restent en deçà. Pour un COO industriel ou un intégrateur robotique, ce résultat est critique : un robot opérant en environnement humain doit recevoir des instructions naturelles, rarement formulées en termes de catégories d'objets précises. Les VLMs actuels échouent précisément sur ce que l'interaction humaine génère le plus souvent. Le benchmark s'inscrit dans la continuité des travaux sur l'embodied AI et le grounding langage-perception (SQA3D, EQA, R2R), mais comble un angle mort : la déconnexion entre succès agrégé et succès ancré dans la géométrie réelle. L'utilisation d'Isaac Sim comme environnement de simulation soulève la question du sim-to-real gap, non adressée dans cette publication. Aucun acteur industriel (Boston Dynamics, Figure, Agility, ni d'acteurs FR/EU comme Enchanted Tools ou Wandercraft) n'est impliqué dans cette étude académique. Les suites naturelles incluent l'extension à des scènes réelles captées en RGB-D, l'évaluation de modèles VLA (Vision-Language-Action) de bout en bout, et l'intégration de mécanismes de clarification active quand l'intent est ambigu, une direction encore peu explorée dans la littérature.

RecherchePaper
1 source
Navigation continue d'objets de petite taille dans des agencements changeants : un benchmark et une méthode
4arXiv cs.RO 

Navigation continue d'objets de petite taille dans des agencements changeants : un benchmark et une méthode

Des chercheurs publient sur arXiv (2610.10125) une formalisation et un banc d'essai pour un problème que rencontrent tous les robots domestiques: retrouver à répétition de petits objets, comme des outils ou des jouets, dans un logement où des personnes les déplacent sans que le robot s'en aperçoive. La tâche, baptisée LiSoNav-COL (Lifelong Small-object Navigation in Changing Object Layouts), impose trois contraintes. L'agent doit trouver des points de vue adaptés à une observation fiable, accumuler et réutiliser sa connaissance de la scène pour accélérer les recherches suivantes, et corriger sa mémoire quand un objet a été déplacé. Il démarre avec une mémoire vide, donc sans scan préalable de l'environnement. Le benchmark associé, LiSoNav-Eval, couvre 28 scènes d'intérieur et 45 catégories de petits objets. Ses séquences de navigation « à vie » mélangent cibles inchangées et cibles déplacées, ce qui permet de mesurer séparément la réutilisation de la mémoire et l'adaptation au déplacement. Les auteurs proposent aussi une méthode, IVAM-Nav (Inspection multi-vues avec mémoire ancrée sur les points de vue). Le robot observe activement les surfaces porteuses (tables, étagères, plans de travail) depuis plusieurs angles complémentaires. Il rattache ensuite chaque souvenir au point de vue où l'observation a eu lieu. Le code et le jeu de données sont annoncés comme disponibles. L'intérêt est d'abord de cibler un angle mort de l'évaluation. La plupart des benchmarks de navigation vers objet (ObjectNav) supposent des cibles volumineuses, une scène figée et des épisodes indépendants. Or un robot de service réel manipule des objets de quelques centimètres, souvent masqués, dans un décor qui change. L'ancrage de la mémoire sur les points de vue a une conséquence pratique: une croyance sur la position d'un objet peut être revérifiée dans des conditions d'observation similaires, au lieu d'être simplement écrasée ou conservée. Les analyses des auteurs confirment ce que les intégrateurs soupçonnent: la difficulté augmente quand les objets rétrécissent, quand l'environnement s'agrandit et quand la distance de relocalisation s'allonge. Il faut toutefois rester prudent. Le résumé évoque une performance « favorable » face à des méthodes représentatives, sans donner de taux de réussite ni d'écart chiffré. Tout cela est évalué en simulation, donc sans mesure de l'écart sim-to-real ni test sur matériel physique. Les scénarios de déplacement d'objets sont par ailleurs générés par le benchmark, pas observés dans de vrais foyers. Ces travaux s'inscrivent dans la montée des approches « embodied AI » où la navigation s'appuie sur des cartes sémantiques, des modèles vision-langage et une mémoire persistante. Les résultats reposent souvent sur des scènes statiques et des objets de grande taille. Les robots domestiques commerciaux et les plateformes humanoïdes visant le foyer ont besoin de cette capacité, mais aucun acteur industriel n'est cité ici. Il s'agit d'une publication académique en première version (v1), non évaluée par les pairs, et non d'un produit ou d'un déploiement. La suite logique serait la reprise du benchmark par d'autres équipes, qui comparerait des méthodes concurrentes à base de VLA ou de cartes sémantiques sur les mêmes séquences, puis une validation sur robots réels dans des logements occupés. C'est là que l'on verra si l'inspection multi-vues tient ses promesses malgré les contraintes de temps de cycle et de batterie.

RecherchePaper
1 source