RecherchearXiv cs.RO 20 juillet 2026

Vision-Language-Motion Maps : un attribut de mouvement interrogeable, conscient de l'incertitude et à vocabulaire ouvert pour les cartes de scènes 3D

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article de recherche publié sur arXiv (arXiv:2607.16173v1, soumission nouvelle datée du 20 juillet 2026) présente Vision-Language-Motion Maps (VLMM), une carte 3D interrogeable en langage naturel qui ajoute un attribut de mouvement à chaque élément de la scène. Contrairement aux cartes 3D "open-vocabulary" existantes, qui supposent un monde statique et ne répondent qu'à des questions de type quoi et où, VLMM fusionne un a priori sémantique de mobilité issu d'un modèle vision-langage (VLM/LLM) avec un mouvement observé géométriquement d'une image à l'autre, le tout assorti d'une incertitude par élément. Les auteurs valident l'approche sur un banc d'essai simulé avec vérité terrain exacte (AI2-THOR, trois types de scènes) puis sur des séquences RGB-D réelles et dynamiques issues des jeux de données TUM et Bonn (six séquences). Résultat clé: le canal d'incertitude, présenté comme la principale nouveauté par rapport aux travaux antérieurs sur le mouvement fusionné, améliore de façon constante la précision moyenne pour distinguer mobile de statique et réduit les fausses détections de mouvement, y compris avec des poses de caméra bruitées. La confiance brute du modèle n'est toutefois pas calibrée nativement: une calibration isotonique a posteriori ramène l'erreur de calibration attendue à 0,10, un chiffre à interpréter comme un correctif nécessaire plutôt qu'une performance native.

L'apport pratique tient dans la distinction entre trois états que les robots ne pouvaient pas interroger jusqu'ici: ce qui a été vu en mouvement, ce qui pourrait bouger mais ne l'a pas encore fait, et ce qui reste réellement immobile. Pour la planification de trajectoire ou la navigation en environnement dynamique, cette granularité change la donne: une carte purement sémantique échoue sur les requêtes de mouvement même avec de bonnes features, et aucun des deux signaux de mouvement pris isolément (l'a priori sémantique ou l'observation géométrique) ne suffit à répondre à l'autre type de question. C'est une preuve empirique que la fusion des deux, incertitude comprise, est nécessaire et non un choix de conception arbitraire.

Sur le plan du positionnement, les auteurs situent VLMM par rapport aux cartes concurrentes existantes en pointant que chacune d'elles omet au moins une des quatre propriétés réunies ici: vocabulaire ouvert, interrogation en langage naturel, fusion prior/observé du mouvement, et incertitude par élément. Il s'agit d'une contribution de représentation plutôt que d'un système déployé: aucun pilote industriel n'est annoncé, l'étape suivante naturelle étant l'intégration de ce schéma de carte dans des pipelines de navigation robotique complets.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

ActiveLang : cartographie 3D active à vocabulaire ouvert, avec exploration guidée par l'incertitude sémantique

ActiveLang est un système autonome de cartographie 3D active à vocabulaire ouvert, décrit dans un preprint arXiv (2610.09518). Il construit des cartes 3D annotées en langage naturel pendant que le robot explore, et choisit lui-même où regarder ensuite en fonction de l'incertitude sémantique. Techniquement, le système adapte en ligne des descripteurs de langage sur une représentation compacte à double jeu de gaussiennes (variante du Gaussian Splatting). Cette représentation reconstruit conjointement la géométrie, l'apparence et la sémantique, avec un surcoût mémoire que les auteurs qualifient de modeste, sans le chiffrer dans le résumé. Le planificateur sélectionne les points de vue les plus informatifs, ce qui permet de cartographier avec moins d'observations et un coût de calcul réduit. Les tests portent sur deux jeux de données, Replica et ScanNet++. Ils montrent des gains « substantiels » en segmentation à vocabulaire ouvert, en 2D comme en 3D, face à des méthodes en ligne et hors ligne. Le résumé ne donne ni pourcentages de mIoU, ni temps de calcul, ni nombre de vues économisées. L'enjeu est de savoir quoi regarder, pas seulement comment représenter ce qu'on a vu. La plupart des cartes sémantiques à vocabulaire ouvert supposent un parcours de capture déjà fait, puis traité hors ligne. Un robot déployé dans un entrepôt, un hôpital ou un domicile ne connaît ni l'environnement ni les concepts utiles à l'avance. Il doit donc cartographier et interpréter en même temps. Si l'approche tient ses promesses, elle réduit le temps d'exploration et le calcul embarqué, deux postes qui pèsent sur la viabilité d'un déploiement. Elle permettrait aussi d'interroger la carte en langage libre (« où est le chariot rouge ? ») sans réentraîner de classifieur. Les réserves sont nettes. Replica et ScanNet++ sont des scènes d'intérieur statiques et propres, et aucune validation sur robot réel, avec bruit de capteur, dynamique ou grandes surfaces, n'est mentionnée dans le résumé. C'est un résultat de recherche, pas un produit. Le travail s'inscrit dans la convergence entre le Gaussian Splatting et les modèles vision-langage, avec des approches comme LangSplat ou Feature 3DGS pour la distillation de caractéristiques CLIP dans des scènes 3D. Ces méthodes restent souvent hors ligne et passives. À l'inverse, la cartographie active, historiquement fondée sur l'information géométrique (exploration par frontières, prochaine meilleure vue), n'intégrait pas l'incertitude sémantique. ActiveLang comble cet écart. Les prochaines étapes à surveiller sont un passage sur plateforme mobile réelle, des mesures de latence embarquée et une intégration avec des planificateurs de tâches pilotés par modèles de langage. Aucun partenaire industriel ni calendrier n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

OVMAN : une tâche et un benchmark pour la navigation à vocabulaire ouvert sensible au mouvement

OVMAN est un nouveau benchmark de navigation robotique (arXiv:2609.06424v2) où un agent doit retrouver, lors d'une deuxième visite, un objet déplacé ou disparu depuis son premier passage, par exemple "va vers la chaise qui a été déplacée" ou "va là où se trouvait le vase". Le jeu de données compte 219 épisodes à deux visites, chacun certifié résoluble par un agent oracle en trois passages, répartis sur six relations de changement dont deux ciblent un emplacement désormais vide. Un navigateur d'objets en zero-shot n'atteint sa cible que dans 12,3% des épisodes, avec des scores quasi nuls sur ces emplacements vidés (0,026 et 0,050). Une carte open-vocabulary auto-actualisée fait grimper le taux de réussite global de 0,396 à 0,479 sans progresser sur ces cas précis, tandis qu'un agent de référence simple plafonne à 45,2% contre 99,5% pour un oracle incarné. Ces résultats montrent qu'actualiser une carte sémantique de l'environnement ne suffit pas à résoudre la navigation dans un monde qui change entre deux visites, une nuance pour les approches de cartographie continue mises en avant dans la recherche récente. La décomposition d'erreur des auteurs situe le vrai obstacle ailleurs que dans la perception : ni la reconnaissance du nom de l'objet ni le choix final de la réponse ne posent problème, c'est le maintien de l'identité d'une même instance d'un objet d'une visite à l'autre qui échoue. Pour un intégrateur en logistique ou à domicile, où les objets bougent entre deux passages d'un robot, cela déplace l'effort d'ingénierie vers la mémoire et la correspondance d'instances plutôt que vers la seule perception ou le mapping temps réel. OVMAN s'ajoute aux benchmarks de navigation vision-langage qui supposaient jusqu'ici une scène figée entre la formulation d'une instruction et son exécution, une hypothèse rarement vraie hors laboratoire. Les auteurs publient les 219 épisodes et leur protocole de certification par oracle pour que d'autres équipes puissent comparer leurs systèmes sur cette tâche précise. Aucun acteur commercial ni déploiement produit n'est associé à ce travail, qui reste une contribution académique destinée à orienter les futurs systèmes de navigation embarquée vers la gestion de la mémoire d'instance entre visites.

RecherchePaper

1 source

3arXiv cs.RO

Mémoire pour attention : re-perception conditionnée par le langage avec une carte vision-langage-mouvement

Des chercheurs testent une carte persistante annotée par comportements, la Vision-Language-Motion Map (VLMM), sur deux questions de planification robotique. Sur 28 scènes du simulateur AI2-THOR, un planificateur exploitant les coûts comportementaux de la VLMM réduit l'objectif de planification d'environ 35% par rapport à une approche classique. Mais en exécution réelle en boucle fermée, ce gain fond à environ 4%, et un modèle vision-langage (VLM) interrogé à la demande fait quasiment aussi bien. Sur la seconde question, celle de savoir quoi ré-observer en priorité quand le budget de perception est limité, la mémoire de la carte, historique des changements ou simple date de dernière observation, produit le meilleur calendrier de re-perception, équivalent à un oracle, là où un VLM sans mémoire se révèle médiocre. Le bénéfice se concentre sur les objets importants (facteur d'environ 1,6 fois la moyenne), et une tâche de récupération d'objet confirme moins de trajets inutiles. Le gain croît avec l'hétérogénéité des scènes selon une borne de Cauchy-Schwarz, égale à la variance de la racine de la volatilité. Avec un vrai prior CLIP sur des objets rendus, l'avantage atteint +21 à 26%. Quand la tâche est conditionnée par le langage, la VLMM identifie les objets pertinents en vocabulaire ouvert et suit leurs changements, dépassant une base récence-pertinence de +2,5% et un VLM à la demande de +8,9%. Ce résultat nuance l'idée répandue qu'une carte sémantique persistante améliore mécaniquement la navigation: pour "comment contourner une pièce", la mémoire est un luxe dont l'intérêt s'évapore à l'exécution, un VLM interrogé au vol suffisant. En revanche, pour décider quoi re-observer sans tout rescanner, cruciale pour un robot mobile ou humanoïde à budget de calcul et de caméra limité, la mémoire change la donne. Pour les intégrateurs, la leçon est concrète: pas besoin de carte comportementale complexe pour le déplacement, mais un vrai gain à prioriser les re-vérifications sur les objets qui comptent, avec économie de calcul et de temps de cycle. Ni le langage seul ni la dynamique seule ne suffisent, seule leur combinaison produit l'avantage. Les cartes sémantiques enrichies par VLM se sont multipliées avec la montée des modèles vision-langage-action, généralement validés en simulation avant tout déploiement réel. Ce travail se positionne en creux face à cette tendance en exposant l'écart entre gains de planification hors ligne et performance réelle en boucle fermée, un avertissement utile pendant que le secteur multiplie les annonces de cartes cognitives pour robots humanoïdes et logistiques. Les auteurs comparent leur approche aux VLM à la demande, sans mémoire mais coûteux en calcul, et aux baselines de récence pondérée. Travail de recherche publié sur arXiv, sans partenaire industriel annoncé, ses suites naturelles porteraient sur une validation hors simulateur et sur des plateformes robotiques réelles, où l'arbitrage calcul-mémoire-perception est plus contraint.

RecherchePaper

1 source

4arXiv cs.RO

FUS3DMaps : cartographie sémantique à vocabulaire ouvert par fusion 3D de couches voxel et instance

Une équipe de recherche a publié le 6 mai 2026 sur arXiv (référence 2605.03669) FUS3DMaps, une méthode de cartographie sémantique 3D à vocabulaire ouvert conçue pour permettre à des robots de localiser spatialement des concepts arbitraires sans ensemble de classes prédéfini. Le système fonctionne en ligne et maintient simultanément deux couches sémantiques dans une même carte de voxels partagée : une couche dense, qui projette directement les embeddings de pixels sur la carte 3D, et une couche instance-level, qui segmente les vues, encode les régions correspondant à des objets distincts, puis les associe en 3D. Les expériences menées sur des benchmarks établis de segmentation sémantique 3D montrent que FUS3DMaps atteint une précision compétitive à l'échelle de bâtiments multi-étages, un niveau de scalabilité rarement démontré pour ce type d'approche sans entraînement supervisé. Le code et les données complémentaires sont annoncés en accès ouvert. Ce qui distingue FUS3DMaps des méthodes existantes est la fusion sémantique inter-couches (cross-layer fusion), qui combine les forces complémentaires des deux représentations : la couche dense couvre l'intégralité du champ visuel sans nécessiter de segmentation préalable, mais souffre d'un manque de précision à l'échelle ; la couche instance-level est précise sur les objets individuels mais dépend de l'association 2D-3D. En fusionnant les embeddings des deux couches au niveau voxel, la méthode améliore la qualité de chacune. Pour garantir la scalabilité, la fusion dense et inter-couches est restreinte à une fenêtre spatiale glissante, évitant l'explosion mémoire dans les grands environnements. Pour les intégrateurs de robotique mobile ou les développeurs de systèmes de navigation en environnement ouvert, c'est une piste concrète vers des robots capables de répondre à des requêtes en langage naturel sur des espaces non balisés. La cartographie sémantique à vocabulaire ouvert est un champ en plein essor depuis l'émergence des vision-language models (VLM) comme CLIP. Les approches actuelles se divisent en deux familles : les méthodes instance-level (LSeg, OpenScene, EmbodiedScan) et les méthodes dense (ConceptFusion, OpenFusion), chacune avec ses compromis entre précision et scalabilité. FUS3DMaps tente de réconcilier les deux dans un pipeline unifié, sans fine-tuning. À noter que l'article est une prépublication arXiv, sans validation par les pairs à ce stade, et que les démonstrations vidéo et le code sont encore annoncés comme "à venir". Aucune entreprise industrielle ou partenaire de déploiement n'est mentionné : il s'agit d'une contribution de recherche académique, pas d'un produit commercialisé.

RechercheActu

1 source