RecherchearXiv cs.RO 9 juin 2026

Langage comme capteur : estimation calibrée de croyances spatiales en 3D à partir du langage naturel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent dans un preprint arXiv (2606.08666, juin 2026) un système permettant aux robots de traiter les descriptions spatiales en langage naturel comme un signal capteur à part entière. Le coeur de la contribution est le Language Sensor Model (LSM), qui convertit chaque énoncé ("j'ai laissé mon sac à dos sur la table") et son graphe de scène en une distribution de probabilités 3D multimodale. Cette distribution encode simultanément l'ambiguïté référentielle ("quelle table parmi plusieurs") via des poids de mélange, et l'incertitude spatiale ("où exactement sur la table") via des covariances par composante. Le LSM s'intègre dans VL-Map (Vision-Language Metric-Semantic Mapping), un framework probabiliste qui fusionne ces prédictions linguistiques avec la perception embarquée dans une carte de croyance unifiée. Évalué sur le benchmark VLA-3D et sur un robot mobile réel, le LSM est le seul prédicteur dont les estimations de covariance restent dans le régime calibré, et produit environ 70 % de masse de probabilité supplémentaire sur la cible correcte par rapport au meilleur modèle de fondation testé.

L'enjeu pour les intégrateurs est direct : les robots déployés en environnement humain (logistique, soins, assistance) reçoivent constamment des instructions verbales qui référencent des objets hors de leur champ perceptif. La cartographie métrique-sémantique classique ignore ce canal d'information ; les grands modèles multimodaux généralistes ne produisent pas d'estimations calibrées fusionnables dans un filtre bayésien. La calibration est un point critique souvent sous-estimé : un modèle non calibré surestime ou sous-estime sa confiance, rendant la fusion de capteurs instable et potentiellement dangereuse. Ce travail démontre que le langage peut jouer le rôle d'un vrai capteur réducteur d'incertitude, ce qui modifie le calcul architectural pour tout système de navigation ou manipulation en milieu non structuré.

La contribution s'inscrit dans la lignée de la cartographie visuosémantique 3D (ConceptFusion, LERF, OpenScene), qui ancre des embeddings visuolinguistiques dans des représentations de scènes mais demeure passive vis-à-vis du langage conversationnel. Les approches VLA actuelles comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA traitent le langage comme déclencheur d'actions, sans produire de distribution spatiale exploitable par un planificateur externe. Ce système s'y positionne orthogonalement : non pas un planificateur ni un annotateur, mais un capteur probabiliste intégrable à un pipeline SLAM existant. Les expériences décrites restent à un stade exploratoire, sans partenaire industriel ni calendrier de déploiement annoncés dans la publication.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Robots relationnels : des graphes de scène pour comprendre les commandes en langage naturel

Des chercheurs proposent une méthode pour améliorer la capacité des robots à comprendre des commandes en langage naturel en enrichissant les graphes de scène 3D (3D scene graphs, 3DSG) de relations spatiales explicites entre objets. L'étude, publiée sur arXiv (2602.04635v2), combine deux pipelines construits à partir de modèles existants : un pipeline basé sur un grand modèle de langage (LLM) pour identifier l'objet cible à partir d'une commande en vocabulaire ouvert, et un pipeline basé sur un modèle vision-langage (VLM) qui ajoute des relations spatiales en vocabulaire ouvert au graphe de scène à partir d'images capturées pendant la cartographie du lieu. Les auteurs ont testé deux LLM sur 14 scènes différentes, avec 905 énoncés en langage naturel (786 générés de façon procédurale, 119 rédigés par des humains), pour évaluer la tâche d'ancrage de l'objet cible (target object grounding). Le résultat principal est que l'ajout de relations spatiales explicites améliore mesurablement la capacité des LLM à identifier le bon objet dans l'environnement, comblant un manque fréquent des 3DSG existants qui omettent ces relations alors que les humains s'appuient dessus pour décrire leur environnement. Pour les concepteurs de robots domestiques, d'entrepôt ou d'assistance, cela touche directement au goulot d'étranglement entre compréhension du langage et action physique concrète, un enjeu central pour les modèles vision-langage-action (VLA) et l'interaction homme-robot en conditions réelles plutôt qu'en démonstration contrôlée. L'étude montre aussi que générer ces relations spatiales en vocabulaire ouvert via un VLM est faisable directement depuis les images capturées par le robot, sans supervision manuelle. Ce travail s'inscrit dans la lignée des recherches sur les graphes de scène sémantiques pour la robotique cognitive, où la représentation de l'environnement sert de pont entre perception et planification d'actions. Les auteurs notent toutefois que leur analyse ne permet pas de trancher entre relations en vocabulaire ouvert ou fermé, une question qui reste ouverte pour les travaux futurs. Il s'agit d'une contribution académique à un stade de recherche, sans déploiement produit ni partenaire industriel annoncé.

RecherchePaper

1 source

2arXiv cs.RO

Facteurs spatio-temporels pour l'estimation de pose humaine à partir de lidar planaire

Une équipe de recherche publie sur arXiv (référence 2607.21309, soumission du 24 juillet 2026) un nouveau réseau de neurones léger pour la détection humaine et l'estimation de pose relative à partir de LiDAR planaire omnidirectionnel, un capteur bien plus répandu sur les robots de service que les caméras ou les LiDAR 3D. Le système repose sur des « Space-Time Blocks », une architecture qui sépare explicitement le traitement spatial le long des rayons de balayage et l'agrégation temporelle entre scans successifs. À partir de séquences LiDAR à 360 degrés, le réseau produit pour chaque rayon la présence d'un humain, sa distance et son orientation relative. Point clé de la méthode : l'entraînement se fait par auto-supervision croisée, en utilisant un capteur RGB-D à champ de vision étroit comme source de vérité dans la zone de recouvrement des deux capteurs, ce qui supprime le besoin d'annotations manuelles sur les données LiDAR. Comparé à un modèle de référence à nombre de paramètres équivalent, le réseau réduit les erreurs de 38% sur la distance, 28% sur la position et 15% sur l'orientation. Les auteurs valident aussi leur approche sur le jeu de données public FROG et démontrent une inférence temps réel sur processeur embarqué, avec des essais en conditions réelles sur un robot de service. Pour l'industrie robotique, ce travail s'attaque à un angle mort concret : la plupart des robots de service commercialisés (nettoyage, logistique intérieure, accueil) n'embarquent qu'un LiDAR planaire et un processeur modeste, loin des GPU nécessaires aux pipelines de perception humaine classiques basés vision. Une estimation fiable de la position et de l'orientation d'un humain à faible coût de calcul est une brique essentielle pour la navigation sociale sûre, sans nécessiter de capteur additionnel coûteux. La méthode d'auto-supervision est également notable : elle contourne le goulot d'étranglement de l'annotation manuelle, un frein récurrent au déploiement de perception apprise sur flotte réelle. Le travail s'inscrit dans une littérature déjà riche sur la détection humaine par LiDAR, mais cible spécifiquement le cas sous-desservi du LiDAR planaire bas coût, par opposition aux LiDAR 3D denses privilégiés en robotique mobile et véhicules autonomes. Le recours au jeu de données FROG, dédié à la perception sociale en environnement de service, situe la contribution dans la continuité des efforts de benchmarking pour la navigation collaborative homme-robot, sans acteur industriel ni feuille de route de déploiement commercial mentionnés à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

Modèle du monde ancré : planification latente guidée par des objectifs en langage naturel

Des chercheurs proposent le Grounded World Model (GWM), un modèle du monde latent qui permet de planifier en zero-shot, dans le monde réel, à partir d'une simple instruction en langage naturel. Les modèles précédents, comme DINO-WM et LeWM, exigent une image du but, difficile à obtenir à l'avance pour une tâche inédite. GWM, lui, prédit l'avenir dans l'espace visuel d'un modèle d'embedding vidéo-langage pré-entraîné, à partir d'une séquence d'actions candidate et de l'observation courante. La lecture figée de cet embedding projette le futur imaginé et la description de la tâche dans le même espace, et l'opposé de leur similarité cosinus sert de coût de planification. L'entraînement n'utilise que des paires vidéo-action hors ligne, sans lien avec une tâche précise, et aucune annotation linguistique. Sur le benchmark simulé WISER, la planification avec GWM résout 87 % de 288 tâches aux instructions et signaux visuels inédits, contre 22 % en moyenne pour dix VLA affinés. Avec des données de robots réels, sous IsaacSim, GWM réussit les 70 essais répartis sur 14 tâches de désignation par expressions référentielles, comme un planificateur modulaire guidé par un VLM de pointe, alors que pi0.5 en réussit 37 sur 70. Sur un bras Franka réel, le système complète 55 sous-tâches de pick-and-place sur 60, contre 52 sur 60 pour le planificateur modulaire. Ces résultats déplacent le débat sur l'architecture des robots pilotés par le langage. Les VLA affinés dominent aujourd'hui les démonstrations, mais le contraste est net dès qu'on change les instructions ou les signaux visuels : 22 % contre 87 % suggère que la généralisation de ces politiques reste fragile hors distribution. À l'inverse, planifier en simulant des futurs et en les évaluant par similarité sémantique évite de réentraîner un modèle pour chaque tâche et ne demande aucune donnée annotée en langage, ce qui réduit un goulot d'étranglement de collecte. Pour un intégrateur, l'argument pratique est que l'ensemble tourne en local sur un seul GPU grand public, sans appel à un VLM propriétaire distant. Il faut toutefois rester prudent : les 60 essais réels portent sur des tâches de pick-and-place sur un seul type de bras, la différence avec le planificateur modulaire (55 contre 52) n'est pas significative statistiquement, et WISER est un benchmark conçu par les auteurs. Le temps de calcul par décision n'est pas détaillé dans le résumé. Ce travail prolonge la lignée des modèles du monde latents pour la manipulation, portée par DINO-WM puis LeWM, en levant la contrainte du but visuel. Il se positionne face aux VLA généralistes comme pi0.5, et face aux architectures modulaires où un VLM de pointe décompose la tâche et un module de bas niveau l'exécute. La version 2 de l'article sur arXiv (2604.11751) et un site de projet sont disponibles, mais aucun déploiement industriel ni calendrier de transfert n'est annoncé. Les prochaines étapes probables sont des tests sur des tâches plus longues, des manipulations plus dextres et d'autres plateformes que le Franka, avant de savoir si cette approche tient hors du laboratoire.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Prise de décision conditionnée par les affordances : combler l'écart sémantico-spatial en navigation vision-langage inter-étages zéro-shot

Des chercheurs proposent PACE (Preference-refined Affordance-Conditioned Execution), un module d'exécution locale supervisé qui vient se greffer sur des planificateurs sémantiques « zero-shot » figés pour la navigation guidée par le langage (VLN) entre étages. Le module convertit les indices sémantiques liés aux transitions (escalier, porte, passage étroit) en une pose d'affordance traversable, à long horizon et centrée sur l'agent. Il conditionne ensuite la génération d'actions à court horizon sur cette cible spatiale. Un post-entraînement par raffinement de préférences tenant compte des échecs s'appuie sur des paires issues de rollouts, qui opposent les comportements normaux ou de récupération aux comportements amplifiant la déviation. PACE a été intégré à six navigateurs VLN zero-shot open source. Sur les sous-ensembles multi-étages de R2R-CE et RxR-CE, le taux de succès moyen passe de 16,35 % à 27,65 % et de 4,76 % à 12,06 %. Des essais en conditions réelles, dans des environnements inédits, sont également rapportés. L'enjeu tient à un écart que les démonstrations masquent souvent : un planificateur fondé sur un grand modèle peut choisir la bonne destination sans que le robot sache franchir l'obstacle. Atteindre le pied d'un escalier ou l'entrée d'une porte ne garantit pas la traversée, car il faut trouver une pose exécutable et corriger les erreurs d'action qui s'accumulent. Le gain relatif est net (environ +70 % sur R2R-CE, presque le triple sur RxR-CE), et il est obtenu sur six planificateurs différents sans les modifier. Cela plaide pour une couche d'exécution spatiale séparée du raisonnement sémantique. Il faut toutefois relativiser : les taux absolus restent bas, à 27,65 % et 12,06 %, très loin d'une fiabilité exploitable en site industriel, et les tests réels ne sont pas chiffrés dans le résumé. Les résultats portent sur des benchmarks simulés, pas sur un produit ni un déploiement. Ce travail s'inscrit dans le courant des navigateurs VLN généralistes, où des modèles vision-langage ou des grands modèles de langage planifient sans entraînement spécifique à la tâche. Leur point faible reste l'exécution physique dans les zones contraintes, en particulier le changement d'étage, sous-représenté dans les évaluations classiques. PACE s'attaque à ce cas précis avec une approche modulaire, là où d'autres acteurs de l'IA embarquée privilégient des politiques VLA de bout en bout. Il s'agit d'une publication de recherche (arXiv, version 2), sans annonce de pilote ni calendrier commercial. La suite logique serait une validation quantifiée sur robots réels, avec des mesures de robustesse en conditions variées, avant toute intégration dans des piles de navigation industrielles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source