RecherchearXiv cs.RO 17 août 2026

OccPlanner : planificateur par diffusion conditionné par l'occupation pour la navigation vers un objectif visuel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

OccPlanner, un planificateur de navigation robotique conditionné par occupation 3D, cible la navigation "pixel-goal" : l'objectif est désigné directement dans l'image caméra du robot, sans profondeur métrique ni information de franchissabilité fournie a priori. Présenté dans un article arXiv (référence 2608.14160v1), le système ancre ce pixel-cible dans un espace métrique égocentrique en le conditionnant séquentiellement sur le contexte visuel temporel et des caractéristiques d'occupation locale 3D apprises. Les auteurs introduisent également L3ROcc, une méthode qui convertit des vidéos de navigation RGB monoculaires en annotations d'occupation 3D locale centrées robot, via reconstruction géométrique et raisonnement de visibilité par lancer de rayons. Entraîné sur le jeu de données InternData-N1 et évalué en simulation "closed-loop" sur quatre catégories de scènes inédites issues d'InternScenes, OccPlanner fait passer le taux de succès moyen de 20,81% à 71,55% par rapport à la méthode de référence NavDP sur des distances-cibles de 5 à 8 mètres, atteignant 86,20% et 84,92% dans des scènes encombrées faciles et difficiles respectivement. Des essais réels en boucle ouverte sur un robot quadrupède Unitree Go2 apportent des indices préliminaires de transfert simulation-vers-réel.

Ce résultat s'attaque à un verrou concret de la navigation robotique par vision : transformer un simple pixel désigné dans une image en objectif de déplacement sûr et atteignable, sans capteur de profondeur dédié ni carte préalable. Le gain de performance rapporté, un triplement du taux de succès face à une méthode existante, suggère que la modélisation explicite de l'occupation 3D locale comble une partie du fossé entre perception 2D et planification 3D continue, un problème central pour les intégrateurs qui déploient des robots mobiles autonomes (AMR) en environnements encombrés et changeants. Reste que les résultats en conditions réelles se limitent à des essais en boucle ouverte sur une seule plateforme, le Go2 de Unitree, ce qui constitue une preuve de concept plutôt qu'une validation de déploiement opérationnel.

Ce travail s'inscrit dans la lignée des recherches en navigation guidée par langage ou par image, où la comparaison avec NavDP sert de référence de performance existante dans le domaine. Il s'appuie sur des jeux de données de simulation à grande échelle, InternData-N1 pour l'entraînement et InternScenes pour l'évaluation, reflétant une tendance du secteur à générer des données d'entraînement synthétiques massives plutôt que de dépendre uniquement de captures réelles coûteuses. La prochaine étape naturelle, non couverte par cette publication, consisterait à valider le système en boucle fermée sur robot physique et sur davantage de plateformes matérielles avant d'envisager une intégration industrielle.

Dans nos dossiers

Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

GUIDE : compréhension directionnelle initialisée par l'objectif pour la navigation visuelle de bout en bout

Des chercheurs ont publié sur arXiv (référence 2606.10832, juin 2026) un framework d'apprentissage par renforcement baptisé GUIDE (Goal-Initialized Directional Understanding for End-to-End), conçu pour la navigation visuelle autonome de robots à pattes. Le principe fondamental est simple : contrairement aux systèmes existants qui alimentent le robot en mises à jour continues de sa cible depuis des modules d'estimation d'état hiérarchiques, GUIDE ne fournit la cible qu'une seule fois, au début de l'épisode. Le robot doit ensuite naviguer en s'appuyant exclusivement sur sa mémoire spatiale interne. Deux composants structurent le système : un prédicteur d'ancre spatiale qui exploite l'historique proprioceptif multi-fréquences pour construire des représentations d'egomouvement, et un flux de profondeur brut pour percevoir la géométrie locale. Les expériences ont été conduites sur un robot quadrupède, en simulation et en environnement réel, dans des scènes encombrées et des labyrinthes structurés, sans carte préalable. L'enjeu pour les intégrateurs est direct : supprimer la dépendance aux modules d'estimation d'état externes simplifie le stack de déploiement et réduit les points de défaillance. Les architectures hiérarchiques actuelles (localisation + cartographie + planification) sont coûteuses à calibrer et fragiles dans des environnements non cartographiés. GUIDE démontre qu'un robot peut maintenir une conscience directionnelle persistante grâce à la mémoire proprioceptive, sans SLAM ni GPS, un résultat qui renforce l'hypothèse que la proprioception peut partiellement suppléer la localisation explicite. La politique étant déployée de bout en bout sans modules séparés à l'inférence, la complexité opérationnelle en production s'en trouve réduite -- un argument concret pour les équipes industrielles. La navigation sans carte pour robots à pattes est un sujet actif : les travaux sur ANYmal (ETH Zurich), les politiques locomotrices de Unitree ou les recherches de CMU s'appuient encore majoritairement sur des représentations géométriques explicites. GUIDE s'inscrit dans la tendance "fully end-to-end" qui cherche à éliminer ces modules intermédiaires, tendance visible également dans les VLA (Vision-Language-Action models) appliqués à la manipulation. Il faut néanmoins rappeler qu'il s'agit d'une publication académique, sans pilote industriel ni déploiement commercial annoncé. Les suites naturelles incluent des tests dans des environnements non structurés à grande échelle et l'intégration avec des modèles de fondation visuels pour la spécification dynamique de la cible.

RecherchePaper

1 source

2arXiv cs.RO

Modélisation du monde conditionnée par le langage pour la navigation visuelle

Une équipe de chercheurs publie sur arXiv (2603.26741, version 2) un travail sur la navigation visuelle conditionnée par le langage, baptisée LCVN. Dans cette tâche, un agent incarné doit suivre une instruction en langage naturel en ne disposant que d'une observation égocentrique initiale, sans image du but. La perception et le contrôle continu doivent donc être guidés uniquement par le texte. Les auteurs introduisent le jeu de données LCVN, qui regroupe 39 016 trajectoires et 117 048 instructions vérifiées par des humains, couvrant des environnements et des styles de consigne variés. Ils comparent deux approches. La première, l'imagination latente, associe un modèle du monde à base de diffusion (LCVN-WM), qui imagine les observations futures, à un agent acteur-critique (LCVN-AC) dont la politique est apprise entièrement dans cet espace latent imaginé. La seconde, la prédiction autorégressive unifiée (LCVN-Uni), utilise un seul backbone multimodal qui prédit actions et observations en une passe sur une séquence de tokens partagée. Les résultats montrent que les deux approches sont complémentaires. L'imagination latente produit des déroulés plus cohérents dans le temps, tandis que la prédiction unifiée généralise mieux à des environnements jamais vus. Pour un ingénieur robotique ou un intégrateur, l'enseignement porte sur l'arbitrage d'architecture entre un modèle du monde explicite, utile pour la planification, et un modèle unique de type VLA (vision-langage-action), plus robuste hors distribution. Des ablations isolent l'effet du guidage linguistique, des signaux de conditionnement et du style d'instruction. Elles permettent de savoir si le goulot d'étranglement vient de l'ancrage du langage ou de la modélisation de la dynamique. Cette distinction est précieuse pour orienter les investissements, entre meilleures données langagières et meilleurs modèles dynamiques. Il faut cependant rester prudent : il s'agit d'un travail académique évalué sur un benchmark, sans déploiement sur robot physique annoncé. Il ne dit rien du transfert sim-to-real ni des temps de latence en conditions industrielles. Ce travail s'inscrit dans la longue tradition de la navigation visuelle conditionnée par un but image, qui sert de banc d'essai à l'IA incarnée depuis des années. Il rejoint la tendance actuelle qui combine modèles du monde génératifs et politiques linguistiques, portée par des modèles du monde comme ceux de la famille Genie ou Cosmos et par les VLA généralistes (Pi-0, GR00T, Helix), qui visent surtout la manipulation. La navigation par instruction reste moins couverte par ces modèles. Le jeu de données, relativement volumineux pour la tâche, peut servir de référence commune. Aucune suite commerciale ni calendrier de pilote n'est annoncé. La prochaine étape logique serait de tester ces approches hybrides sur du matériel réel, ou d'unifier imagination latente et prédiction autorégressive dans une même architecture.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Vers des modèles du monde JEPA ancrés dans la réalité physique pour la planification robotique conditionnée par objectif

Des chercheurs publient sur arXiv (arXiv:2609.03565, soumis début septembre 2026) un modèle du monde de type JEPA (Joint Embedding Predictive Architecture) conçu pour la planification robotique conditionnée par des objectifs visuels. L'approche standard JEPA prédit les représentations latentes futures sans reconstruire les pixels, mais rien ne garantit que ces représentations conservent l'information utile au contrôle moteur. Les auteurs ajoutent deux mécanismes entraînés de bout en bout : une dynamique inverse (IDM), qui empêche l'effondrement des représentations latentes en les forçant à rester informatives sur les actions qui les ont produites, et un alignement d'état (state alignment, SA), qui ancre les représentations successives dans la configuration physique et le mouvement réels du robot. Testé sur quatre bancs d'essai de planification, le modèle atteint 100% de réussite sur TwoRoom, 98% sur PushT et 87% sur OGBench-Cube, avec des résultats comparables à la référence LeWorldModel sur la tâche Reacher. Une étude d'ablation montre que l'ajout du state alignment améliore systématiquement le taux de réussite par rapport à l'IDM seul, sur les quatre tâches. Ce travail s'inscrit dans un débat central pour l'industrie robotique actuelle : les modèles du monde appris en espace latent permettent-ils une planification fiable, ou souffrent-ils d'un écart entre performance en simulation et robustesse réelle ? En montrant que l'ancrage physique explicite des représentations améliore la planification sans reconstruction pixel par pixel, les auteurs apportent un argument technique en faveur d'architectures latentes plus légères que les approches génératives complètes, un enjeu direct pour les intégrateurs qui cherchent des modèles de contrôle moins gourmands en calcul que les VLA (vision-language-action) de type Pi-0, GR00T N2 ou Helix. L'analyse par sous-espace de transition est particulièrement notable : bien que LeWorldModel affiche une meilleure "rectitude" moyenne des trajectoires sur OGBench-Cube, ses transitions se concentrent dans un sous-espace de dimension effective plus faible, ce qui suggère une représentation moins riche malgré des métriques agrégées favorables, un rappel que les chiffres moyens seuls peuvent masquer des limites structurelles. Ce papier prolonge la lignée des travaux sur les architectures JEPA popularisées en vision par Meta AI, désormais transposées à la robotique pour contourner les coûts de la prédiction pixel par pixel propre aux modèles du monde génératifs. Il se positionne comme une contribution de recherche académique, évaluée sur des bancs d'essai simulés standardisés (TwoRoom, PushT, Reacher, OGBench-Cube), sans annonce de déploiement matériel ni de partenariat industriel. Les prochaines étapes naturelles, non abordées dans l'abstract, seraient une validation sur robot physique et une comparaison directe avec les architectures VLA à grande échelle qui dominent actuellement les annonces commerciales du secteur.

RecherchePaper

1 source

4arXiv cs.RO

Diffusion de carte d'étiquettes plug-and-play pour la navigation universelle orientée objectif

Une équipe de chercheurs a publié le 8 mai 2026 sur arXiv (référence 2605.05960) une méthode baptisée PLMD (Plug-and-Play Label Map Diffusion) pour la navigation robotique orientée objectif, dite GON (Goal-Oriented Navigation). Le défi central de cette classe de problèmes est le suivant : un robot doit localiser un objet cible dans un environnement qu'il n'a pas encore exploré, en construisant simultanément une carte en vue du dessus (BEV, Bird's-Eye-View). PLMD mobilise les modèles de diffusion probabiliste par débruitage (DDPM), popularisés en génération d'images, pour compléter ces cartes partielles à la volée : le système génère des étiquettes d'obstacles et des labels sémantiques pour les zones non encore visitées, permettant au robot de raisonner sur des régions qu'il n'a pas encore traversées. Les auteurs annoncent des performances état de l'art sur trois tâches GON distinctes, sans détailler les benchmarks ni les marges dans le seul abstract disponible. L'intérêt de l'approche tient à deux corrections apportées aux limites des méthodes existantes. Les cartes sémantiques auto-centrées échouent fréquemment en exploration partielle, précisément le cas réel, car elles supposent une connaissance complète de l'environnement. PLMD contourne ce verrou en extrapolant les zones inconnues de façon structurée, en exploitant la cohérence géométrique entre obstacles connus et inconnus pour guider le débruitage sémantique. Parallèlement, l'incohérence d'association sémantique, un même objet catégorisé différemment selon le point de vue du robot, est atténuée en intégrant des priors d'obstacles dans ce processus. Le qualificatif "plug-and-play" n'est pas qu'un argument marketing : la méthode est architecturée pour se greffer sur des pipelines de navigation sémantique existants sans réentraînement complet des modules sous-jacents, ce qui facilite son adoption dans des systèmes déjà déployés. La navigation orientée objectif dans des environnements non cartographiés est un problème de référence de l'embodied AI, évalué classiquement sur des benchmarks comme HM3D, MP3D ou RoboTHOR. Les approches concurrentes vont de l'exploration par frontières (frontier-based) aux modèles de langage visuels (VLM) comme EmbCLIP ou ESC, qui contournent la carte explicite en s'appuyant sur des embeddings pré-entraînés. PLMD se positionne dans le segment "map-based" en cherchant à corriger ses faiblesses structurelles plutôt qu'à les éviter. L'application des modèles de diffusion à la complétion de cartes topologiques est une direction de recherche émergente, distincte de leur usage en synthèse d'images ou de trajectoires. À ce stade, la contribution reste une validation en simulation, une évaluation sur robots physiques constituerait la prochaine étape décisive.

RecherchePaper

1 source