RecherchearXiv cs.RO 16 juin 2026

VANDERER : exploration sans carte par politique de diffusion guidée par la curiosité visuelle et l'anticipation

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (arXiv:2606.14879, juin 2026) un framework d'exploration baptisé VANDERER, conçu pour permettre à des agents mobiles de naviguer dans des environnements inconnus sans construire de carte d'occupation traditionnelle. Le système repose sur un module de curiosité visuelle (Visual Curiosity Module, VCM) qui pilote une politique de diffusion pré-entraînée en s'appuyant exclusivement sur des images monoculaires, sans LiDAR ni caméra de profondeur. Concrètement, le VCM intègre un modèle du monde de navigation qui prédit les conséquences des actions candidates, leur attribue un coût de curiosité, puis oriente le processus de diffusion vers les actions qui maximisent la superficie explorée. Évalué sur des environnements simulés variés, VANDERER explore en moyenne 13,4 % de superficie supplémentaire par rapport à NoMaD, une baseline reconnue dans le domaine de la navigation sans carte.

L'intérêt du travail tient à la contrainte matérielle assumée : une seule caméra monoculaire, omniprésente sur les plateformes robotiques à bas coût, là où LiDAR et caméras stéréo restent onéreux ou volumineux. Pour les intégrateurs et les équipes de robotique mobile, VANDERER ouvre la voie à une exploration autonome efficace sur des robots à budget capteur limité, drones, robots de surveillance périmétrique ou AGV en extérieur, sans reconstruction 3D préalable de l'environnement. Les résultats établissent aussi une corrélation directe entre curiosité visuelle (texture, nouveauté apparente de l'image) et curiosité géométrique (zones non cartographiées), ce qui valide l'hypothèse que le signal caméra seul peut servir de proxy fiable à la couverture spatiale réelle dans des contextes extérieurs. C'est un résultat non trivial qui renforce la crédibilité des politiques de diffusion comme couche de planification active, au-delà du simple suivi de waypoints.

VANDERER s'inscrit dans un courant de recherche sur la navigation sans carte qui a gagné en traction avec des travaux comme NoMaD et les politiques de navigation de type VLA (Vision-Language-Action). L'approche diffusion policy, popularisée dans la manipulation robotique et reprise dans des projets comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, est ici détournée vers l'exploration spatiale pure. Le papier reste au stade de preprint arXiv et toutes les évaluations sont conduites en simulation : le gap sim-to-real n'est pas adressé, ce qui constitue une limite explicite avant tout déploiement terrain. Les étapes suivantes naturelles seraient des validations sur robots réels en extérieur et l'extension à des scénarios multi-bâtiments ou en environnements intérieurs encombrés.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

PhysCaP : ancrer un agent de code-comme-politique par exploration guidée par la physique

Des chercheurs ont présenté PhysCaP, un agent « code-as-policy » pour la manipulation robotique, dans un article publié sur arXiv (2608.21031) accompagné d'une page projet à physcap.github.io. Contrairement aux politiques vision-langage-action qui imitent des démonstrations par observation passive, PhysCaP ajoute une couche d'exploration physique permettant au robot de chercher activement l'information par l'interaction, grâce à des modules d'extraction sans capteur additionnel qui estiment la masse et la rigidité des objets à partir de la seule proprioception du bras. Son architecture combine un Planner, qui décide quand explorer et quand s'arrêter, et un Prioritizer, qui filtre les interactions peu plausibles et classe les autres selon un score de priorité heuristique. Les auteurs l'ont testé sur des tâches réelles de manipulation sur table (recherche d'objets cachés, détection de canettes vides, repérage d'avocats mûrs) ainsi que sur une tâche simulée dans l'environnement LIBERO. Les approches passives échouent dès que la propriété physique déterminante reste invisible à la caméra, tandis que les méthodes interactives naïves multiplient les manipulations inutiles: PhysCaP obtient des performances comparables avec moins d'interactions et un temps d'exécution réduit. Pour les intégrateurs qui travaillent avec des modèles VLA comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI), ce résultat pointe une limite connue de l'imitation pure: elle ne suffit pas quand la tâche dépend de propriétés cachées comme le poids ou la texture d'un objet, ce qui nuance l'idée que le sim-to-real ou l'apprentissage par démonstration seuls résolvent la perception robotique générale. Une couche d'exploration physique ciblée, plutôt qu'une exploration exhaustive coûteuse en temps de cycle, pourrait ainsi devenir un composant utile des piles de perception active pour le tri, le contrôle qualité ou la préhension en environnement non structuré. Ce travail s'inscrit dans la lignée des approches combinant grands modèles et génération de code de politique robotique, un axe distinct des politiques VLA de bout en bout qui dominent la communication du secteur. Il s'agit d'une contribution de recherche académique et non d'un produit commercial ou d'un déploiement industriel: les auteurs valident leurs modules par des études d'ablation et mettent code et démonstrations à disposition sur la page projet, sans partenaire industriel, pilote annoncé ni calendrier de commercialisation à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage de l'anticipation sans trajectoires explicites pour les politiques de diffusion 3D

Un preprint publié sur arXiv en septembre 2026 (2609.20669) présente Movement Trend Guidance (MTG), une méthode qui améliore les politiques de diffusion 3D en manipulation robotique. Construite au-dessus du modèle de référence DP3 (3D Diffusion Policy), elle n'ajoute que 3,52% de paramètres supplémentaires. À partir d'un court historique d'observations, le système apprend une représentation latente compacte de l'évolution de l'interaction, supervisée à l'entraînement par des états futurs épars du gripper; à l'inférence, seul ce latent sert de signal de conditionnement, injecté via une branche FiLM ajoutée au goulot d'étranglement du réseau UNet. Les gains face à DP3 sont nets sur trois bancs d'essai: 62,8% contre 56,1% en entraînement mixte sur 50 tâches de RoboTwin2.0, 71,93% contre 37,08% sur LIBERO-40, et 72,0% contre 49,0% sur cinq tâches évaluées en conditions réelles, sur le benchmark DexArt. L'enjeu dépasse le score brut. Les politiques de diffusion génèrent des mouvements géométriquement plausibles à partir de l'observation présente, mais laissaient jusqu'ici l'anticipation de la suite de l'interaction émerger implicitement de l'apprentissage de l'action seule. MTG rend cette anticipation explicite sans imposer de trajectoire planifiée, une alternative légère aux modèles du monde ou à la prédiction de trajectoire explicite, plus coûteux en calcul. Pour les intégrateurs et les équipes de recherche, le signal clé est que ce gain de robustesse, dont un quasi-doublement du taux de réussite sur LIBERO-40, s'obtient pour un surcoût d'architecture marginal, ce qui facilite une adoption dans des piles déjà basées sur DP3. Le travail reste toutefois un résultat de preprint non relu par les pairs, évalué selon le protocole propre des auteurs; l'écart entre benchmark et déploiement industriel réel reste à confirmer à plus grande échelle. DP3 combine diffusion générative et observations en nuages de points 3D pour l'apprentissage par imitation de tâches de manipulation. RoboTwin2.0, LIBERO-40 et DexArt sont des bancs d'essai standards du secteur pour comparer les politiques de manipulation, en simulation et, pour partie, en conditions réelles. MTG s'inscrit dans une recherche plus large, menée en parallèle des grands modèles vision-langage-action comme Pi-0, GR00T N2 ou Helix, qui cherchent tous à doter les politiques robotiques d'une meilleure anticipation à long horizon sans planification de trajectoire coûteuse. Aucun acteur commercial français ou européen n'est associé à ces travaux, qui restent une contribution académique; ni date de publication du code ni pilote industriel ne sont mentionnés, la suite logique étant une revue par les pairs puis une éventuelle intégration dans des piles VLA commerciales existantes.

RecherchePaper

1 source

3arXiv cs.RO

Anticipation sans rendu pour la vision active guidée par les questions

Des chercheurs proposent Rendering-Free Lookahead (RFL), une politique de sélection de point de vue pour la vision active robotique, décrite dans l'étude arXiv 2610.11039. Le problème visé est celui des questions dont la réponse dépend de l'angle de caméra. Pour savoir ce que contient une boîte, par exemple, il faut lever la caméra et regarder à l'intérieur. Les modèles vision-langage (VLM) savent interpréter une image déjà captée, mais pas anticiper l'utilité d'une vue qu'ils n'ont pas encore. Les auteurs définissent donc une grandeur, l'« answerability » : l'estimation par un VLM qu'une vue suffit pour répondre à la question. RFL classe les mouvements de caméra candidats selon l'answerability qu'ils devraient produire. La méthode déplace le calcul d'anticipation du déploiement vers l'entraînement. Un enseignant « privilégié » rend les vues futures candidates dans des scènes 3D Gaussian Splatting (3DGS). Un VLM gelé en déduit des cibles d'answerability à un et deux pas. Une distillation en deux étapes apprend ensuite à un modèle élève à prédire la valeur de chaque action à partir de la question, des observations récentes et du mouvement candidat. Au déploiement, l'élève choisit le mouvement sans rendre aucune vue future. Sur 377 épisodes de test du benchmark E3VS-Bench, dans des environnements inédits, RFL améliore de 43 % le score moyen d'un juge par rapport à une base de référence à action directe qui utilise le même VLM. L'intérêt pratique tient à ce qu'on évite de rendre ou de simuler des vues candidates en ligne, ce qui coûterait en latence et en calcul sur un robot réel. Le résultat soutient aussi l'idée qu'une information disponible seulement en simulation (les scènes 3DGS complètes) peut être transférée à une politique qui ne verra jamais ces scènes. Les limites sont claires. Le gain est mesuré sur un benchmark et contre une seule base de référence, avec un score attribué par un juge, donc un modèle. Rien n'indique de test sur un robot physique, ni de chiffres de latence ou de taux de réussite absolus. Il s'agit d'un résultat de recherche, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans la vision active, où l'agent choisit ses observations au lieu de subir un flux d'images fixe. Il se rapproche des approches de questions-réponses incarnées, qui exigent d'explorer pour répondre. Il profite aussi de la généralisation du 3D Gaussian Splatting pour reconstruire des scènes rendables à bas coût. La suite logique serait une validation sur matériel réel, avec des bras ou des têtes mobiles, et avec des questions plus ouvertes que celles du benchmark. Le papier, de type « cross-list » sur arXiv, ne mentionne ni entreprise ni calendrier de commercialisation.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

HorizonNav : diffusion vidéo guidée par la géométrie pour une navigation robotique 3D anticipative

HorizonNav, un framework décrit dans un preprint arXiv (2610.13849v1), propose de transformer une seule image RGB et un prompt textuel en représentation 3D géométriquement alignée de l'espace environnant, pour permettre une navigation « anticipatrice » sans lidar. Un modèle vision-langage interprète la scène et construit des prompts structurés pour un modèle de diffusion vidéo, qui génère une séquence d'observations futures plausibles. Cette vidéo est ensuite traitée par ORB-SLAM3 en mode monoculaire pour estimer les poses de caméra, et par Video Depth Anything pour prédire une profondeur dense. L'apport central est une étape d'alignement de la profondeur guidée par la géométrie, qui combine les poses estimées et des points de repère visuels triangulés pour contraindre les cartes de profondeur sur plusieurs vues. Les auteurs soulignent que la seule cohérence temporelle de la vidéo générée ne suffit pas à garantir une géométrie cohérente. Les résultats chiffrés restent modestes, mais ils sont présentés avec une franchise rare. Sur une étude de 19 scènes, le nombre de scènes permettant une planification passe de 13/19 à 15/19 entre les configurations P20 et P81, et les essais RRT réussis de 62/90 à 75/90. Dans une étude de couloirs, 6 trajectoires de caméra générées sur 25 évaluables violent les contraintes de collision reconstruites, et le planificateur RRT trouve une alternative faisable dans 5 de ces 6 cas. Sur une archive plus large, 58 reconstructions exploitables sur 67 tentatives ont été obtenues, mais seules 36 débouchent sur un plan, contre 22 sans plan possible. L'erreur moyenne de reconstruction atteint environ 0,30 m sur 15 couloirs, mesurée à des repères structurels appariés. Pour un intégrateur, 0,30 m est loin d'une précision suffisante pour de la manipulation, et même pour de la navigation en espace étroit la marge est faible. Aucun test sur robot réel n'est mentionné dans le résumé, et l'évaluation se fait dans des environnements « imaginés ». L'intérêt tient à la publication des échecs : près d'un tiers des reconstructions exploitables ne supporte aucun plan, ce qui chiffre l'écart entre une vidéo visuellement plausible et un espace libre réellement fiable. Cela tempère l'idée que les modèles de monde génératifs peuvent remplacer directement la cartographie par capteurs actifs. Dans ce cadre, la vidéo générée reste une hypothèse sur ce qui est hors champ, pas une mesure. Le travail s'inscrit dans la tendance à utiliser la diffusion vidéo comme modèle de monde pour la robotique, en concurrence avec les approches de navigation fondées sur la cartographie classique, le SLAM visuel-inertiel ou les VLA de navigation. Il s'agit d'une preuve de concept académique : ni produit, ni déploiement, ni calendrier annoncé. Les prochaines étapes naturelles seraient des essais sur plateforme mobile réelle et une réduction de l'erreur métrique.

RecherchePaper

1 source