RecherchearXiv cs.RO 1 septembre 2026

Doter des modèles fondation d'une architecture agentique pour la navigation autonome de longue portée dans le monde physique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Le 30 août 2026, des chercheurs ont publié sur arXiv (2608.30396) NavMCP, un framework qui assemble deux familles de modèles de fondation pour la navigation robotique sans les réentraîner. D'un côté, un modèle vision-langage (VLM) joue le rôle d'agent de raisonnement : il décide quelles informations chercher, où explorer, quand s'arrêter. De l'autre, un modèle de fondation pour la navigation (NFM) exécute chaque sous-objectif en boucle fermée. Les deux communiquent via trois canaux : l'intention traduit les besoins d'information en commandes de navigation, l'observation transforme les trajectoires en preuves exploitables, et la mémoire accumule les résultats, les échecs et les objectifs non résolus d'un appel à l'autre. Sur trois bancs d'essai de question-réponse incarnée (HM-EQA, MT-HM3D, EXPRESS-Bench), NavMCP établit de nouveaux résultats de référence, avec un gain de 14,9 points de pourcentage sur HM-EQA face à une architecture épisodique classique, à modèles identiques. Testé sur un robot quadrupède réel Unitree Go2, il atteint 78,3% de réussite, son avantage sur le meilleur concurrent passant de 10 à 45 points à mesure que l'horizon de la tâche s'allonge.

L'intérêt de ces travaux tient au problème qu'ils ciblent : les VLM raisonnent bien mais restent peu fiables et inefficaces quand il faut répéter des actions de navigation, tandis que les NFM exécutent solidement des objectifs ponctuels mais oublient tout entre deux épisodes, sans mémoire persistante. NavMCP ne crée pas un nouveau modèle plus puissant, il orchestre deux modèles existants pour combler ce manque, ce qui est significatif pour l'industrie : cela suggère que l'assemblage intelligent de briques déjà entraînées peut rivaliser avec un réentraînement coûteux, une piste attractive pour les intégrateurs qui combinent des piles de navigation prêtes à l'emploi avec des couches de planification par VLM. L'écart de performance qui se creuse avec la longueur de la tâche est la donnée la plus parlante : c'est la mémoire persistante entre sous-objectifs, et non un modèle unique plus gros, qui débloque les tâches longues.

Le travail s'inscrit dans la tendance plus large du "scaffolding" agentique, où des frameworks orchestrent des modèles de fondation complémentaires plutôt que d'en entraîner de nouveaux, une approche déjà répandue côté LLM et transposée ici à la robotique mobile. Le Unitree Go2, plateforme quadrupède abordable très utilisée en recherche, sert de banc d'essai réel, mais l'essentiel des résultats reste obtenu en simulation. Il s'agit d'un prépublication arXiv non encore évaluée par les pairs, sans acteur commercial ni FR/EU identifié, et sans annonce de déploiement ou de pilote industriel à ce stade.

Dans nos dossiers

Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

Du langage à la logique : une architecture théorique pour la navigation sécurisée fondée sur les modèles VLM

Des chercheurs ont publié en mai 2026 sur arXiv (arXiv:2605.04327) une architecture théorique visant à intégrer des règles de sécurité en langage naturel dans la navigation autonome de robots opérant en environnements extérieurs non structurés. Le principe central consiste à convertir des consignes humaines informelles en spécifications formelles de Signal Temporal Logic (STL), un formalisme mathématique permettant d'exprimer des contraintes temporelles sur le comportement d'un système. Les règles persistantes liées au terrain sont encodées dans une carte de coûts 2D, tandis que les exigences dynamiques sont surveillées en temps réel sous forme de moniteurs STL. Pour l'interprétation sémantique de la scène, les auteurs proposent l'usage de Vision-Language Models (VLMs) en mode zero-shot, c'est-à-dire sans phase d'entraînement spécifique à l'environnement opérationnel. L'intérêt de cette approche réside dans la tentative de combler deux fossés bien connus du secteur : d'une part, le gouffre entre les instructions opérateur en langage naturel et les contraintes exploitables par un planificateur formel ; d'autre part, le manque de garanties vérifiables dans les systèmes de navigation basés sur l'apprentissage. Pour les intégrateurs et les décideurs B2B actifs dans l'agriculture de précision, la construction ou la logistique extérieure, la promesse est claire : pouvoir exprimer des règles de sécurité terrain sans écrire de code ni annoter de données. Il convient cependant de noter que l'article reste entièrement théorique, les auteurs utilisant eux-mêmes le terme "hypothesize" pour qualifier l'usage des VLMs, sans présenter de résultats expérimentaux ni de validation sur robot réel. Cette publication s'inscrit dans une dynamique plus large où les VLMs sont progressivement intégrés dans des pipelines robotiques complets, comme en témoignent les travaux récents de Physical Intelligence avec Pi-0, ou de NVIDIA avec GR00T N2. L'utilisation de STL pour la navigation n'est pas nouvelle, le formalisme ayant fait ses preuves en conduite autonome et drones, mais son couplage avec des VLMs pour le grounding sémantique constitue une direction de recherche active. Plusieurs groupes, notamment en Europe (dont des équipes liées aux projets de l'ANR et d'Horizon Europe sur la navigation sûre), explorent des pistes similaires. Les prochaines étapes logiques seraient une implémentation sur simulateur puis une validation terrain, étapes absentes de ce premier article d'architecture.

UEDes équipes européennes liées à l'ANR et Horizon Europe travaillent sur des problématiques similaires de navigation sûre, ce qui ancre ce sujet dans la dynamique de recherche continentale, sans impact industriel direct à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

Déploiement de modèles fondation pour la navigation robotique incarnée

Un article publié sur arXiv (2609.25666v1) détaille deux limites concrètes du déploiement de modèles de fondation (FM) sur des agents incarnés chargés de navigation : un biais d'entraînement qui dégrade la personnalisation dans des environnements inédits, et une longueur de contexte insuffisante qui pénalise les tâches à long horizon. Face au premier problème, les auteurs proposent TAP (Transit-Aware Planning), qui amorce le FM avec des données d'habitudes humaines extraites directement de la scène. Pour le second, ils introduisent MemCtrl, doté d'une "tête de mémoire" (memory head) qui gère activement le contexte plutôt que de le laisser s'accumuler passivement. Testé en conditions réelles dans un environnement de laboratoire avec un robot Turtlebot sur une tâche de recherche de cible personnalisée, TAP affiche une amélioration moyenne de 18% par rapport à une base sans cette méthode. MemCtrl, évalué sur plusieurs tâches incarnées, obtient un gain moyen de 6%, qui monte à 20% sur les sous-ensembles d'instructions longues, tout en consommant près de moitié moins de contexte que le modèle de référence. Ces résultats visent deux angles morts souvent minimisés dans les annonces de robots généralistes pilotés par des modèles vision-langage-action (VLA) : la personnalisation réelle une fois le robot sorti de son jeu de données d'entraînement, et le coût en contexte des tâches longues, qui limite la scalabilité en usage réel. Le fait que le gain de TAP soit mesuré sur un robot physique, et non sur des vidéos sélectionnées en simulation, constitue un signal utile pour les intégrateurs, même si l'échelle reste celle d'un laboratoire contrôlé et non d'un déploiement commercial. Diviser par deux le budget de contexte tout en améliorant la précision représente aussi un argument économique concret pour qui doit faire tourner ces modèles en inférence à grande échelle sur du matériel embarqué. Pour les décideurs B2B qui évaluent des piles VLA pour la logistique ou le service, le papier rappelle que le sim-to-real et le passage à l'échelle du contexte restent des problèmes ouverts, non résolus par la seule taille des modèles. Le travail s'inscrit dans un corpus déjà dense de recherches sur la navigation incarnée pilotée par des FM, que les auteurs organisent en une taxonomie pour situer leurs deux contributions par rapport à l'état de l'art. Il s'agit d'une publication de recherche académique, pas d'une annonce produit : elle défend une position argumentée sur la déployabilité réelle des agents incarnés fondés sur des FM et liste des pistes de recherche ouvertes plutôt qu'une feuille de route commerciale. Aucun partenariat industriel, aucun site de déploiement commercial ni aucun calendrier de mise sur le marché n'est mentionné ; les suites annoncées portent sur l'extension des tests à d'autres environnements et tâches à long horizon, pas sur un lancement produit.

RechercheActu

1 source

3arXiv cs.RO

Apprentissage auto-régressif forcé : vers un modèle du monde pour la navigation robotique à long horizon

Une équipe de chercheurs (arXiv:2605.31314, mai 2026) propose AR Forcing, une stratégie d'entraînement autorégressive pour les world models de navigation robotique basés sur la diffusion. Le problème adressé est un écart de distribution persistant : ces modèles sont entraînés avec une supervision parallèle, mais exécutent une inférence autorégressive au moment du planning de trajectoire. Cette asymétrie déstabilise les prédictions sur des horizons longs. AR Forcing l'attaque à la source en intégrant la fonction de perte diffusion standard dans la boucle autorégressive : à chaque étape, le modèle utilise ses propres prédictions pour mettre à jour le contexte et optimiser l'objectif de prédiction de bruit pas à pas. Les expériences ont été menées sur quatre jeux de données multi-domaines couvrant des environnements variés : RECON et SCAND (navigation urbaine et extérieure), HuRoN (interactions humain-robot) et TartanDrive (tout-terrain). L'intérêt pratique de cette approche tient à sa sobriété architecturale : AR Forcing ne requiert ni discriminateur supplémentaire, ni fonction de distribution-matching, et conserve le framework diffusion d'origine ainsi que son sampler. Pour les équipes développant des robots mobiles autonomes (AMR) ou des systèmes de navigation vision-only, cela signifie une intégration sans refonte de pipeline. Les résultats déclarés montrent une meilleure cohérence des images générées sur de longs horizons temporels et une amélioration de la précision des trajectoires prédites, y compris dans des environnements inconnus. Le bémol habituel s'applique ici : les métriques sont évaluées sur des datasets publics en conditions contrôlées, et le gap sim-to-real sur du hardware réel reste à démontrer. Les world models pour la navigation robotique constituent un axe de recherche actif, en lien direct avec les VLA (Vision-Language-Action models) et des travaux comme DreamerV3 ou UniSim. La dérive cumulative sur les horizons longs est précisément le verrou historique que AR Forcing tente de lever, là où les approches concurrentes recourent souvent à des mécanismes d'ancrage externes plus lourds. Le code source doit être publié prochainement selon les auteurs, ce qui permettra à la communauté de valider les résultats sur ses propres domaines applicatifs. Ce papier est un preprint arXiv non encore évalué par les pairs, sans financement industriel déclaré ni déploiement annoncé.

RecherchePaper

1 source

4arXiv cs.RO

Sentir le terrain avant de le franchir : des modèles du monde pour la navigation tout-terrain

Une équipe de chercheurs présente, dans un article déposé sur arXiv (référence 2609.19863v1, catégorie "new"), Feel-WM, un modèle de monde ("world model") de navigation conçu pour les terrains accidentés hors piste. Contrairement aux modèles de navigation urbaine, qui se contentent de prédire la scène visuelle à venir, Feel-WM prédit en plus l'état proprioceptif futur du robot, c'est-à-dire son glissement, son inclinaison et ses vibrations le long d'une trajectoire envisagée, ainsi qu'un risque d'échec associé, le tout appris directement à partir de l'expérience du robot sans étiquetage humain. Le planificateur simule ce futur physique en parallèle de la scène visuelle et pondère le risque d'échec prédit face à la proximité avec l'objectif dans un score de décision séparé. Les auteurs ont testé le système sur des données réelles de terrain accidenté et en simulation, sur des plateformes à la fois à roues et à pattes, puis l'ont déployé en embarqué sur un robot à roues Husky lancé sur des sentiers de montagne, où il a anticipé les zones de sol difficile, les a contournées, et a terminé des parcours qu'une politique de bout en bout classique échouait à compléter. L'apport revendiqué est de démontrer que la seule prédiction visuelle ne suffit pas dès que l'interaction robot-terrain devient le facteur dominant, ce qui est le cas hors des environnements urbains structurés où circulent la plupart des robots mobiles commerciaux actuels. En ajoutant la proprioception comme donnée d'entrée, Feel-WM améliore la prédiction du futur physique et surpasse les modèles de navigation purement visuels, aussi bien en planification en boucle ouverte qu'en navigation en boucle fermée sur terrain difficile. Pour les intégrateurs de robots mobiles destinés à l'agriculture, la défense, la sylviculture ou le secours en zone non structurée, ce travail suggère une piste concrète pour réduire les échecs de navigation sans dépendre uniquement de caméras ou de lidars, un enjeu de fiabilité central pour les flottes autonomes en extérieur. Il nuance aussi l'idée reçue selon laquelle les modèles de monde visuels suffiraient à généraliser la planification robotique à tous les environnements. Ce travail s'inscrit dans la tendance de recherche consistant à planifier par anticipation, en simulant les conséquences de chaque action candidate plutôt qu'en associant directement observation et commande, une approche qui concurrence les politiques de bout en bout entraînées par imitation ou apprentissage par renforcement. La quasi-totalité des modèles de monde publiés jusqu'ici ciblait des environnements urbains ou structurés, où l'image seule constitue un proxy suffisant du futur pertinent pour la navigation. Feel-WM comble ce manque pour la robotique tout-terrain en exploitant des signaux proprioceptifs, issus par exemple de centrales inertielles ou d'encodeurs de roues et de jambes, appris de façon autonome. L'article ne mentionne à ce stade ni affiliation industrielle ni partenaire de déploiement commercial : il s'agit d'une validation expérimentale sur robot Husky et en simulation, sans calendrier de mise en production ni pilote industriel annoncé.

RecherchePaper

1 source