Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Planification LLM ancrée dans un modèle du monde pour la navigation d'AUV et d'ASV près des parcs éoliens offshore
IA physiquearXiv cs.RO 

Planification LLM ancrée dans un modèle du monde pour la navigation d'AUV et d'ASV près des parcs éoliens offshore

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un preprint publié sur arXiv (2608.19661v1) décrit une méthode qui associe modèle de langage et modèle du monde pour piloter des véhicules marins autonomes près de parcs éoliens offshore. Trois briques la composent : un modèle du monde neuronal ancré dans la physique, un optimiseur de trajectoire en trois phases, et un replanificateur en boucle fermée de type MPC avec garde-fou "trust région" ; le LLM choisit la tâche, le modèle du monde calcule durée et amplitude des commandes. Sur un véhicule sous-marin à 6 degrés de liberté (huit propulseurs) et un véhicule de surface à 3 degrés de liberté (propulsion différentielle), le système atteint chaque objectif sans collision prédite sur cinq missions par plateforme, même transféré dans le simulateur GazeboSim avec courants, vagues et dynamique réaliste des propulseurs. L'erreur de position finale baisse de 70 à 82% pour l'ASV et d'environ 93% pour l'AUV face à une base non ancrée ; un module vision-langage extrayant les obstacles depuis images satellite, cartes nautiques et prévisions météo-marines atteint 96% de précision de navigabilité pour l'ASV.

L'enjeu est de combler l'écart entre planification en langage naturel et physique réelle : un LLM décide quoi faire mais ignore combien de temps ou jusqu'où exécuter une commande, au risque de faire dériver l'engin dans un obstacle. Pour l'inspection des câbles, fondations et structures des parcs éoliens offshore, où la surveillance humaine par navires et plongeurs coûte cher, une planification fiable intéresse directement opérateurs et intégrateurs. Les résultats, obtenus uniquement en simulation, appuient l'idée qu'ancrer un LLM dans un modèle physique réduit l'écart démonstration/réalité typique des systèmes vision-langage-action, sans toutefois valider d'essai en mer.

Cette approche prolonge, pour la robotique marine, une logique déjà explorée pour les humanoïdes et manipulateurs par des modèles vision-langage-action tels que Pi-0, GR00T N2 ou Helix, qui relient décision de haut niveau et exécution physique. L'expansion des parcs éoliens offshore, notamment en mer du Nord et sur d'autres façades européennes, nourrit la demande d'inspection autonome par AUV et ASV. Il s'agit d'un travail de recherche académique sans acteur industriel nommé ; aucun essai réel en mer n'est rapporté, la suite logique étant une validation hors simulateur sur un site éolien réel.

Impact France/UE

La méthode cible l'inspection autonome des parcs éoliens offshore, un enjeu direct pour la mer du Nord et les façades maritimes européennes, bien qu'aucun acteur industriel européen ne soit nommé.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

NavWAM : modèle du monde et d'action pour la navigation visuelle guidée par objectif
1arXiv cs.RO 

NavWAM : modèle du monde et d'action pour la navigation visuelle guidée par objectif

Des chercheurs présentent NavWAM (Navigation World Action Model), une architecture diffusion-transformer publiée en préprint sur arXiv (identifiant 2606.13494, juin 2026), conçue pour la navigation visuelle conditionnée par un objectif. Le problème posé est classique en robotique mobile : un robot doit naviguer vers une cible image sous observabilité partielle, en anticipant uniquement depuis sa caméra embarquée comment ses déplacements vont modifier son champ de vision. NavWAM fusionne dans une séquence latente partagée trois composantes distinctes : les observations visuelles futures prédites, les valeurs de progression vers l'objectif, et les blocs d'actions (action chunks). L'entraînement combine un préentraînement en simulation suivi d'une adaptation sur robot réel, avec une évaluation en boucle fermée sur des tâches de navigation image-à-image. Ce travail répond à une limitation bien identifiée des modèles de monde pour la navigation : ces modèles prédisent correctement l'évolution visuelle future, mais restent des modules passifs qui exigent un planificateur externe pour convertir leurs prédictions en commandes effectives. NavWAM élimine ce découplage en apprenant conjointement la prédiction visuelle, les valeurs d'objectif et la politique d'action. Concrètement, la clairvoyance visuelle du modèle de monde devient directement exploitable pour le contrôle moteur, sans recourir à une recherche d'actions de type CEM (Cross-Entropy Method). Sur les benchmarks offline et en déploiement réel en boucle fermée, NavWAM surpasse les baselines world-model à planification externe reportées par les auteurs. Comme pour tout préprint non encore revu par les pairs, ces résultats restent à valider sur une diversité d'environnements plus large. L'approche s'inscrit dans une tendance qui cherche à unifier modèles génératifs et politiques de contrôle, direction explorée notamment par les modèles VLA (Vision-Language-Action) tels que Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui opèrent eux aussi sur des espaces latents partagés multi-modalités. La différence ici est la focalisation stricte sur la navigation monoculaire, sans instruction sémantique en langage naturel. Le passage sim-to-real est traité par fine-tuning sur données réelles, méthode désormais standard mais dont la robustesse dépend fortement de la diversité des scènes d'entraînement, non précisée dans l'abstract. Aucun code ni dataset n'est encore annoncé ; une page projet avec démonstrations vidéo est disponible à l'adresse fournie par les auteurs.

IA physiqueOpinion
1 source
Retour sur la bonne voie : amélioration de la politique au déploiement par planification avec un modèle du monde
2arXiv cs.RO 

Retour sur la bonne voie : amélioration de la politique au déploiement par planification avec un modèle du monde

Des chercheurs proposent un cadre de supervision et d'intervention qui améliore une politique visuomotrice pendant son déploiement, sans la réentraîner ni modifier son architecture (arXiv 2610.19579). La méthode n'exige qu'un accès « boîte noire » à la politique, c'est-à-dire la possibilité de l'interroger sans toucher à ses poids. À partir d'un nombre limité de déroulés (rollouts) étiquetés de la politique nominale, l'équipe apprend une valeur de « liveness », conditionnée par la politique, qui mesure sa progression vers l'achèvement de la tâche. Elle entraîne aussi un modèle du monde latent compact, qui s'appuie sur ces mêmes déroulés et sur des données de jeu (play data). Pendant l'exécution, la valeur de liveness surveille en continu le comportement. Si elle détecte une perte de progression, un planificateur à horizon court cherche dans le modèle du monde des actions correctrices, en utilisant cette même valeur comme objectif, puis rend la main à la politique nominale. L'évaluation porte sur la suite de tâches LIBERO-Goal et sur un bras Franka Panda réel. Les politiques nominales sont le modèle vision-langage-action π0.5 et une diffusion policy. Les auteurs annoncent des gains significatifs de taux de réussite, compatibles avec un contrôle en temps réel. Le résumé ne donne aucun chiffre précis (taux avant et après, latence du planificateur, nombre de déroulés étiquetés), ce qui empêche de juger l'ampleur réelle de l'amélioration. L'enjeu est pratique. Les politiques actuelles échouent en production de façons qu'elles ne détectent pas et dont elles ne savent pas se relever. Les corriger passe aujourd'hui par davantage de données, un réentraînement ou une refonte de l'architecture, trois leviers coûteux, surtout pour un intégrateur qui utilise un modèle de fondation fourni par un tiers. Une couche externe qui détecte le blocage et propose une correction, sans accès aux poids, répond directement à cette contrainte. Elle suggère aussi que l'écart entre démonstration et fiabilité industrielle peut se réduire par de la supervision à l'exécution plutôt que par un modèle toujours plus gros. Plusieurs réserves s'imposent. Il s'agit d'un travail académique, sans déploiement client. Le banc d'essai LIBERO-Goal est de l'ordre de la simulation, et la validation réelle se limite à un seul bras. Il reste aussi à voir comment la méthode se comporte sur des tâches longues, ou lorsque le modèle du monde s'écarte de la réalité. Ce travail s'inscrit dans un courant qui cherche à fiabiliser les VLA après leur entraînement. Ce courant comprend l'apprentissage par renforcement sur robot réel, les détecteurs d'échec à l'exécution et les approches fondées sur des modèles du monde, utilisés comme simulateurs ou comme planificateurs. π0.5, de Physical Intelligence, est devenu une référence ouverte pour ces expériences, tout comme les diffusion policies pour la manipulation. Les grands acteurs de l'humanoïde, dont Figure avec Helix, Tesla avec Optimus et NVIDIA avec la famille GR00T, misent surtout sur l'échelle des données et l'entraînement. Une couche de récupération qui s'ajoute à ces politiques suivrait une logique différente. Les prochaines étapes à surveiller sont la publication de résultats chiffrés détaillés, des tests sur davantage de plateformes et de tâches de longue durée, et la mesure du coût de calcul du planificateur sur du matériel embarqué. Une vidéo et des résultats complémentaires sont annoncés sur le site du projet.

IA physiquePaper
1 source
MaskWAM : unification du masquage guidé et de la prédiction pour les modèles monde-action
3arXiv cs.RO 

MaskWAM : unification du masquage guidé et de la prédiction pour les modèles monde-action

Une équipe de chercheurs a soumis sur arXiv (référence 2606.13515) un modèle baptisé MaskWAM, visant à lever deux verrous structurels des World Action Models (WAMs) pour le contrôle robotique par prédiction vidéo. Les WAMs constituent une approche active : au lieu d'apprendre directement une politique motrice, le modèle prédit des frames vidéo futures conditionnées par les actions du robot et extrait la politique de cette représentation. Le problème identifié est double. Les entrées textuelles génèrent une ambiguïté référentielle dans les scènes encombrées : si deux objets similaires cohabitent dans le champ de la caméra, le texte ne suffit pas à désambiguïser la cible. Par ailleurs, les prédictions RGB brutes manquent d'ancrage sémantique et restent perturbées par des arrière-plans sans lien avec la tâche. MaskWAM intègre des masques de segmentation à la fois comme entrées explicites (premier frame annoté avec la cible) et comme sorties prédites, au sein d'une architecture unifiée Mixture of Transformers (MoT). L'apport central est l'introduction d'une supervision sémantique centrée sur l'objet : en forçant le modèle à prédire les masques futurs en parallèle des frames RGB, les auteurs réduisent l'influence du bruit visuel de fond sur la politique apprise. Évalué sur les benchmarks LIBERO et RoboTwin, ainsi que sur des tâches réelles non précisées en détail, MaskWAM surpasse significativement les baselines existantes en conditions de langage clair comme ambigu. Pour les équipes R&D en manipulation robotique, l'enjeu concret est la robustesse des politiques face aux variations de décor et aux instructions imprécises, deux points de friction récurrents dans le transfert du labo vers la ligne de production. Ces résultats restent toutefois ceux d'une prépublication académique sur benchmarks standardisés : aucun déploiement industriel n'est mentionné, et les conditions exactes des expérimentations réelles ne sont pas détaillées dans le résumé disponible. MaskWAM s'inscrit dans la dynamique des Visual Language Action models et des WAMs apparus depuis 2023, notamment Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA. Sa spécificité est l'exploitation systématique des masques de segmentation comme signal de supervision, là où la plupart des approches concurrentes restent ancrées sur du texte libre ou des images de référence non structurées. Les prochaines étapes prévisibles pour ce type de travaux sont l'évaluation sur des manipulations multi-objets en environnement non contrôlé et l'intégration dans des fondations robotiques plus larges. Aucun partenariat industriel ni calendrier de transfert applicatif ne sont mentionnés à ce stade.

IA physiqueOpinion
1 source
SAGE-Nav : planification LLM et fusion d'alignement pour la navigation par graphe de scène hiérarchique
4arXiv cs.RO 

SAGE-Nav : planification LLM et fusion d'alignement pour la navigation par graphe de scène hiérarchique

Des chercheurs ont publié le 25 juin 2026 sur arXiv (réf. 2606.25497) SAGE-Nav, un système de navigation autonome pour robots incarnés capable de localiser des objets spécifiés à partir de la seule perception visuelle égocentrique. L'architecture découple explicitement deux boucles temporelles : une planification globale sémantique assurée par un LLM, et un contrôle réactif basse latence. Le LLM décompose une instruction abstraite ("trouve la tasse dans la cuisine") en une séquence de waypoints sémantiquement ancrés. Deux modules originaux assurent la traduction en commandes : un encodeur de graphe de scène hiérarchique (HSGE) fondé sur des convolutions de graphes relationnelles, et un réseau de fusion GAFN qui combine perception temps réel et représentations structurées via un mécanisme de gating adaptatif à biais inductif explicite. Les évaluations conduites dans les simulateurs i-THOR et RoboTHOR affichent des performances à l'état de l'art en efficacité de navigation et en généralisation zero-shot vers des environnements non vus à l'entraînement. L'apport central est architectural : en séparant planification haute latence (LLM) et boucle de contrôle haute fréquence, SAGE-Nav évite le goulot d'étranglement qui pénalise les approches monolithiques de type VLA (Vision-Language-Action) sur des plateformes embarquées temps-réel. La généralisation zero-shot est un indicateur industriel critique car elle conditionne directement l'utilité d'un robot dans des entrepôts, hôpitaux ou espaces de bureau non cartographiés à l'avance. Le mécanisme GAFN répond concrètement au problème de cohérence entre carte sémantique construite offline et perception temps réel, un défi que les méthodes classiques d'exploration-planification traitent mal. La navigation orientée-objet (ObjNav) est un benchmark central de l'IA incarnée depuis la plateforme AI2-THOR de l'Allen Institute. SAGE-Nav s'inscrit dans la tendance qui instrumentalise les LLMs comme planificateurs symboliques plutôt que contrôleurs directs, approche défendue aussi par SayPlan (2023) et NavGPT. Limite importante : les évaluations restent confinées aux simulateurs, et aucun déploiement physique n'est rapporté malgré une mention de latence "compatible avec le matériel réel". Le gap sim-to-real demeure non adressé dans ce papier. Les concurrents directs incluent les architectures VLA bout-en-bout comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA, qui font le pari inverse de la séparation planification/contrôle. Une validation sur plateformes physiques (Spot, Hello Robot Stretch) constituerait la prochaine étape naturelle.

IA physiquePaper
1 source