Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
MM-Nav : un modèle VLA multi-vues pour la navigation visuelle robuste par apprentissage multi-expert
RecherchearXiv cs.RO 

MM-Nav : un modèle VLA multi-vues pour la navigation visuelle robuste par apprentissage multi-expert

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié MM-Nav (arXiv:2510.03142v2), un modèle de navigation visuelle de type Vision-Language-Action (VLA) capable d'exploiter des observations omnidirectionnelles à 360 degrés pour piloter un robot mobile sans recours à des capteurs de profondeur explicites comme le LiDAR. L'architecture repose sur des modèles de langage et des fondations visuelles pré-entraînés, auxquels s'ajoutent trois experts par renforcement (RL) entraînés séparément avec accès privilégié à l'information de profondeur dans des environnements synthétiques conçus pour trois compétences distinctes : l'atteinte de cible, le passage dans des espaces contraints (squeezing), et l'évitement d'obstacles. Les données générées par ces experts alimentent itérativement le modèle élève selon un ratio d'entraînement ajusté dynamiquement en fonction des performances par compétence. Des expériences en environnement réel viennent compléter la validation en simulation.

L'intérêt principal de MM-Nav réside dans ce que les auteurs appellent un "effet synergique" : le modèle élève dépasse les performances de chacun de ses enseignants RL pris individuellement, ce qui suggère que la fusion multi-capacités via un VLA n'est pas simplement additive mais crée une généralisation émergente. Pour les intégrateurs robotiques, cela ouvre la voie à des politiques de navigation robustes sans nécessiter de capteurs LiDAR ou de cartes de profondeur explicites, en s'appuyant uniquement sur des caméras RGB omnidirectionnelles. La capacité à transférer une politique apprise en simulation vers le monde réel (sim-to-real) constitue le vrai enjeu ici, et les auteurs affirment l'avoir validé expérimentalement, bien que les détails sur les environnements réels testés restent limités dans le résumé disponible.

MM-Nav s'inscrit dans une dynamique de recherche qui voit les VLA (Vision-Language-Action), popularisés par des travaux comme RT-2 de Google DeepMind ou Pi-0 de Physical Intelligence, s'étendre au-delà de la manipulation pour couvrir la navigation autonome. La différenciation de MM-Nav tient à son approche multi-expert à apprentissage itératif, par opposition aux approches à expert unique ou aux méthodes de distillation statique. Les acteurs concurrents dans ce segment incluent notamment des groupes académiques travaillant sur NavVLP ou ViNT, ainsi que des startups comme Skild AI qui ciblent des politiques de locomotion généralisées. Ce travail en est au stade de preprint arXiv (version 2, mise à jour d'un article d'octobre 2025) : il n'y a pas de déploiement industriel annoncé, et les résultats doivent être interprétés comme une validation académique en attente de revue par les pairs.

Dans nos dossiers

Physical Intelligence — π0OpenVLA / RT-XarXiv cs.RO

À lire aussi

LACE : représentation visuelle latente pour l'apprentissage multi-robots
1arXiv cs.RO 

LACE : représentation visuelle latente pour l'apprentissage multi-robots

Une équipe de chercheurs a publié en mai 2026 sur arXiv (référence 2605.16743) un cadre d'apprentissage appelé LACE (Latent Visual Representation for Cross-Embodiment Learning), conçu pour réduire le fossé visuel entre démonstrations humaines et politiques robotiques. Les backbones d'apprentissage auto-supervisé (SSL) comme DINOv2 encodent une riche sémantique d'objets généraux, mais échouent à établir des correspondances spatiales entre mains humaines et mains robotiques. LACE aligne les représentations visuelles des deux embodiments dans l'espace latent de ces backbones, en utilisant comme supervision clairsemée les correspondances entre parties corporelles partagées, obtenues automatiquement par cinématique directe (forward kinematics). Une seule démonstration robot suffit à entraîner le modèle. L'évaluation rapporte un gain de 65 % en transfert zéro-shot pour LACE-DINO face à DINO seul, avec des améliorations consistantes en régimes de faibles données et en environnements hors-distribution. Ce résultat touche l'un des goulets d'étranglement les plus concrets du déploiement robotique: la pénurie de démonstrations robot. Collecter des trajectoires téléopérées coûte cher et ralentit l'itération. Si l'alignement inter-embodiment de LACE tient à l'échelle, les intégrateurs pourraient tirer parti de corpus vidéo humains existants (YouTube, Ego4D, etc.) pour initialiser des politiques sans investissement lourd en données robot. Le gain annoncé de 65 % mérite toutefois d'être contextualisé: le preprint ne détaille pas le nombre de tâches évaluées ni la complexité des scènes, deux facteurs déterminants pour juger de la généralisabilité réelle. LACE s'inscrit dans une vague de travaux sur le transfert cross-embodiment qui a pris de l'ampleur depuis 2023 avec des méthodes comme AnyPoint et les politiques de Physical Intelligence (Pi-0). L'approche dominante consiste à entraîner des VLA (Vision-Language-Action models) à grande échelle sur des données mixtes humain-robot, stratégie portée par DeepMind, Stanford (ALOHA/ACT) et Berkeley (OpenVLA). LACE propose une alternative plus frugale, centrée sur l'alignement de représentations plutôt que sur le volume de données. Aucun pilote industriel ni calendrier de déploiement n'est mentionné; l'article reste au stade de preprint non soumis à révision par les pairs.

RecherchePaper
1 source
Apprentissage de marges de sécurité adaptatives pour la navigation visuelle
2arXiv cs.RO 

Apprentissage de marges de sécurité adaptatives pour la navigation visuelle

Des chercheurs présentent un nouveau système de sélection de trajectoires pour la navigation robotique en intérieur encombré, détaillé dans un preprint arXiv (2607.18200v1). Le problème ciblé : les marges de sécurité fixes utilisées par les robots mobiles sont mal calibrées, trop conservatrices elles provoquent détours et dépassements de temps, trop permissives elles autorisent des trajectoires limites dangereuses en cas de biais de perception. Les auteurs proposent un "safety critic" conditionné par le contexte qui apprend une préférence de dégagement adaptative pour classer les propositions générées par un planificateur par diffusion à partir d'images RGB-D égocentriques. Le critique combine trois composantes : un terme de sécurité avec pénalité de budget de dégagement et résidu de fonction barrière de contrôle, un terme d'efficacité mêlant lissage et pénalité de détour conditionnée à la sécurité, et un terme d'ancrage aux clearances ESDF réelles pour éviter l'effondrement de la marge apprise. L'entraînement s'appuie sur une géométrie ESDF privilégiée en simulation, puis le modèle est distillé en un sélecteur ne nécessitant que la perception, via une procédure enseignant-élève en deux temps. Sur les benchmarks PointGoal HM3D et MP3D, y compris en transfert cross-dataset, la méthode obtient les meilleurs taux de réussite et scores SPL face à des références par diffusion, par optimisation et par apprentissage par renforcement. Pour l'industrie robotique, ce travail s'attaque à un goulot d'étranglement concret : la plupart des planificateurs par diffusion génèrent déjà des trajectoires diverses et valables, mais peinent à choisir laquelle exécuter en toute sécurité. Une marge de sécurité apprise et adaptative plutôt que codée en dur pourrait réduire les échecs de navigation des robots déployés en environnements réels, entrepôts, usines, intérieurs domestiques, sans réglage manuel site par site. Le transfert direct vers un humanoïde Unitree G1, entraîné uniquement en simulation et sans ajustement spécifique à la tâche, illustre une réduction crédible de l'écart simulation-réel, un point sensible pour les intégrateurs qui restent souvent méfiants face aux démonstrations purement simulées. Ce travail s'inscrit dans la lignée des planificateurs par diffusion pour la navigation, une approche récente qui a gagné du terrain face aux méthodes d'optimisation classiques et au RL, en s'appuyant sur les fonctions barrière de contrôle et les champs de distance signée (ESDF) pour formaliser la sécurité. Le papier reste à ce stade une publication de recherche non revue par les pairs, sans lien annoncé avec un acteur industriel ; aucune date de déploiement produit ni partenariat n'est mentionné.

RecherchePaper
1 source
Navigation par apprentissage et répétition rapide et robuste grâce à la reconnaissance visuelle de lieux MixVPR
3arXiv cs.RO 

Navigation par apprentissage et répétition rapide et robuste grâce à la reconnaissance visuelle de lieux MixVPR

Des chercheurs proposent un système de navigation « teach-and-repeat » (apprentissage puis répétition de trajet) fondé sur MixVPR, une méthode moderne de reconnaissance visuelle de lieux (visual place recognition, VPR). Le principe est classique: un opérateur guide d'abord le robot sur un parcours, qui enregistre une séquence d'images de référence, puis le robot rejoue ce trajet de façon autonome en se localisant par comparaison entre l'image courante et la carte mémorisée. Les auteurs ont testé leur solution en conditions réelles, à l'intérieur comme à l'extérieur, et indiquent obtenir une robustesse et une précision de navigation comparables à celles d'autres systèmes de l'état de l'art. Le résumé de l'article (arXiv:2610.09631) ne précise ni plateforme robotique, ni longueur de parcours, ni écart de positionnement mesuré, ni temps de calcul chiffré, ce qui limite pour l'instant la comparaison objective avec les travaux existants. L'enjeu est avant tout d'ordre économique et d'intégration. Les approches de teach-and-repeat reposant sur le deep learning pour la localisation ont démontré leur aptitude à fonctionner dans des environnements non structurés et dynamiques, un atout pour la navigation de longue durée. Mais leur coût de calcul reste un frein: elles exigent des GPU embarqués ou des processeurs puissants, donc plus d'énergie, plus de poids et un budget matériel plus élevé. En revendiquant des besoins matériels réduits, ce travail vise des plateformes mobiles modestes, comme des AMR d'inspection, de ronde ou de logistique légère, où la navigation par caméra seule pourrait remplacer des lidars ou des balisages coûteux. Pour un intégrateur, l'intérêt est de pouvoir déployer un parcours en quelques minutes de démonstration, sans cartographie métrique ni infrastructure. Il faudra toutefois attendre les chiffres détaillés pour savoir si cette sobriété tient sur des matériels réellement contraints, et face aux variations d'éclairage, de saison ou d'encombrement. Ce travail s'inscrit dans une lignée de systèmes de navigation par répétition de trajet, dont les versions historiques utilisaient des descripteurs d'image manuels ou des réseaux profonds lourds, et qui ont montré leur valeur pour l'agriculture, l'inspection ou la patrouille. MixVPR, un descripteur global issu de la recherche en VPR, est apprécié pour son compromis entre précision de reconnaissance et légèreté, ce qui explique son choix comme brique de localisation. Il s'agit ici d'une publication académique, sans produit commercial ni pilote industriel annoncé. Les suites probables sont une publication des performances détaillées et du code, des tests sur des parcours plus longs et des conditions plus difficiles, puis une comparaison directe avec les méthodes concurrentes. Le passage à des déploiements sur des robots de service ou d'inspection dépendra de la validation de cette robustesse sur la durée.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
ReVNM : navigation visuelle par apprentissage à partir d'une caméra distante
4arXiv cs.RO 

ReVNM : navigation visuelle par apprentissage à partir d'une caméra distante

Des chercheurs présentent ReVNM (Remote Visual Navigation Model), un système de navigation robotique qui remplace les cameras embarquées classiques par une unique camera de surveillance fixe et distante du robot. Publie sur arXiv sous la référence 2609.28976 en septembre 2026, le modèle s'appuie sur une architecture VNM (Visual Navigation Model) de référence, enrichie d'un module baptise exo2ego qui convertit la vue exocentrique de la camera fixe en une estimation de profondeur égocentrique, soit la perspective que percevrait le robot lui-même face aux obstacles. Cette conversion permet au système de planifier une trajectoire sans collision même lorsque la camera distante, au champ de vision limite, ne cadre pas les obstacles sous le même angle que le robot. Le modèle a été entraine exclusivement sur des mondes synthétiques générés aléatoirement, avec des dispositions d'obstacles et des points de vue de camera varies, sans aucune donnée réelle. Les auteurs rapportent des résultats positifs en simulation comme sur robot réel, sans réglage fin supplémentaire après cet entrainement purement synthétique. Pour l'industrie de la robotique mobile, l'intérêt est concret: les modèles de navigation visuelle usuels exigent soit une carte préalablement construite pour les trajets longs, soit un traitement d'image embarque couteux en calcul. En s'appuyant sur l'infrastructure de vidéosurveillance déjà présente dans nombre d'entrepôts, usines ou espaces commerciaux, ReVNM ouvre la voie a des robots plus légers et moins chers, délestés de camera et de puissance de calcul embarquées, la camera fixe faisant office a la fois de capteur et de carte implicite de l'environnement. Cela concerne directement les intégrateurs d'AMR cherchant a réduire le cout matériel par unité déployée. La généralisation revendiquée du simulateur au monde réel, sans aucune donnée physique d'entrainement, reste toutefois un résultat obtenu sur des scenarios générés de manière procédurale, et sa robustesse face a la variabilité réelle des entrepôts (éclairage, occlusions, positionnement des cameras existantes) demande a être confirmee au-delà des expériences publiées dans l'article. Le travail s'inscrit dans la lignée des VNM, ces modèles qui font naviguer un robot a partir de simples images plutôt que d'une cartographie géométrique classique de type SLAM, une approche qui a gagne du terrain ces dernières années pour simplifier le déploiement en environnements changeants. Jusqu'ici, ces modèles restaient cantonnes aux trajets courts sans carte préalable ou exigeaient une cartographie géométrique pour la navigation longue distance. ReVNM cherche a lever cette limite en misant sur un capteur d'un genre différent, déjà largement présent dans le monde industriel et commercial, plutôt que sur la vision embarquée. L'article ne mentionne aucun partenaire industriel ni calendrier de déploiement pilote: il s'agit a ce stade d'un travail de recherche valide en simulation et sur un banc d'essai réel restreint, dont l'étape logique suivante serait une évaluation a plus grande échelle dans des sites industriels réels, face a des configurations de camera non vues a l'entrainement.

UEAucun acteur ni déploiement français ou européen n'est mentionne, mais l'approche pourrait intéresser les intégrateurs d'AMR européens cherchant a réduire les couts matériels embarques.

RecherchePaper
1 source