Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
G2-Nav : cartes de coûts vision-langage ancrées et sécurisées pour la navigation sociale des robots
RecherchearXiv cs.RO 

G2-Nav : cartes de coûts vision-langage ancrées et sécurisées pour la navigation sociale des robots

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent G2-Nav, un nouveau framework de navigation sociale pour robots mobiles, détaillé dans un article déposé sur arXiv (2607.16956v1). Plutôt que de laisser un modèle vision-langage (VLM) décider directement des trajectoires, comme le font les approches end-to-end existantes, G2-Nav traduit le raisonnement sémantique du VLM en une costmap vision-langage interprétable. Le modèle identifie les zones traversables et les agents sociaux à partir d'une perception en ensemble ouvert (open-set), puis cartographie ce contexte social sous forme de coûts exploitables par le planificateur. Pour renforcer la robustesse en conditions réelles, le VLM effectue aussi une vérification sémantique sur le suivi (tracking) en amont, et les auteurs ajoutent un contrôle de sécurité à haute fréquence destiné à compenser la latence du système avant la génération de trajectoire. Des expériences en environnement réel, selon les auteurs, montrent une navigation autonome sûre, efficace et socialement conforme dans des espaces non structurés. Le code source doit être publié ultérieurement.

L'intérêt de ce travail tient à la faille qu'il cherche à combler entre deux approches jugées insuffisantes pour l'autonomie complète: les frameworks VLM end-to-end, qui produisent des décisions de planification difficiles à auditer et donc risquées à déployer, et les méthodes d'instruction-following, pensées pour suivre des consignes humaines plutôt que pour opérer de façon totalement autonome. En cantonnant le VLM à un rôle d'évaluation sémantique plutôt que de contrôle direct, G2-Nav vise une architecture plus traçable, un enjeu concret pour les intégrateurs et décideurs industriels qui doivent justifier la sécurité de robots évoluant parmi des humains, en entrepôt, en établissement de santé ou en espace public. Le garde-fou de sécurité haute fréquence répond en particulier à un angle mort fréquent des démonstrations VLM: la latence d'inférence, souvent ignorée dans les vidéos promotionnelles du secteur.

Ce travail s'inscrit dans la vague de recherche actuelle sur l'usage des VLM pour doter les robots d'un raisonnement de niveau humain en navigation sociale, un domaine où les benchmarks restent encore largement issus de démonstrations contrôlées. L'abstract ne précise ni l'institution porteuse ni le matériel robotique utilisé pour les essais réels, et le code, annoncé comme futur, n'est pas encore disponible: il s'agit donc à ce stade d'un préprint à confirmer par la publication effective et par une évaluation indépendante, plutôt que d'une solution déployée ou commercialisée.

Dans nos dossiers

arXiv cs.RO

À lire aussi

$S^3$-Nav : prise de décision spatiale et sémantique structurée pour la navigation de robots guidée par le langage
1arXiv cs.RO 

$S^3$-Nav : prise de décision spatiale et sémantique structurée pour la navigation de robots guidée par le langage

S³-Nav, publié sur arXiv (2610.19431), est un cadre de décision structuré spatio-sémantique pour la navigation de robots guidée par le langage en observabilité partielle. Les auteurs ne supposent pas qu'une représentation complète de l'environnement est disponible d'emblée. Le système construit de manière incrémentale un état spatio-sémantique persistant, puis n'expose à la politique de haut niveau qu'une vue de capacité contrôlée, conditionnée par la tâche. Les sorties de cette politique sont traitées comme provisoires. Avant toute exécution physique ou clôture de la tâche, elles sont ancrées et validées séparément, à la fois contre les preuves sémantiques persistantes et contre les observations géométriques courantes. Les évaluations couvrent plusieurs environnements et deux familles de tâches, avec des objectifs d'objet et des objectifs de relation. Le résumé annonce une meilleure fiabilité en boucle fermée et un coût de raisonnement réduit pour la politique. Il ne donne ni chiffres, ni noms de modèles, ni précisions sur les plateformes testées. L'intérêt tient à une séparation que beaucoup de systèmes de navigation par modèles de langage ou VLA (vision-langage-action) ne font pas. Ce que le robot doit mémoriser, ce que la politique doit examiner et ce qui autorise l'action sont trois choses distinctes. Dans de nombreuses architectures, un grand modèle reçoit un contexte qui grossit à chaque pas et sa sortie déclenche directement le mouvement. Cela alourdit le raisonnement et rend les hallucinations coûteuses. Ici, la vue exposée a une taille bornée et un module de validation garde l'autorité d'exécution. Pour un intégrateur, c'est un schéma de sécurité et de maîtrise des coûts d'inférence. Il touche deux points bloquants du passage du démonstrateur à l'exploitation : la dérive en environnement réel et la facture de calcul embarqué. Les gains restent à confirmer. Un résumé sans valeurs chiffrées, sans comparaison nommée avec des méthodes existantes et sans mention d'essais sur robot réel ne permet pas de dire si l'amélioration est marginale ou structurelle. Le travail s'inscrit dans la lignée de la navigation sémantique à vocabulaire ouvert, qui associe cartes persistantes, graphes de scène et grands modèles de langage pour des objectifs formulés en langage naturel. Les limites de ces approches sont connues : contexte qui enfle, décisions peu vérifiables, échecs en boucle fermée. S³-Nav répond à ces trois problèmes par la structure plutôt que par un modèle plus gros. C'est un papier de recherche, pas un produit. Aucun déploiement, aucun partenaire industriel et aucun calendrier de pilote ne sont annoncés. Les prochaines étapes à surveiller sont la publication du code et des benchmarks, des tests sur plateformes physiques et une comparaison directe avec les approches fondées sur des graphes de scène et des VLA de bout en bout.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Social-WM : des modèles du monde latents sensibles à la sécurité pour la navigation sociale des robots
2arXiv cs.RO 

Social-WM : des modèles du monde latents sensibles à la sécurité pour la navigation sociale des robots

Des chercheurs publient Social-WM, un cadre de planification par modèle de monde latent destiné à la navigation sociale des robots, c'est-à-dire le déplacement parmi des piétons et des obstacles. Le système est entraîné uniquement à partir de séquences vidéo RGB égocentriques. Il prédit, en fonction de l'action commandée, l'observation future réellement obtenue après chaque commande. Il apprend ainsi les conséquences pertinentes pour la sécurité. Un second objectif, dit de dynamique inverse « réalisable », associe chaque transition latente observée à l'action effectivement réalisée, et non à l'action nominale demandée. Au déploiement, le robot imagine plusieurs actions candidates dans le modèle de monde. Le modèle inverse estime ensuite leur réalisabilité, et l'écart entre action nominale et action réalisable sert de signal de sécurité avant exécution. Sur le benchmark Social-HM3D, Social-WM atteint 63,77 % de réussite avec 21,67 % de collisions avec des humains. Les résultats restent solides en transfert zéro-shot sur Social-MP3D. L'approche n'utilise ni suivi explicite des piétons, ni état humain privilégié, ni apprentissage par renforcement en ligne. L'intérêt tient à la manière de traiter le problème. Une action « avancer » peut s'exécuter entièrement en espace libre, mais doit être freinée ou modifiée face à un piéton ou un obstacle. Les données de navigation sociale contiennent donc un décalage systématique entre commande et mouvement réel. En apprenant ce décalage plutôt qu'en le supposant nul, le robot dispose d'un indicateur de risque sans module de perception dédié aux humains. Pour un intégrateur, cela réduit la dépendance à des piles de suivi et de prédiction de trajectoires, coûteuses à calibrer. Le fait que la dynamique et la réalisabilité soient indépendantes du but permet de réutiliser le même modèle pour la navigation par position et par image-cible. Il faut toutefois relativiser : un taux de collision de 21,67 % reste très éloigné d'un niveau acceptable en environnement réel, et les résultats proviennent de simulation. Aucun test sur robot physique ni comparaison de coûts de calcul n'est mentionné dans le résumé. Ce travail s'inscrit dans la montée des modèles de monde latents, qui planifient dans un espace de représentation compact plutôt qu'en reconstruisant des pixels, et dans l'effort pour combler l'écart entre simulation et réel en navigation sociale. Les benchmarks utilisés, construits sur les scènes HM3D et Matterport3D, relèvent de la simulation d'intérieur et couvrent mal la variété des lieux publics. Les approches concurrentes reposent généralement soit sur l'apprentissage par renforcement en ligne, soit sur des modules explicites de suivi des piétons. La suite logique est une validation sur plateforme mobile réelle, dans des espaces partagés comme les hôpitaux ou la logistique, où des robots mobiles autonomes (AMR) croisent déjà des opérateurs. Il s'agit pour l'instant d'une préimpression arXiv (v1), non évaluée par les pairs, sans produit ni déploiement annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
SOPD-SocialNav : distillation sélective en ligne pour la navigation sociale vision-langage
3arXiv cs.RO 

SOPD-SocialNav : distillation sélective en ligne pour la navigation sociale vision-langage

Des chercheurs présentent SOPD-SocialNav, une méthode de distillation sélective "on-policy" (SOPD) qui transfère les capacités de raisonnement social pour la navigation robotique d'un grand modèle vision-langage (VLM) enseignant vers un VLM étudiant léger, plus facile à déployer sur une plateforme robotique aux ressources limitées. Le mécanisme central repose sur une sélection de tokens basée sur l'entropie: le système repère, grâce à l'incertitude du modèle enseignant, les tokens de décision socialement informatifs, tout en supprimant les gradients des tokens à faible entropie qui correspondent à des situations de navigation triviales. Un objectif de divergence de Jensen-Shannon à température contrôlée aligne ensuite les distributions de l'étudiant et de l'enseignant sur ces tokens sélectionnés uniquement. Sur les benchmarks SNEI et MUSON, SOPD surpasse le fine-tuning supervisé classique, la distillation hors ligne (off-policy) et la distillation on-policy standard, sur trois axes: prédiction d'action, cohérence de perception et cohérence de raisonnement. Les auteurs ont aussi testé le modèle distillé en conditions réelles sur un robot Scout Mini, dans des scénarios de conversation et de file d'attente humaine. L'enjeu dépasse la simple performance benchmark: c'est la tension classique entre VLM massifs, riches en raisonnement social mais trop lourds pour l'embarqué, et VLM légers, rapides mais socialement maladroits. Les méthodes de distillation existantes traitent généralement tous les tokens de façon uniforme, gaspillant de la capacité d'apprentissage sur des états de navigation sans enjeu social réel. En ciblant spécifiquement les moments de décision ambigus (croiser un piéton, gérer une file d'attente), SOPD propose une piste concrète pour des robots socialement compétents sans dépendre d'un cloud ou d'un GPU embarqué surdimensionné, un sujet clé pour les intégrateurs en logistique, santé ou espaces partagés. Ce travail reste toutefois un résultat de recherche publié sur arXiv, validé sur un seul robot (Scout Mini) et deux benchmarks spécialisés (SNEI, MUSON), pas un produit déployé à l'échelle. Il s'inscrit dans la vague plus large des VLA/VLM pour la robotique incarnée (Pi-0, GR00T, Helix), mais se concentre étroitement sur la navigation sociale plutôt que la manipulation généraliste. Les suites logiques attendues seraient des essais sur d'autres plateformes robotiques et une comparaison directe avec d'autres approches de navigation sociale.

RecherchePaper
1 source
VLN en vol : une pile de navigation vision-langage embarquée pour robots aériens
4arXiv cs.RO 

VLN en vol : une pile de navigation vision-langage embarquée pour robots aériens

Une équipe de chercheurs a publié sur arXiv, le 18 septembre 2026 (référence 2609.20191), une étude décrivant "VLN on the Fly", une pile logicielle de navigation par instructions en langage naturel (vision-language navigation, VLN) fonctionnant intégralement à bord d'un robot aérien. Le système enchaîne quatre étages distincts et inspectables plutôt qu'un unique réseau de bout en bout : un modèle vision-langage (VLM) quantifié associe l'instruction textuelle à une cellule grossière de l'image caméra, la carte de profondeur convertit cette cellule en un objectif 3D, un planificateur de trajectoire rapide basé sur des splines B calcule un chemin faisable, puis une politique d'apprentissage par renforcement préentraînée traduit cette trajectoire en commandes moteur pour des quadricoptères. Sur 15 vols embarqués testant trois objets de référence du quotidien dans un volume intérieur contrôlé, le drone atteint sa cible dans 13 cas sur 15, avec une erreur moyenne de 5,72 cm par rapport à l'objectif et une utilisation moyenne du GPU embarqué de 39,3 %. Six essais supplémentaires en environnement encombré montrent des trajectoires sans collision grâce à un filtrage de la perception embarquée. L'intérêt de ces travaux tient à la contrainte de calcul propre aux drones, bien plus sévère que sur des robots au sol ou humanoïdes : grounding, planification et contrôle doivent se partager une puissance embarquée limitée, et une erreur dans un pipeline fusionné en un seul réseau (comme le font la plupart des politiques VLA de bout en bout) est difficile à isoler en vol. En conservant des étages séparés et observables, l'équipe défend une architecture plus sûre et plus facile à diagnostiquer, au prix probable d'une latence ou d'une flexibilité moindre qu'une politique end-to-end. Le chiffre de 39,3 % d'utilisation GPU suggère une marge de calcul disponible, preuve que l'exécution embarquée complète reste viable sans déport vers une station sol ou le cloud, un point clé pour les intégrateurs de drones d'inspection ou de logistique intéressés par un pilotage vocal ou textuel autonome. Il faut toutefois noter la portée limitée de la démonstration : 15 vols, trois objets, un environnement intérieur contrôlé, et un taux d'échec de 2 essais sur 15, loin d'un déploiement industriel validé. Ces travaux s'inscrivent dans le débat plus large opposant les architectures VLA de bout en bout, popularisées par des modèles comme Pi-0 ou GR00T N2 sur des plateformes au sol, à des pipelines modulaires jugés plus sûrs pour des systèmes critiques comme les drones volant à proximité d'humains ou d'obstacles. Aucun acteur français ou européen n'est mentionné dans cette étude, qui reste un prototype de recherche sans annonce de partenariat industriel ni de calendrier de déploiement commercial. Les essais en environnement encombré laissent entrevoir une prochaine étape vers des scénarios plus réalistes, mais aucun pilote opérationnel n'est pour l'instant annoncé.

RecherchePaper
1 source