Aller au contenu principal
Transformeur de navigation visuelle à attention de pose
RecherchearXiv cs.RO 

Transformeur de navigation visuelle à attention de pose

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche a publié le 21 septembre 2026 sur arXiv, sous la référence 2609.21212, VNT-PA (Visual Navigation Transformer with Pose Attention), un planificateur de navigation robotique dont le contexte visuel, un ensemble d'images de profondeur, est indexé par la pose de la caméra plutôt que par l'ordre temporel des observations: l'attention du transformeur dépend ainsi des écarts de position entre les prises de vue, pas de leur chronologie. Entraîné par imitation d'un planificateur de plus court chemin calculé sur le maillage exact de la scène, il prédit ses actions à partir de sa seule pose courante et de la position de l'objectif. Sur la navigation vers un point cible dans les scènes de validation du jeu de données HM3D, VNT-PA atteint 93,3% de réussite et un score SPL, la réussite pondérée par la longueur du trajet, de 90,4%, devançant les modèles qui codent le même contexte en séquence temporelle ou traitent la pose comme une simple donnée d'entrée, aussi bien en performance qu'en efficacité d'entraînement.

Cette méthode répond à une limite connue des politiques de navigation apprises: leur difficulté à réutiliser l'expérience de traversées antérieures d'un même lieu sans construire une carte ou un graphe topologique explicite, coûteux à maintenir et sensible au bruit. En indexant le contexte par pose plutôt que par le temps, VNT-PA permet de fusionner au moment du test des images issues de trajectoires différentes, et se dégrade plus progressivement qu'un planificateur appuyé sur une carte explicite lorsque la localisation devient bruitée, un point sensible pour tout déploiement réel où l'odométrie n'est jamais parfaite. Pour les concepteurs de robots mobiles et d'AMR, le résultat suggère qu'un historique d'observations horodaté par la pose peut servir directement de représentation d'environnement, sans module de cartographie dédié, tout en accélérant l'entraînement sur des horizons de navigation longs.

Ces travaux prolongent deux familles de méthodes de navigation visuelle par apprentissage: les transformeurs à encodage temporel, peu aptes à réutiliser l'expérience passée, et les systèmes à carte ou graphe topologique explicite, plus robustes à la réutilisation mais coûteux à construire. VNT-PA se compare directement aux deux approches sur le même protocole HM3D, y compris à une variante où la pose est simplement ajoutée comme caractéristique d'entrée plutôt qu'utilisée comme encodage positionnel de l'attention, ce qui isole précisément l'apport de la méthode. Publié comme préprint sur arXiv, le travail reste à ce stade une contribution validée en simulation, sans portage annoncé vers un robot physique ni partenariat industriel.

Dans nos dossiers

À lire aussi

Attention à vis : l'algèbre des corps rigides au cœur d'un Transformer
1arXiv cs.RO 

Attention à vis : l'algèbre des corps rigides au cœur d'un Transformer

Des chercheurs publient sur arXiv (2610.00904) « Screw Attention », une couche de transformer qui intègre l'algèbre de la mécanique des corps rigides dans le mécanisme d'attention. Chaque token représente un corps doté d'une pose. Chaque paire de tokens porte la pose relative et, pour les articulations du robot, le « screw » (vissage) de la liaison, c'est-à-dire son torseur cinématique. La relation entre deux corps n'est donc plus une arête de graphe mais une transformation spatiale. Les messages sont transportés le long de cette relation jusque dans le repère du récepteur, tandis que les scores d'attention ne voient que des quantités invariantes au changement de repère. Les messages sont ainsi équivariants à un changement de repère indépendant à chaque token, et une seule couche peut exprimer la récurrence de vitesses de la mécanique des corps rigides. Sur LIBERO-Spatial, en simulation et à partir des poses d'objets seules (sans images ni langage), une version de 16 162 paramètres atteint 97,3 % de succès, au-dessus d'un réseau plat comptant 27 fois plus de paramètres. Si l'on change la convention de repère par maillon, son taux de succès ne bouge pas, alors que tous les autres réseaux appris tombent sous 3 %. Posée en résidu à porte sur un contrôleur analytique, la couche ajoute 17,3 points de succès en insertion. Elle reste insensible à un bruit de pose jusqu'à 10 mm et à des décalages articulaires restant dans la calibration d'usine d'un bras Franka. Le code et les politiques entraînées doivent être publiés, mais ne le sont pas encore. L'enjeu est celui de l'efficacité en données et de la robustesse. Les politiques de manipulation apprises, y compris les VLA (vision-langage-action) actuels, réapprennent à partir de données massives des relations spatiales que la mécanique fournit en forme close, ce qui coûte cher en démonstrations et les rend fragiles face à un changement de géométrie de la scène. Le résultat sur les conventions de repère est le plus parlant pour un intégrateur : une politique qui s'effondre quand on redéfinit les axes d'un maillon est peu transférable d'un robot ou d'un outil à l'autre. La tolérance au décalage de calibration d'un Franka répond à une préoccupation concrète de déploiement. Les auteurs en tirent un critère : la géométrie est décisive lorsque la tâche exige des relations entre repères qu'aucune autre partie du système ne fournit. Cela suggère que l'échelle n'est pas la seule voie, et que des biais inductifs bien choisis peuvent remplacer des paramètres. Il faut toutefois relativiser. Les résultats sont uniquement simulés, sur des benchmarks où l'état est donné sous forme de poses d'objets. Les 97,3 % ne disent donc rien de la perception, du langage ni du contact réel, et la comparaison porte sur des réseaux de même taille ou plus gros, non sur des VLA de pointe comme Pi-0 ou GR00T. Ce travail prolonge les architectures équivariantes (SE(3)-transformers, réseaux de graphes pour la manipulation) et la mécanique spatiale à la Featherstone, qu'il loge dans l'attention. Ce n'est pour l'instant qu'un préprint, sans pilote ni calendrier. La suite dépendra de la publication du code et d'un test sur robot physique, avec perception intégrée.

RecherchePaper
1 source
Apprentissage de marges de sécurité adaptatives pour la navigation visuelle
2arXiv cs.RO 

Apprentissage de marges de sécurité adaptatives pour la navigation visuelle

Des chercheurs présentent un nouveau système de sélection de trajectoires pour la navigation robotique en intérieur encombré, détaillé dans un preprint arXiv (2607.18200v1). Le problème ciblé : les marges de sécurité fixes utilisées par les robots mobiles sont mal calibrées, trop conservatrices elles provoquent détours et dépassements de temps, trop permissives elles autorisent des trajectoires limites dangereuses en cas de biais de perception. Les auteurs proposent un "safety critic" conditionné par le contexte qui apprend une préférence de dégagement adaptative pour classer les propositions générées par un planificateur par diffusion à partir d'images RGB-D égocentriques. Le critique combine trois composantes : un terme de sécurité avec pénalité de budget de dégagement et résidu de fonction barrière de contrôle, un terme d'efficacité mêlant lissage et pénalité de détour conditionnée à la sécurité, et un terme d'ancrage aux clearances ESDF réelles pour éviter l'effondrement de la marge apprise. L'entraînement s'appuie sur une géométrie ESDF privilégiée en simulation, puis le modèle est distillé en un sélecteur ne nécessitant que la perception, via une procédure enseignant-élève en deux temps. Sur les benchmarks PointGoal HM3D et MP3D, y compris en transfert cross-dataset, la méthode obtient les meilleurs taux de réussite et scores SPL face à des références par diffusion, par optimisation et par apprentissage par renforcement. Pour l'industrie robotique, ce travail s'attaque à un goulot d'étranglement concret : la plupart des planificateurs par diffusion génèrent déjà des trajectoires diverses et valables, mais peinent à choisir laquelle exécuter en toute sécurité. Une marge de sécurité apprise et adaptative plutôt que codée en dur pourrait réduire les échecs de navigation des robots déployés en environnements réels, entrepôts, usines, intérieurs domestiques, sans réglage manuel site par site. Le transfert direct vers un humanoïde Unitree G1, entraîné uniquement en simulation et sans ajustement spécifique à la tâche, illustre une réduction crédible de l'écart simulation-réel, un point sensible pour les intégrateurs qui restent souvent méfiants face aux démonstrations purement simulées. Ce travail s'inscrit dans la lignée des planificateurs par diffusion pour la navigation, une approche récente qui a gagné du terrain face aux méthodes d'optimisation classiques et au RL, en s'appuyant sur les fonctions barrière de contrôle et les champs de distance signée (ESDF) pour formaliser la sécurité. Le papier reste à ce stade une publication de recherche non revue par les pairs, sans lien annoncé avec un acteur industriel ; aucune date de déploiement produit ni partenariat n'est mentionné.

RecherchePaper
1 source
RVN-Bench : un benchmark pour la navigation visuelle réactive
3arXiv cs.RO 

RVN-Bench : un benchmark pour la navigation visuelle réactive

Des chercheurs présentent RVN-Bench (Reactive Visual Navigation Benchmark), un nouveau protocole d'évaluation pour la navigation visuelle sécurisée des robots mobiles en intérieur. Construit sur le simulateur Habitat 2.0 et les scènes photoréalistes HM3D, RVN-Bench place un agent robotique dans des environnements intérieurs jamais vus auparavant, sans carte préalable, avec pour seule information des observations visuelles brutes. L'agent doit atteindre une série d'objectifs de position successifs tout en évitant les collisions, une contrainte que les benchmarks existants négligent généralement ou qu'ils appliquent à des scénarios extérieurs peu transposables aux espaces encombrés d'un intérieur. Le système fournit un environnement d'apprentissage par renforcement en ligne, un générateur de jeux de trajectoires en images, ainsi que des outils dédiés à la production de jeux de données "négatifs" capturant spécifiquement les événements de collision, permettant un entraînement hors ligne aussi bien qu'en ligne. Les auteurs ont validé leur approche par des tests physiques sur un robot terrestre Jackal UGV. Ce travail comble un vide méthodologique réel pour l'industrie robotique : la plupart des benchmarks de navigation visuelle mesurent la capacité à atteindre un objectif sans pénaliser les collisions, ce qui masque un défaut critique pour tout déploiement en usine, entrepôt ou établissement de santé où un robot mobile évolue au milieu d'humains et d'obstacles mobiles. En intégrant la sécurité de trajectoire comme métrique de premier plan, RVN-Bench donne aux équipes de recherche et aux intégrateurs un outil standardisé pour comparer des politiques de navigation sur un critère qui compte réellement en production, plutôt que sur la seule réussite de la tâche. Les résultats indiquant une généralisation à des environnements simulés inédits et un transfert sim-to-real prometteur sur Jackal restent toutefois préliminaires : les auteurs eux-mêmes qualifient ces expériences physiques d'initiales, et la portée du transfert vers des robots aux dynamiques différentes reste à démontrer. RVN-Bench s'inscrit dans une lignée de benchmarks de navigation basés sur Habitat, déjà largement utilisés par la communauté de recherche en robotique et en apprentissage par renforcement visuel. Le code, les jeux de données et les outils associés sont publiés en accès libre, une pratique désormais standard pour ce type de contribution académique visant l'adoption par d'autres laboratoires. Aucun acteur français ou européen n'est mentionné dans ces travaux, qui restent pour l'instant au stade de la recherche et n'ont pas de calendrier de déploiement commercial annoncé.

RecherchePaper
1 source
Navigation visuelle et Wi-Fi vers des appareils émetteurs de signaux
4arXiv cs.RO 

Navigation visuelle et Wi-Fi vers des appareils émetteurs de signaux

Une équipe de chercheurs propose la navigation « visuelle et Wi-Fi », une approche où un robot rejoint un appareil émetteur dans un environnement non cartographié. Le robot s'appuie sur ses observations visuelles embarquées et sur les paquets Wi-Fi interceptés passivement, sans se connecter à l'appareil ni modifier l'infrastructure. Le travail repose sur deux briques. WiFiSpaces étend le simulateur Habitat avec un lancer de rayons en ligne, qui génère à chaque pose continue du robot les observations Wi-Fi d'un réseau d'antennes monté dessus. ViFiNav est le cadre de navigation construit par-dessus. Un algorithme de localisation de source en ligne exploite le mouvement du robot pour lever les ambiguïtés et agréger les mesures d'angle d'arrivée prises depuis plusieurs points de vue, ce qui produit une estimation de position assortie d'un niveau de confiance. Une politique apprise fusionne cette estimation, qui s'affine au fil du trajet, avec les images de profondeur. Le système a été déployé sur un robot réel équipé d'un capteur Wi-Fi bâti à partir d'un routeur grand public, sans aucun entraînement en conditions réelles. Les valeurs chiffrées (taux de réussite, erreur de localisation) ne figurent pas dans le résumé disponible. L'intérêt tient à la cible visée. Les objets petits, occultés ou visuellement peu distinctifs, comme un appareil électroménager connecté, un smartphone ou une étiquette IoT, mettent en difficulté la navigation purement visuelle. Or ces objets émettent déjà du Wi-Fi en fonctionnement normal. Les auteurs montrent que le mouvement du robot est déterminant pour obtenir des estimations de source précises, car les mesures d'angle prises depuis une position fixe sont faussées par les trajets multiples en intérieur. Ils indiquent aussi que le réglage fin sur des observations Wi-Fi simulées par lancer de rayons améliore le taux de réussite. Le transfert sans réentraînement vers des jeux de scènes inédits, puis vers un robot physique, suggère que la simulation peut combler une partie de l'écart sim-to-real pour un capteur radio, domaine où les simulateurs se limitaient jusqu'ici surtout à la vision. Pour un intégrateur, l'usage possible va de la logistique intérieure à la recherche d'outils ou d'équipements étiquetés. La prudence reste de mise : il s'agit d'un preprint, et rien n'indique la diversité des environnements réels testés, la densité d'émetteurs concurrents ni la tenue face à des appareils qui émettent peu. Ce travail s'inscrit dans la navigation vers un objectif (object-goal navigation), qui s'est surtout développée dans Habitat avec des politiques fondées sur la vision et la profondeur. Les approches radio existantes relèvent souvent de la localisation par empreintes Wi-Fi, qui exige une cartographie préalable ou une infrastructure dédiée. Ici, aucun de ces prérequis n'est nécessaire. La publication (arXiv, 2610.12733) n'annonce ni pilote industriel ni calendrier de commercialisation, et reste un résultat de recherche. Les suites logiques seraient des essais dans des bâtiments plus variés, avec plusieurs sources simultanées, et une intégration avec les modèles vision-langage-action actuels pour des tâches de manipulation guidées par un signal.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source