RecherchearXiv cs.RO 14 juillet 2026

Traj-VLN : apprentissage de l'interaction dans l'espace des pixels par génération autorégressive de trajectoire

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent Traj-VLN, une méthode publiée en prépublication sur arXiv (référence 2607.10744) pour la navigation vision-langage en environnements continus (VLN-CE), où un agent embarqué doit se déplacer dans un lieu inconnu en suivant des instructions en langage naturel du type « marche jusqu'au bout du canapé et tourne à gauche ». Plutôt que d'injecter des données de profondeur ou une géométrie 3D explicite dans le modèle vision-langage (VLM), les auteurs proposent de faire apprendre directement au VLM, par fine-tuning, à générer une trajectoire dans l'espace des pixels de l'image 2D, de façon autorégressive : à partir de l'instruction et de l'historique d'observations, le modèle prédit une séquence de coordonnées de pixels formant un chemin depuis le centre bas de l'image courante. Les auteurs indiquent que cette supervision par trajectoire en pixels, dont un signal proche (le pixel-goal) avait déjà montré sa supériorité sur l'apprentissage d'actions discrètes dans des travaux antérieurs, améliore sensiblement les performances de navigation, et que leur modèle principal atteint un niveau état de l'art avec des ressources de calcul et un volume de données d'entraînement relativement limités.

L'intérêt dépasse l'exercice académique : la navigation vision-langage en continu reste un verrou central pour tout robot mobile ou humanoïde censé exécuter des instructions naturelles dans un environnement non cartographié au préalable, un scénario clé pour la logistique d'entrepôt, l'assistance domestique ou l'inspection industrielle. Le choix de contourner la profondeur et la géométrie 3D est significatif : les VLM généralistes sont entraînés quasi exclusivement sur des conversations autour d'images RGB, et leur faire ingérer des cartes de profondeur ou des nuages de points exige d'ordinaire des architectures spécialisées ou des données rares. En reformulant le problème comme une génération de trajectoire en pixels, modalité que ces modèles maîtrisent déjà nativement, Traj-VLN illustre une tendance de fond du secteur : réutiliser les priors des VLM plutôt que d'entraîner des chaînes de perception 3D dédiées, ce qui pourrait réduire le coût d'intégration pour les fabricants de robots mobiles autonomes (AMR) et les intégrateurs cherchant à connecter leurs plateformes à des VLM existants.

Ce travail s'inscrit dans la lignée des approches vision-langage-action (VLA) qui, ces deux dernières années, cherchent à faire des sorties en pixels ou en points-objectifs une interface universelle entre perception et action, aussi bien pour la manipulation que pour la navigation. Le résumé du papier ne précise ni les benchmarks utilisés, ni les chiffres de performance exacts, ni la disponibilité du code ou des poids, ce qui invite à la prudence tant que ces éléments ne sont pas comparés indépendamment aux systèmes concurrents. Publié comme simple prépublication arXiv (catégorie « cross »), Traj-VLN n'est rattaché à aucun laboratoire nommé ni à un acteur français ou européen dans les informations disponibles ; la suite logique, comme pour la plupart des travaux VLN académiques, sera une évaluation sur des benchmarks standards du domaine (R2R, RxR ou équivalents en continu) et, potentiellement, un transfert au delà de la simulation vers des plateformes robotiques réelles.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

SCREP : génération de trajectoires perceptuelles par régression de coordonnées de scène et apprentissage évidentiel

Des chercheurs ont publié sur arXiv (référence 2507.07467v3) SCREP, un planificateur de trajectoire dit "perception-aware" conçu pour les drones autonomes évoluant en intérieur sans signal GPS. Le système repose sur la régression de coordonnées de scène (SCR, ou Scene Coordinate Regression) couplée à un apprentissage évidentiel : au lieu d'effectuer une reconstruction de carte 3D par appariement de features (approche classique mais coûteuse en calcul et en stockage), le réseau prédit directement les coordonnées 3D associées à chaque pixel de l'image embarquée, ce qui permet une estimation de pose absolue en temps réel. Un optimiseur de trajectoire à horizon glissant (receding-horizon) oriente activement la caméra vers les zones de la scène présentant la plus faible incertitude de localisation. Un lisseur à retard fixe (fixed-lag smoother) fusionne ensuite les estimations de pose SCR, de basse fréquence, avec les données IMU haute fréquence pour produire une estimation de pose continue et de haute qualité. En simulation, SCREP réduit l'erreur quadratique moyenne (RMSE) de translation d'au moins 4,9 % et celle de rotation d'au moins 30,8 % par rapport aux méthodes de référence. Des expériences hardware-in-the-loop valident la faisabilité dans des conditions proches du déploiement réel. L'intérêt industriel de cette approche tient à deux tensions classiques dans la navigation autonome en intérieur : la scalabilité des cartes de localisation visuelle et le coût de calcul embarqué. Les méthodes par appariement de features (comme celles utilisées dans ORB-SLAM ou HLoc) imposent une reconstruction préalable de la carte et souffrent d'une explosion mémoire dans les grands environnements entrepôts ou industriels. La SCR résout ce problème par un réseau compact appris offline, directement exploitable onboard sur un calculateur de drone. L'apport d'SCREP va plus loin : en intégrant l'incertitude estimée dans la boucle de planification de trajectoire, le système évite activement les zones visuellement ambiguës plutôt que de subir leur dégradation localement. C'est un changement de paradigme notable par rapport aux planificateurs classiques qui traitent la localisation comme une boîte noire externe. Pour un intégrateur ou un décideur industriel déployant des drones d'inspection ou d'inventaire, cela réduit le risque de dérive de pose dans les couloirs peu texturés ou les allées sombres. La navigation en environnement GPS-denied est un verrou technique persistant pour les drones d'intérieur autonomes, avec une communauté de recherche active depuis une décennie autour de VIO (Visual-Inertial Odometry), SLAM et, plus récemment, des méthodes apprises comme NeRF ou les champs de scène implicites. La SCR elle-même est une alternative proposée initialement par la communauté relocalisation visuelle (travaux pionniers Microsoft Research, DSAC++), mais son application dans une boucle de planification proactive reste peu explorée. SCREP se positionne comme une contribution de recherche académique, présentée sous forme de preprint arXiv sans affiliation industrielle identifiée ni annonce de déploiement commercial. Les résultats hardware-in-the-loop sont encourageants mais ne constituent pas une validation terrain à grande échelle. Les concurrents directs incluent les approches VIO+planification certifiée (ETH Zurich, MIT CSAIL), ainsi que des acteurs industriels comme Skydio ou Exotec pour la navigation autonome en entrepôt. Les prochaines étapes attendues seraient une évaluation sur des environnements réels de grande dimension et une comparaison avec des champs de scène neuraux récents comme l'iNeRF ou les Gaussian Splats.

UEImpact indirect sur Exotec (France) et autres opérateurs européens de drones d'entrepôt : si l'approche SCR+planification proactive se confirme à l'échelle terrain, elle pourrait réduire le coût des cartes de localisation visuelle dans les grands entrepôts logistiques européens.

RecherchePaper

1 source

2arXiv cs.RO

MinInter : minimiser l'interpolation de trajectoire lors de l'augmentation de données pour l'apprentissage par imitation

Une équipe de chercheurs a publié en juin 2026 sur arXiv (arXiv:2606.24078) une méthode baptisée MinInter (Minimizing Interpolation), destinée à améliorer la qualité des données synthétiques générées lors de l'apprentissage par imitation pour la manipulation robotique. Le principe est ciblé : lorsqu'un pipeline d'augmentation de données recompose des démonstrations d'experts à partir de configurations initiales variées, il doit typiquement intercaler des segments d'interpolation entre les morceaux de trajectoire, segments qui ne correspondent à aucun comportement expert et dégradent la qualité des données générées. MinInter résout ce problème en sélectionnant, pour chaque configuration initiale échantillonnée, la démonstration source qui nécessite le moins d'interpolation pour former une trajectoire complète. Sur le benchmark MimicGen, la méthode a été évaluée sur 12 tâches de manipulation couvrant 26 variantes, et améliore systématiquement à la fois les taux de succès de génération de données et les taux de succès des politiques apprises, avec les gains les plus importants sur les tâches dites contact-rich (en contact physique intensif), long-horizon (longues séquences d'actions) et high-variance (configurations initiales très dispersées). L'intérêt principal de MinInter réside dans sa capacité à améliorer la qualité des données sans modifier l'architecture du pipeline d'augmentation existant : la méthode est compatible avec les frameworks actuels et agit uniquement sur la stratégie de sélection de trajectoire. C'est un levier pratique pour les laboratoires qui cherchent à réduire le coût humain de la collecte de démonstrations tout en maintenant la qualité des politiques apprises. Les résultats sur les tâches contact-rich sont particulièrement notables, car ce type de tâche est historiquement difficile à traiter par augmentation synthétique, les dynamiques de contact étant sensibles aux discontinuités introduites par les segments d'interpolation. La surperformance face à SkillGen, un framework récent et plus complexe, questionne l'utilité d'approches sophistiquées quand une heuristique de sélection bien ciblée suffit. Le contexte est celui de la montée en puissance de l'apprentissage par imitation (IL) comme alternative au reinforcement learning pour la robotique de manipulation, notamment avec des méthodes comme BC (Behavioral Cloning), ACT ou Diffusion Policy. MimicGen, le benchmark utilisé, est devenu une référence du domaine pour comparer les méthodes d'augmentation de trajectoire. MinInter s'inscrit dans la même lignée que SkillGen (2024), mais avec une philosophie de minimalisme algorithmique. La prochaine étape logique serait de valider ces gains sur du matériel réel, où les dynamiques de contact et la variabilité du monde physique dépassent largement ce que les simulateurs capturent, et où le sim-to-real gap reste la principale incertitude non résolue.

UELes laboratoires européens travaillant sur l'apprentissage par imitation (INRIA, CEA-List, universités techniques) peuvent intégrer directement MinInter dans leurs pipelines d'augmentation MimicGen sans modifier leur architecture existante.

RecherchePaper

1 source

3arXiv cs.RO

Utilisateur-guidé : apprentissage par démonstration de trajectoire et d'impédance

Des chercheurs publient sur arXiv (papier 2607.16998, juillet 2026) une nouvelle méthode d'apprentissage par démonstration (Learning from Demonstration, LfD) pilotée par l'utilisateur, validée sur un bras robotique KUKA LWR IV+ à 7 degrés de liberté (DOF). Le système combine un algorithme de "Fast Diffeomorphic Matching" (FDM) tridimensionnel avec un générateur de mouvement basé sur les systèmes dynamiques (DS), complété par un filtre de Kalman étendu (EKF) qui compense les erreurs de reproduction et permet au robot de récupérer après une perturbation externe. Une fonction de paramétrisation d'impédance apprend en temps réel les variations de raideur du bras à partir d'une unique démonstration, notamment pour maintenir un contact stable avec une surface. L'objectif affiché est d'éliminer le réenseignement répété d'une même tâche, en apprenant en une seule fois (single-shot) à la fois la trajectoire et la conformité mécanique nécessaires pour la reproduire avec précision. Pour les intégrateurs et les équipes de robotique industrielle, l'enjeu est la sécurité et l'efficacité de l'interaction homme-robot (HRI). Les trajectoires classiques indexées dans le temps, rigides par nature, posent un problème de sécurité dès qu'un opérateur interagit physiquement avec le bras ou qu'un obstacle imprévu survient, le robot suivant son chemin sans s'adapter. En apprenant simultanément la géométrie du mouvement et son impédance, la méthode cherche à combiner précision de reproduction et sécurité intrinsèque, sans complexifier la phase d'enseignement pour l'opérateur qui ne réalise la démonstration qu'une seule fois. C'est un signal, parmi d'autres travaux récents en LfD, que la communauté robotique cherche à sortir du dilemme précision contre compliance qui limite aujourd'hui le déploiement des bras collaboratifs sur des tâches de contact (polissage, assemblage, ébavurage) en environnement partagé avec des humains. Cette approche s'inscrit dans la lignée des méthodes de LfD basées sur les systèmes dynamiques (DS-GMM, DMP et variantes), déjà largement étudiées pour encoder des trajectoires robustes aux perturbations, mais qui peinent traditionnellement à intégrer une impédance variable sans multiplier les démonstrations ou les phases de réglage manuel. Le choix du KUKA LWR IV+, bras à sept degrés de liberté doté d'un contrôle en couple aux articulations, reste une plateforme de référence académique pour ce type d'expérimentation en contrôle d'impédance et en manipulation compliante. Déposé sur arXiv comme nouvelle soumission, le papier n'en est qu'au stade de la validation expérimentale en laboratoire: aucune indication d'industrialisation ni de partenariat n'est mentionnée, et des essais sur d'autres plateformes et des tâches d'usine réelles seront nécessaires pour juger de sa portée au-delà du cas d'étude KUKA.

RecherchePaper

1 source

4arXiv cs.RO

Temporal GRPO : au-delà du crédit au niveau trajectoire dans l'apprentissage par renforcement pour modèles vision-langage-action

Des chercheurs publient sur arXiv (référence 2608.13026, nouvelle soumission) une méthode baptisée Temporal GRPO, qui corrige un défaut du post-entraînement par renforcement des politiques vision-langage-action (VLA). Dans l'approche standard dite GRPO, un seul score d'avantage est calculé pour toute une trajectoire de robot et appliqué uniformément à chacune de ses actions. Une trajectoire qui réussit plusieurs étapes valides mais échoue ensuite voit donc pénalisées les actions ayant produit un progrès réel plus tôt, un biais que les auteurs nomment "aliasing du crédit au niveau de la trajectoire". Temporal GRPO découpe chaque tâche en étapes détectables, aligne chaque rollout sur les intervalles d'actions propres à ces étapes, et ne compare entre elles que les trajectoires ayant atteint la même étape ; les avantages calculés par étape sont ensuite appliqués aux intervalles correspondants lors d'une seule mise à jour de la politique. Sur le benchmark de simulation RoboTwin 2.0, la méthode améliore le taux de réussite des tâches et l'efficacité d'échantillonnage, avec des gains constants quel que soit l'horizon des tâches. Sur LIBERO-Long, des mises à jour contrôlées montrent qu'elle préserve les étapes prérequises communes aux trajectoires et concentre l'amélioration précisément à la première étape où les résultats divergent. Ce travail cible un maillon technique précis mais central de l'entraînement des politiques VLA par renforcement : l'attribution du crédit sur des tâches longues et multi-étapes, un problème connu qui limite l'apprentissage à partir du seul signal succès/échec de fin de tâche. Pour les équipes qui post-entraînent des politiques robotiques par renforcement plutôt que par simple imitation, un mauvais découpage du crédit désapprend des comportements pourtant corrects, ralentissant la convergence et gonflant le nombre d'essais nécessaires avant tout transfert vers le réel. Les gains reproductibles observés sur deux benchmarks distincts constituent une preuve technique que le crédit par étape, plutôt qu'au niveau global de la trajectoire, améliore l'efficacité d'échantillonnage, un facteur déterminant pour rendre l'apprentissage par renforcement viable à grande échelle sur des tâches robotiques composites. GRPO (Group Relative Policy Optimization) est une méthode popularisée dans l'entraînement des grands modèles de langage avant d'être reprise pour post-entraîner des politiques VLA à partir d'un signal de succès facile à obtenir à grande échelle. RoboTwin 2.0 et LIBERO-Long sont des environnements de simulation standards du champ, utilisés ici sans déploiement matériel ni annonce de partenariat industriel. L'article ne précise ni affiliation des auteurs ni publication de code ; il s'agit à ce stade d'une contribution méthodologique évaluée uniquement en simulation, susceptible d'intéresser les laboratoires développant des politiques VLA généralistes confrontées aux mêmes limites de crédit lors du passage à l'échelle.

RechercheActu

1 source