Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
ReferTrack, référencer avant de suivre pour le suivi visuel incarné
RecherchearXiv cs.RO 

ReferTrack, référencer avant de suivre pour le suivi visuel incarné

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Le suivi visuel incarné (embodied visual tracking, EVT) demande à un robot mobile de suivre en continu une cible décrite en langage naturel, en s'appuyant uniquement sur sa caméra embarquée. Des chercheurs présentent ReferTrack, un modèle qui découpe la tâche en deux étapes explicites : d'abord désigner la cible parmi un ensemble indexé de boîtes englobantes détectées dans l'image, puis générer les points de trajectoire pour la suivre, en conditionnant cette planification sur la décision de désignation. Pour conserver la trace du mouvement de la cible dans le temps, le système maintient une fenêtre glissante des boîtes précédemment sélectionnées et injecte leurs caractéristiques géométriques via des tokens appelés TVBI (temporal-viewpoint-bbox indicator). L'identification de cible est renforcée par un co-entraînement sur un jeu de données maison, Refer-QA. Sur le benchmark EVT-Bench, ReferTrack atteint des taux de réussite de 89,4 %, 73,3 % et 74,1 % respectivement sur les scénarios cible unique, cible parmi des distracteurs, et cible ambiguë. Des tests réels sur robots à pattes et humanoïdes confirment un transfert simulation-vers-réel fonctionnel. Le code est publié sur GitHub (MedlarTea/referTrack).

L'intérêt principal tient à la manière dont ReferTrack contourne un défaut connu des politiques vision-langage-action (VLA) actuelles : leur raisonnement en chaîne de pensée s'appuie souvent sur des représentations spatiales abstraites, difficiles à superviser et mal alignées avec les détections réelles dans l'image. En ancrant explicitement la décision d'identification sur des boîtes englobantes visibles avant de planifier la trajectoire, le modèle devient plus interprétable et plus facile à corriger. Fait notable pour les intégrateurs : avec une seule caméra frontale, ReferTrack égale voire dépasse des méthodes multi-caméras sur les tâches où l'identification est le point dur, ce qui suggère une simplification matérielle possible sans perte de robustesse sur ce type de tâche.

Le travail s'inscrit dans la vague actuelle de politiques VLA généralistes (à l'image de GR00T N2, Pi-0 ou Helix) qui cherchent à unifier perception et action dans un seul modèle. Il s'agit ici d'une publication de recherche accompagnée d'un dépôt de code ouvert, pas d'un produit commercial ni d'un déploiement industriel annoncé ; la validation sur robots à pattes et humanoïdes reste à ce stade une démonstration de faisabilité plutôt qu'un déploiement à grande échelle.

Dans nos dossiers

IA physique & VLANVIDIA GR00T

À lire aussi

CST-WM : un modèle du monde à structure causale pour le suivi visuel incarné
1arXiv cs.RO 

CST-WM : un modèle du monde à structure causale pour le suivi visuel incarné

Des chercheurs proposent CST-WM, un modèle du monde à structure causale pour le suivi visuel incarné (embodied visual tracking), publié sur arXiv (2609.06302v2). La tâche consiste à choisir des actions qui gardent une cible mobile visible à bonne distance, puis à la retrouver après une occlusion, une sortie de champ ou le croisement d'un élément distracteur. Le suivi est formulé comme une planification sur les preuves futures de présence de la cible, à l'aide d'un modèle du monde conditionné par l'action. L'état du modèle est scindé en trois branches (preuve de la cible, robot, observation). La transition supprime le lien direct, au même pas de temps, entre l'action et la preuve de la cible, mais conserve le chemin passant par le mouvement du robot et les vues qui en résultent. Couplé à un contrôle prédictif par rollouts (MPC), un modèle unique gère le suivi stable et la réacquisition après perte. Sur EVT-Bench et Habitat 3.0, il est évalué en suivi standard, en récupération après perte et en transfert entre jeux de données. Sur un quadrupède Unitree Go2, il réussit 20 essais réels sur 30 (occlusion, croisement de distracteurs, mouvements rapides), contre 14 sur 30 pour TrackVLA. L'intérêt tient au diagnostic d'un défaut discret mais répandu. Dans les données de suivi enregistrées, les actions de la politique de collecte sont corrélées à la position de la cible. Un prédicteur générique apprend alors un raccourci, où l'action courante est écrite directement dans la prédiction de la cible. Les auteurs appellent cela l'hallucination causale. Les rollouts semblent plausibles, mais le classement des actions candidates repose sur une mauvaise raison, ce qui dégrade précisément la planification. Les résultats vont dans ce sens : retirer le masque d'action provoque la plus forte baisse de réacquisition parmi les ablations. Hors ligne, l'erreur de rollout multi-pas est plus faible et le classement des actions s'accorde mieux avec celui du simulateur. Pour les intégrateurs, le message est qu'un modèle du monde entraîné sur des logs opérationnels peut être trompé par des biais de collecte, et que l'ajout d'une structure causale se montre plus utile que davantage de données. Les limites sont claires : 30 essais par méthode sur un seul robot restent un échantillon réduit, et l'écart de 20 contre 14 sur 30 demande confirmation à plus grande échelle. Ces travaux se positionnent face aux suiveurs réactifs et aux approches VLA (vision-langage-action) comme TrackVLA, qui mappent directement les observations vers les actions sans anticiper les conséquences. Ils s'ajoutent aux modèles du monde utilisés en planification robotique, en y injectant une contrainte causale explicite. Le Go2, plateforme de recherche courante, sert de banc d'essai réaliste, mais aucun déploiement industriel ni produit n'est annoncé : il s'agit d'une publication académique. Les prochaines étapes probables sont des validations sur d'autres morphologies, des environnements plus denses et des mesures de latence de planification, que le résumé ne précise pas.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
OceanGym : un environnement de référence pour les agents incarnés sous-marins
2arXiv cs.RO 

OceanGym : un environnement de référence pour les agents incarnés sous-marins

Des chercheurs du projet OceanGPT ont publié en septembre 2025 sur arXiv (article 2509.26536, version 3) OceanGym, présenté comme le premier benchmark complet pour les agents incarnés évoluant en environnement océanique sous-marin. La plateforme couvre huit domaines de tâches réalistes et repose sur un framework d'agent unifié piloté par des modèles de langage multimodaux de grande taille (MLLM), combinant perception, mémoire et prise de décision séquentielle. Les agents testés doivent interpréter à la fois des données optiques et sonar, explorer de façon autonome des environnements complexes et mener à bien des objectifs à long horizon, dans des conditions marquées par une faible visibilité et des courants océaniques dynamiques. Le code et les données du benchmark sont mis à disposition sur GitHub, sous l'organisation OceanGPT. Les expériences menées par les auteurs montrent un écart substantiel entre les agents MLLM les plus avancés et des experts humains sur les tâches de perception, de planification et d'adaptation en milieu sous-marin, un constat qui tranche avec le discours ambiant sur la maturité des agents vision-langage-action. Pour l'industrie des véhicules sous-marins autonomes (AUV) et des ROV, ce résultat confirme que l'environnement océanique reste nettement plus exigeant que les domaines terrestre ou aérien, où des benchmarks d'agents incarnés existent déjà depuis plusieurs années. OceanGym fournit ainsi aux équipes de recherche et aux intégrateurs un outil d'évaluation standardisé pour mesurer les progrès réels des agents avant tout déploiement physique, plutôt que de se fier à des démonstrations isolées. Le milieu sous-marin figure, selon les auteurs, parmi les dernières frontières inexplorées de la Terre. Jusqu'ici, l'essentiel des benchmarks d'IA incarnée portait sur des environnements terrestres ou aériens, structurés et bien cartographiés, laissant un vide pour les usages océaniques. OceanGym s'inscrit dans la continuité du projet OceanGPT, dont l'équipe avait déjà développé des modèles de langage dédiés aux sciences océaniques, et prolonge cette démarche vers l'évaluation d'agents capables d'agir physiquement sous l'eau. Les auteurs présentent ce travail comme une étape vers le transfert de ces capacités à de véritables véhicules sous-marins autonomes déployés en conditions réelles, sans toutefois communiquer de calendrier de pilote ni de partenariat industriel à ce stade: le projet reste pour l'instant au niveau de la recherche académique en accès ouvert plutôt que du produit commercial.

RecherchePaper
1 source
Feat2Go : estimation de valeur par ancrage visuel pour l'apprentissage par renforcement incarné
3arXiv cs.RO 

Feat2Go : estimation de valeur par ancrage visuel pour l'apprentissage par renforcement incarné

Feat2Go est un framework de recherche présenté sur arXiv (2605.30795, mai 2026) qui s'attaque à un verrou persistant dans l'entraînement des modèles vision-langage-action (VLA) : générer automatiquement des signaux de récompense denses pour l'apprentissage par renforcement (RL) sur des tâches de manipulation longue portée. Le système décompose automatiquement un épisode robotique en étapes sémantiques via un clustering orienté tendances, puis mesure la progression par similarité au niveau patch entre l'état courant et des sous-objectifs visuels extraits d'un world model visuel pré-entraîné. Un modèle de valeur incarné prédit ensuite ce progrès à partir de l'observation et de l'instruction textuelle, et le signal est utilisé pour reformuler les récompenses terminales lors de l'optimisation de politique, sans ingénierie manuelle des récompenses. Les résultats sur deux benchmarks de référence sont nets : sur ManiSkill3, OpenVLA-OFT passe d'un taux de succès hors distribution de 17,5 % à 82,9 % tout en maintenant 96,9 % en distribution ; sur RoboTwin 2.0, Feat2Go atteint 88,8 % de succès moyen en domain randomization, dépassant les méthodes RL antérieures. Le framework est compatible avec PPO et GRPO, et couvre manipulation bras unique et bras bimanuels. L'intérêt de cette contribution est qu'elle attaque un problème structurel du RL robotique : soit on conçoit à la main des fonctions de récompense tâche par tâche, soit on reste captif de lourds datasets d'imitation. Feat2Go contourne ces deux contraintes en extrayant automatiquement un signal de progrès granulaire depuis un world model, ce qui le rend théoriquement compatible avec des architectures VLA existantes sans modification majeure du pipeline. Un saut de 17,5 % à 82,9 % hors distribution représente un écart brut significatif, mais il faut souligner que ces chiffres restent obtenus en simulation : la chaîne sim-to-real n'est pas validée sur hardware réel, une limite habituelle mais non négligeable. Cette approche s'inscrit dans une tendance large où le RL sert de couche de fine-tuning au-dessus de fondations VLA pré-entraînées, après des travaux récents comme π0 de Physical Intelligence, GROOT N2 de NVIDIA, ou les architectures de 1X et Figure AI. La question du signal de récompense était le chaînon manquant dans ce paradigme ; Feat2Go propose une réponse agnostique au modèle. Aucun partenariat industriel ni déploiement terrain n'est annoncé, la contribution restant académique à ce stade.

RechercheOpinion
1 source
VIA : agent d'interface visuelle pour le contrôle de robots
4arXiv cs.RO 

VIA : agent d'interface visuelle pour le contrôle de robots

Le laboratoire d'IA publie sur arXiv (référence 2607.11119v1) un framework baptisé VIA, pour Visual Interface Agent, qui aborde le contrôle robotique sous un angle radicalement différent des approches dominantes. Plutôt que d'entraîner un modèle vision-langage-action (VLA) spécialisé sur des données robotiques, VIA fait piloter un bras manipulateur par un agent génériste (Claude Code ou Codex) via une interface 3D dans un navigateur : l'agent prend des captures d'écran, envoie des commandes simples, observe le résultat et ajuste sa trajectoire en boucle fermée. Aucun fine-tuning spécifique au robot, aucun accès à des données d'état privilégiées : seulement de la perception visuelle et un petit ensemble d'outils génériques. Avec le modèle le plus performant testé, Fable 5, VIA atteint 96,7% de réussite sur trois tâches de la suite LIBERO-Goal et 100% sur une tâche complexe d'assemblage séquentiel ("rainbow assembly"). L'enjeu dépasse la simple prouesse technique. Les modèles VLA actuels (dérivés de familles comme pi-0 ou GR00T N2) restent des ordres de grandeur plus petits que les modèles généralistes de pointe, faute de données et de calcul disponibles pour le fine-tuning robotique, ce qui plafonne mécaniquement leurs capacités de raisonnement. VIA suggère au contraire que les capacités générales des agents de codage ou d'usage d'ordinateur se transfèrent directement au contrôle physique, à condition de leur fournir la bonne interface. Autre signal notable : la performance de VIA progresse avec l'échelle et la puissance du modèle sous-jacent, ce qui laisserait entrevoir des gains automatiques à mesure que les modèles génériques s'améliorent, sans réentraînement robotique dédié. Pour les intégrateurs et décideurs du secteur, cela questionne la nécessité de collecter des données robotiques coûteuses pour chaque nouvelle tâche. Le travail s'inscrit dans la vague de recherche sur les VLA (RT-2, OpenVLA, Helix et consorts), qui reste aujourd'hui le paradigme dominant pour la robotique généraliste. VIA en propose une alternative agentique, sans fine-tuning, testée pour l'instant uniquement sur des tâches de manipulation de table en environnement contrôlé. Il s'agit d'un préprint arXiv, non encore validé par les pairs, et les auteurs eux-mêmes présentent leurs résultats comme des indices de transférabilité plutôt que comme une solution de déploiement industriel : les prochaines étapes attendues porteront sur l'élargissement à des tâches plus diverses et des environnements réels au-delà du tabletop.

RechercheActu
1 source