Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
VLX-Go : un suivi robuste en IA incarnée grâce à l'apprentissage multi-étapes et au raffinement sur la politique
RecherchearXiv cs.RO 

VLX-Go : un suivi robuste en IA incarnée grâce à l'apprentissage multi-étapes et au raffinement sur la politique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

VLX-Go est une politique de navigation « vision-langage » présentée sur arXiv (2610.19361) pour le suivi visuel incarné, c'est-à-dire un robot qui identifie une cible désignée et pilote son propre mouvement pour la suivre. Le modèle combine plusieurs encodeurs visuels gelés complémentaires, un contexte temporel multi-échelle, un backbone transformer et une tête légère qui prédit des waypoints exprimés dans le repère du robot. L'entraînement se fait en trois étapes : alignement vision-langage, mi-entraînement de raisonnement multimodal, puis spécialisation au suivi sur 19 532 épisodes générés par un oracle. Sur le suivi en présence de distracteurs, le taux de succès passe de 41,54 % pour le précédent modèle des auteurs, OmTrackVLA, à 55,80 % avec la recette complète. Une étude préliminaire de raffinement « on-policy », qui réutilise des étiquettes d'oracle filtrées sur les états réellement visités par la politique, ajoute 2,42 points (58,22 %) et réduit le taux de collision de 1,99 point. Selon les auteurs, c'est le meilleur résultat parmi les méthodes comparées, en distracteurs comme en cas ambigus.

L'intérêt tient au problème ciblé. Suivre une personne isolée est une démonstration relativement facile, mais les robots de service, de logistique ou d'accompagnement évoluent dans des espaces partagés où plusieurs silhouettes se croisent. Les méthodes existantes perdent beaucoup de performance entre cible unique et distracteurs, et c'est cet écart que le travail cherche à réduire. Le résultat soutient l'idée qu'aligner d'abord les représentations visuelles et linguistiques, avant d'apprendre le mouvement, vaut mieux qu'un apprentissage direct du suivi. Il faut toutefois relativiser : un taux de succès de 58 % reste très loin d'un niveau exploitable en production, et les chiffres proviennent de benchmarks, probablement en simulation, sans validation de déploiement réel mentionnée. Le gain du raffinement on-policy est modeste et explicitement présenté comme exploratoire.

Ce travail prolonge la lignée des modèles VLA (vision-langage-action) appliqués à la navigation, dont OmTrackVLA est l'étape précédente chez les mêmes auteurs. Il s'inscrit dans une course académique au suivi de personne par modèles de fondation, où la difficulté se déplace de la simple détection vers la désambiguïsation de la cible. Aucun produit, pilote ni calendrier n'est annoncé : il s'agit d'une publication de recherche, sans acteur industriel européen identifié. La suite logique, selon les auteurs, est une étude plus poussée du raffinement on-policy, qui corrige le décalage entre les états vus à l'entraînement et ceux que la politique rencontre en exécution. Les prochaines étapes à surveiller sont des tests sur robot physique et des comparaisons sur des benchmarks partagés.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

PMTRM : module de ré-encodage temporel à pseudo-mémoire pour l'apprentissage de politiques en IA incarnée
1arXiv cs.RO 

PMTRM : module de ré-encodage temporel à pseudo-mémoire pour l'apprentissage de politiques en IA incarnée

Des chercheurs proposent le Pseudo-Memory Temporal Re-encoding Module (PMTRM), publié sur arXiv (2610.11168v1), un module d'extension léger de seulement 7,61 millions de paramètres destiné à corriger l'ambiguïté de phase en manipulation robotique. Le problème est précis : dans de nombreuses tâches, des mouvements répétés produisent des observations locales quasi identiques à des moments différents, alors que l'action attendue diffère. Une politique qui s'appuie surtout sur l'observation courante peut alors rejouer un mouvement déjà accompli ou changer de phase au mauvais moment. PMTRM encode un historique borné d'états et d'actions exécutés sous forme de séquence latente, fournie à une politique existante. Un objectif d'« hétérogénéité temporelle » pénalise la similarité positive entre positions éloignées de cette séquence, tandis que des pertes d'ancrage et de reconstruction préservent l'information utile à la prédiction d'actions. Le décodeur de reconstruction ne sert qu'à l'entraînement : à l'inférence, seul le ré-encodeur temporel fournit l'historique. L'entraînement est progressif, d'abord sur des séquences synthétiques et des données robot, puis conjoint avec la politique, avec un masquage temporel pour gérer les historiques partiels. Les auteurs annoncent des gains de taux de réussite sur plusieurs architectures de politique, en simulation et sur un robot réel, pour un surcoût de calcul faible. L'intérêt pratique est de traiter un défaut courant des politiques réactives, y compris celles de type VLA (vision-langage-action), sans remplacer leur architecture. Le module conserve la tête d'action et l'espace d'actions d'origine, et ajoute seulement des pertes auxiliaires à la perte initiale de la politique. Pour un intégrateur, cela signifie qu'une politique déjà entraînée ou déployée pourrait gagner en robustesse sur des séquences longues ou répétitives (empilage, insertions multiples, gestes cycliques) sans refonte complète. Le résultat va aussi dans le sens d'une hypothèse de plus en plus discutée : une partie des échecs en manipulation ne vient pas du manque de capacité visuelle, mais de l'absence de mémoire de ce qui a déjà été fait. Les chiffres détaillés (taux de réussite, nombre de tâches, identité des backbones, nature du robot) ne figurent pas dans le résumé. Les « multiples politiques » testées ne sont pas nommées, et la mention d'un « faible surcoût » sans mesure de latence ne permet pas encore d'évaluer la tenue en contrôle temps réel. Ce travail s'inscrit dans la recherche sur la mémoire et le contexte historique des politiques incarnées, qui oppose généralement deux approches : empiler des images ou des états passés dans le contexte du modèle, au prix d'un coût de calcul croissant, ou ajouter des mémoires dédiées plus lourdes. PMTRM se positionne comme une troisième voie, modulaire et compacte. Il s'agit d'un preprint v1, sans relecture par les pairs, évalué dans des conditions que seule la publication complète permettra de juger : diversité des tâches, robustesse hors distribution, comparaison avec les approches à historique brut. Aucun déploiement industriel ni calendrier n'est annoncé. La suite logique serait une validation sur des politiques généralistes de grande taille et sur des tâches longues en conditions réelles, ainsi que la publication éventuelle du code, qui conditionnera l'adoption par d'autres équipes.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Unifier l'apprentissage de politiques et la prédiction d'états grâce à la modélisation spatiale du langage
2arXiv cs.RO 

Unifier l'apprentissage de politiques et la prédiction d'états grâce à la modélisation spatiale du langage

Des chercheurs proposent, dans un preprint arXiv (2610.12172), le « Spatial Language Modeling », une approche qui fait apprendre à un seul Transformer autorégressif à la fois la génération d'actions et la prédiction des états futurs d'une scène. Le principe consiste à représenter les contours de la scène, les objectifs, les cibles d'action et les états futurs avec un vocabulaire commun de coordonnées discrètes et de tokens sémantiques. Une grammaire propre à chaque tâche organise ces éléments en séquences spatiales, de sorte qu'un même objectif de prédiction du token suivant couvre le contrôle et la modélisation de l'état. Le modèle est entraîné de zéro en deux temps : un pré-entraînement sur des transitions issues de jeu aléatoire, puis un entraînement conjoint actions et états sur des démonstrations expertes. Pendant le pré-entraînement, les coordonnées d'action enregistrées servent de condition aux prédictions d'état suivantes, mais sont exclues de la perte. En phase de contrôle, le modèle ne décode que les cibles d'action exécutables et met à jour son historique avec les états réellement observés. L'évaluation porte sur la tâche Push-T, en simulation et sur un robot réel. Les auteurs annoncent des performances compétitives en simulation, et un taux de réussite ainsi qu'une couverture de la cible supérieurs à ceux des politiques de référence testées sur robot réel. Pour les équipes qui travaillent sur les politiques de manipulation, l'intérêt tient à la supervision complémentaire apportée par l'apprentissage des effets géométriques des actions. Les ablations indiquent que l'entraînement sur des séquences conjointes action-état améliore le contrôle, et que le pré-entraînement sur du jeu aléatoire apporte un gain supplémentaire. Ce dernier point est pertinent en pratique : ces données sont bon marché à collecter, sans téléopérateur expert. Le même modèle, alimenté avec des trajectoires d'actions fournies, prédit aussi les états successifs de la scène et reproduit les effets du poussage. Il joue donc à la fois le rôle de politique et de modèle du monde léger. Il faut toutefois rester prudent sur la portée de ces résultats. Push-T est un benchmark de poussage planaire d'un objet en forme de T, relativement simple, et le texte ne chiffre pas, dans son résumé, l'écart avec les baselines ni la taille de l'échantillon d'essais réels. La généralisation à des tâches à contacts riches, à de la 3D ou à des préhenseurs multi-doigts reste à démontrer, de même que le passage à l'échelle d'un vocabulaire de coordonnées discrètes. Ce travail s'inscrit dans un mouvement plus large visant à unifier perception, action et prédiction dans des architectures de type langage. Il se distingue des approches VLA (vision-langage-action) dominantes, qui reposent sur de grands modèles pré-entraînés, par un entraînement de zéro, sans pré-entraînement web, et par une représentation entièrement spatiale. Parmi les références habituelles de Push-T figurent les politiques de diffusion, qui servent souvent de base de comparaison, ainsi que les modèles du monde appris pour la planification. Le résumé ne précise ni l'équipe, ni le code, ni d'éventuelles extensions annoncées. Il s'agit à ce stade d'un preprint non évalué par des pairs, sans déploiement industriel associé. La suite logique sera de tester la méthode sur des tâches plus longues, sur des scènes 3D et sur des manipulations avec contacts complexes.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
IA robuste pour manipuler les tissus grâce au raffinement en temps réel par simulation
3arXiv cs.RO 

IA robuste pour manipuler les tissus grâce au raffinement en temps réel par simulation

Une équipe de recherche a publié le 24 juin 2026 sur arXiv (arXiv:2606.24552) une méthode permettant à un robot de manipuler des textiles souples à partir d'une unique image RGB, sans capteur de profondeur ni données haptiques. L'approche repose sur trois composants : un simulateur d'objets déformables appelé FLASH, conçu pour équilibrer fidélité physique, stabilité numérique et vitesse de rollout ; un module real-to-sim entraîné exclusivement sur données synthétiques, qui convertit une image couleur en état de tissu compatible avec la simulation en fusionnant des features visuelles préentraînées avec des tokens canoniques apprenables ; enfin un planificateur en ligne MPPI (Model Predictive Path Integral) guidé par une politique distillée hors ligne, qui évalue des lots de trajectoires candidates en parallèle dans le simulateur et sélectionne la meilleure action à chaque pas. Les expériences sur robot réel montrent des taux de succès et une robustesse supérieurs aux méthodes de référence, bien que les chiffres précis ne soient pas communiqués dans le résumé public. Ce travail est significatif parce qu'il étend le paradigme "simulator-in-the-loop" aux objets déformables, un verrou majeur en manipulation robotique. Jusqu'ici, cette famille de méthodes était cantonnée aux objets rigides, dont l'état et les contacts restent relativement faciles à modéliser. Le textile pose un problème radicalement plus difficile : l'espace de configuration est continu et de très haute dimension, les contacts sont multiples et transitoires, et le sim-to-real gap explose dès que le simulateur ne capture pas fidèlement les plis. Le fait que la méthode ne nécessite qu'une caméra RGB standard abaisse le coût d'intégration en contexte industriel, notamment pour le pliage de vêtements, la manipulation de sacs flexibles ou les lignes de confection textile. Pour un intégrateur B2B, c'est un signal que le sim-to-real pour déformables commence à sortir du laboratoire, même si les performances annoncées restent à valider sur un spectre large de matières et de géométries. La manipulation de textiles reste l'un des problèmes ouverts les plus cités en robotique d'entrepôt depuis les travaux fondateurs de Maitin-Shepard (2010) sur le pliage de serviettes, et le champ a longtemps stagné faute de simulateurs déformables suffisamment rapides pour un usage en boucle fermée. FLASH s'inscrit dans une vague récente de simulateurs spécialisés (DiffCloth, FleX, CLOTH3D) cherchant ce compromis fidélité/vitesse. Côté concurrence, les approches dominantes pour la manipulation de textiles restent les politiques imitatives par diffusion (comme Pi-0 de Physical Intelligence) ou le transfert pur sim-to-real par domain randomization. L'originalité ici est de placer le simulateur directement dans la boucle d'inférence plutôt qu'uniquement à l'entraînement. La prochaine étape naturelle sera de tester à plus grande échelle de variabilité de tissus et d'intégrer des retours tactiles pour les cas où la vision seule est insuffisante ; l'article ne mentionne pas de partenariats industriels ni de calendrier de déploiement.

RecherchePaper
1 source
RLinf-USER : un système unifié et extensible pour l'apprentissage de politiques en ligne en conditions réelles pour l'IA incarnée
4arXiv cs.RO 

RLinf-USER : un système unifié et extensible pour l'apprentissage de politiques en ligne en conditions réelles pour l'IA incarnée

Le préprint arXiv:2602.07837 (quatrième version, publiée en remplacement d'une version antérieure) présente USER, un système conçu pour l'apprentissage de politiques en ligne directement dans le monde réel, et non en simulation. Contrairement à un environnement simulé, où l'on peut accélérer le temps, réinitialiser un robot instantanément ou dupliquer massivement les essais, l'entraînement physique impose des contraintes de vitesse, de coût et d'usure matérielle qui, selon les auteurs, transforment le problème en un défi d'ingénierie systémique autant qu'algorithmique. USER répond à ce constat par deux couches complémentaires. Côté infrastructure, une couche d'abstraction matérielle unifie la gestion de robots hétérogènes, tandis qu'un plan de communication adaptatif organise l'entraînement réparti entre cloud et périphérie (edge). Côté apprentissage, le système repose sur un entraînement entièrement asynchrone, un buffer de rejeu persistant et sensible au cache, ainsi que des abstractions extensibles pour définir récompenses, algorithmes et politiques. Les expériences, menées en simulation et sur du matériel réel, couvrent la coordination multi-robots, des manipulateurs de types différents, l'entraînement cloud-edge avec de grands modèles, et des sessions asynchrones de longue durée. L'abstract ne fournit toutefois aucun chiffre précis de charge utile, de degrés de liberté ou de temps de cycle, ce qui limite l'évaluation indépendante des gains annoncés. Pour l'industrie robotique, ce travail cible un goulot d'étranglement rarement documenté publiquement: faire fonctionner l'apprentissage par renforcement en ligne sur des flottes physiques hétérogènes, à l'heure où les modèles VLA (vision-langage-action) type Pi-0 ou GR00T nécessitent des volumes de données et des cycles d'entraînement continus. Une brique d'orchestration cloud-edge réutilisable, si elle tient ses promesses au-delà du cadre expérimental, réduirait le travail d'intégration pour les équipes qui déploient plusieurs types de bras ou de robots mobiles sous une même boucle d'apprentissage. Mais l'absence de métriques quantitatives comparatives dans l'abstract invite à traiter cette annonce comme une proposition d'architecture logicielle validée en laboratoire, pas comme un système prêt à l'échelle industrielle. Cette publication s'inscrit dans une tendance plus large: à mesure que les modèles fondation pour la robotique (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, Helix de Figure) gagnent en taille, l'entraînement purement simulé montre ses limites face au fossé sim-to-réel, poussant les laboratoires vers l'apprentissage en ligne sur robot réel. Le statut de préprint en quatrième révision suggère un travail encore en itération académique, sans calendrier de déploiement pilote ni partenaire industriel annoncé à ce stade.

RecherchePaper
1 source