RecherchearXiv cs.RO 24 juillet 2026

VPWEM : politique visuomotrice non markovienne à mémoire de travail et épisodique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche publie VPWEM (Visuomotor Policy with Working and Episodic Memory), une architecture destinée aux politiques visuomotrices utilisées en apprentissage par imitation robotique. Le problème ciblé : la plupart des politiques actuelles ne conditionnent leurs décisions que sur l'observation courante ou un historique court, ce qui les rend inefficaces sur des tâches non-markoviennes nécessitant une mémoire à long terme, comme retrouver un objet déplacé hors champ de vision quelques instants plus tôt. Plutôt que d'élargir la fenêtre de contexte, coûteux en calcul et propice au surapprentissage de corrélations superficielles, VPWEM conserve une fenêtre glissante d'observations récentes comme mémoire de travail à court terme, et ajoute un compresseur contextuel basé sur Transformer qui convertit récursivement les observations sorties de la fenêtre en un nombre fixe d'embeddings de mémoire épisodique. Ce compresseur combine auto-attention sur les résumés passés et attention croisée sur les observations historiques, et s'entraîne conjointement avec la politique. L'architecture a été instanciée sur des diffusion policies, avec mémoire et calcul quasi constants à chaque pas de temps. Sur les benchmarks MIKASA (tâches de manipulation exigeantes en mémoire) et MoMaRT (manipulation mobile), VPWEM dépasse les diffusion policies et modèles vision-langage-action (VLA) de référence de plus de 20% et 5% respectivement. Le code est disponible sur GitHub.

Pour les intégrateurs et décideurs robotiques, ce travail répond à une limite concrète des systèmes VLA et diffusion policies actuellement déployés en usine ou en logistique : leur incapacité à raisonner sur des séquences longues fait qu'ils échouent dès qu'une tâche exige de se souvenir d'un événement passé, un tri d'objets par comptage, une inspection multi-étapes, un scénario où un obstacle a bougé hors caméra. Un gain de 20% sur les tâches à mémoire intensive suggère que le goulot d'étranglement n'est pas tant la capacité de perception ou de génération d'action que la gestion du contexte temporel, un point souvent minimisé dans les démonstrations commerciales de robots humanoïdes ou de bras manipulateurs, où les tâches testées restent généralement courtes et markoviennes.

Ce travail s'inscrit dans la lignée des diffusion policies popularisées pour le contrôle robotique ces dernières années, et des architectures VLA (vision-language-action) comme Pi-0 ou GR00T N2, qui dominent actuellement les annonces du secteur mais peinent structurellement sur la mémoire longue durée. VPWEM se positionne comme complément architectural plutôt que rupture, applicable en théorie à d'autres backbones de politique. Il s'agit ici d'une publication de recherche avec code ouvert, pas d'un produit ou d'un déploiement industriel, une étape amont dans la chaîne qui sépare la recherche académique des systèmes commerciaux vendus par les acteurs de l'humanoïde.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T

À lire aussi

1arXiv cs.RO

Extension de la mémoire à court terme des politiques visuomotrices pour les tâches à long horizon

Des chercheurs ont soumis le 16 juin 2026 sur arXiv (2606.16178) une architecture transformer nommée PRISM, conçue pour doter les politiques visuomotrices entraînées par imitation learning d'une mémoire à court terme effective. Le système combine deux mécanismes : une attention filtrée (gated attention) qui supprime les corrélations parasites entre l'historique sensoriel et la prédiction d'action, et une architecture hiérarchique qui compresse les informations locales en tokens compacts pour capturer des dépendances temporelles étendues. PRISM maintient ainsi une mémoire opérationnelle sur environ deux minutes. Ses performances : 5 à 12 % de gains absolus sur les baselines les plus solides, et 11 à 15 % de mieux que sa variante sans mémoire sur RoboCasa et LIBERO, dépassant des modèles VLA fine-tunés comme GR00T-N1-3B (NVIDIA) et OpenVLA, sans aucun pré-entraînement à grande échelle. Les auteurs publient aussi ReMemBench, un benchmark de huit tâches de manipulation domestique couvrant quatre catégories mémorielles. La quasi-totalité des politiques visuomotrices actuelles n'exploitent que l'entrée sensorielle instantanée, les rendant incapables de gérer des tâches impliquant des objets temporairement occultés ou des actions à déclencher après un délai défini. PRISM démontre qu'une architecture mémoire soigneusement conçue peut surpasser des VLA massivement pré-entraînés, remettant en question l'hypothèse dominante selon laquelle la taille du corpus de pré-entraînement prime sur les choix architecturaux. Pour les intégrateurs et les décideurs industriels, ce résultat ouvre la voie à des politiques de manipulation longue séquence plus accessibles en calcul. PRISM s'inscrit dans un débat actif entre approches récurrentes (LSTM, Mamba) et architectures transformer pour les politiques de manipulation robotique. Les benchmarks RoboCasa et LIBERO font référence en simulation pour ce type de tâches, et des modèles comme GR00T-N1 de NVIDIA (3B paramètres) ou OpenVLA ont misé sur un pré-entraînement multimodal massif pour y performer. PRISM se positionne comme une alternative architecturale plus légère et sans pré-entraînement. Il faut toutefois souligner que tous les résultats sont obtenus en simulation : aucun transfert sim-to-real ni déploiement physique n'est annoncé, laissant ouverte la question de la robustesse sur robot réel.

RechercheOpinion

1 source

2arXiv cs.RO

Vers une manipulation d'objets de haute précision : politique visuomotrice guidée par SAM3, avec mémoire persistante et conditionnement visuel ciblé

Une équipe de recherche présente FOM-SAM3, un système de manipulation robotique combinant le modèle de segmentation SAM3 avec une mémoire persistante d'objets, décrit dans un article publié sur arXiv (référence 2609.21621v1). Le système cible la manipulation fine d'objets, c'est-à-dire la capacité d'un robot à saisir un objet précis parmi d'autres visuellement similaires. La méthode, baptisée FOM-SAM3, apprend des jetons de mémoire réutilisables à partir d'un nombre limité d'images d'enregistrement multi-vues, tout en gardant le modèle SAM3 entièrement gelé, via un apprentissage de type "un contre tous" qui encode la reconnaissance de l'objet cible et le rejet des objets similaires. Ces jetons sont stockés dans une banque de mémoire réutilisable. Les chercheurs y associent un module nommé Focused Spatial-Appearance Encoding (FSAE), qui combine les caractéristiques d'apparence locale de l'objet avec les coordonnées de sa boîte englobante pour piloter des politiques d'action existantes, Diffusion Policy et Action Chunking with Transformers. Le dispositif a été validé sur un jeu de données maison, FO-30, comprenant 30 objets physiques répartis en quatre catégories larges, et testé sur trois tâches de manipulation avec un robot réel. L'enjeu pointé par les auteurs est un angle mort connu des politiques visuomotrices actuelles: un conditionnement au niveau de la scène ne permet pas de sélectionner explicitement un objet, tandis qu'un conditionnement au niveau de la catégorie ne distingue pas deux objets similaires appartenant à la même catégorie. Pour l'industrie, cela concerne directement les cas d'usage où un robot doit saisir une référence précise au milieu de produits quasi identiques, un problème récurrent en logistique et en tri industriel. Les résultats rapportés montrent une robustesse aux objets distracteurs, une capacité de discrimination entre objets proches, et une extensibilité à de nouveaux objets sans réentraîner le modèle de segmentation de base. Ce travail s'inscrit dans la lignée des recherches qui cherchent à coupler des modèles de segmentation générique comme SAM3 à des politiques d'action robotique, plutôt qu'à entraîner des architectures visuomotrices de bout en bout. Il reste à ce stade un article de recherche déposé sur arXiv, non encore revu par les pairs, validé en laboratoire sur un jeu de données restreint de 30 objets et trois tâches, sans annonce de déploiement industriel ni de partenaire commercial associé.

RechercheActu

1 source

3arXiv cs.RO

Robots à trois bras : apprentissage par imitation visuomotrice de politiques robotiques

Voici l'article traduit et résumé. Une équipe de recherche présente TriManPolicy, un système d'apprentissage par imitation conçu pour piloter des robots à trois bras simultanément. Le problème de départ est concret : la téléopération bi-manuelle classique fonctionne bien quand le nombre de canaux de contrôle correspond entre l'opérateur humain et le robot, mais elle échoue dès qu'un robot dispose d'un troisième bras, puisqu'un seul opérateur ne peut piloter en continu que deux membres à la fois. Basculer entre paires de bras force alors à enregistrer des mouvements indépendants de façon séquentielle, ce qui pousse l'apprentissage par clonage comportemental à reproduire des délais imposés par l'interface de contrôle plutôt que par la tâche elle-même. Le composant central de TriManPolicy est le Dependency-Aware Tri-Arm Scheduling (DATS), un algorithme qui retraite les démonstrations hors ligne : il conserve les segments sensorimoteurs locaux tels que démontrés mais les repositionne dans le temps selon des contraintes d'ordre des tâches et d'usage des bras, validées par un humain. Le résultat entraîne une politique unique et synchrone pour les trois bras, sans nécessiter le graphe de dépendances ni le planificateur au moment du déploiement. Sur six tâches réelles complexes, les politiques entraînées sur données retimées par DATS montrent une coordination plus efficace, avec un taux de succès comparable aux méthodes classiques. Cette avancée s'attaque à un goulot d'étranglement peu discuté de la robotique humanoïde et multi-bras : la collecte de données de démonstration reste le facteur limitant pour entraîner des politiques visuomotrices de type VLA, et les systèmes à trois bras ou plus (bras additionnels, mains bimanuelles montées sur base mobile) sont de plus en plus courants dans les plateformes industrielles. En prouvant qu'il est possible de découpler la structure temporelle de la démonstration humaine de celle exigée par la tâche, TriManPolicy ouvre la voie à une collecte de données plus rapide et moins coûteuse pour des architectures robotiques complexes, un enjeu direct pour les intégrateurs qui cherchent à réduire le coût par démonstration sans sacrifier la qualité de coordination entre membres. Ce travail s'inscrit dans la lignée plus large des recherches sur l'apprentissage par imitation visuomoteur, où la majorité des systèmes existants (type ALOHA, Mobile ALOHA ou les plateformes bimanuelles standard) suppose une correspondance stricte entre canaux de téléopération humains et effecteurs robotiques. En proposant une méthode de retiming offline validée par supervision humaine plutôt qu'un simple filtrage des temps morts, les auteurs montrent que DATS modifie réellement la structure de supervision entre bras. Les six tâches testées en conditions réelles suggèrent une piste concrète pour les futurs travaux sur les architectures à quatre bras ou plus, notamment pour les robots humanoïdes à deux bras plus une base mobile ou un troisième effecteur dédié à une tâche auxiliaire.

RecherchePaper

1 source

4arXiv cs.RO

Une démonstration vaut mille trajectoires : augmentation vue-action pour les politiques visuomotrices

Une équipe de chercheurs a publié en juin 2026 (arXiv:2606.19586) un cadre d'augmentation de données baptisé Action-View Augmentation, conçu pour améliorer la robustesse des politiques visuomotrices dans les tâches de manipulation robotique. Le système repose sur un préhenseur parallèle portable équipé d'une unique caméra fisheye montée en configuration eye-in-hand, capable de capturer des démonstrations réelles en milieu non contrôlé. À partir d'une seule démonstration humaine, le framework génère automatiquement des séquences d'images fisheye visuellement réalistes ainsi que des trajectoires d'actions physiquement cohérentes. Pour reconstruire et éditer la scène 3D en y introduisant des objets inédits, les auteurs ont développé une nouvelle formulation de Gaussian Splatting adaptée aux champs de vision larges des optiques fisheye. Une optimisation de trajectoire produit ensuite des chemins fluides, sans collision et compatibles avec le rendu de nouvelles vues caméra. Les expériences menées en simulation et en environnement réel montrent une amélioration du taux de succès sur plusieurs tâches de manipulation, aussi bien dans des scènes identiques qu'en présence d'obstacles requérant un évitement de collision. L'enjeu central est la fragilité des politiques visuomotrices actuelles face aux observations hors-distribution : une légère variation de configuration initiale ou un obstacle imprévu suffit à provoquer un échec d'exécution catastrophique. Collecter suffisamment de données pour couvrir ces variations est coûteux et chronophage, ce qui constitue l'un des principaux freins à l'industrialisation de la manipulation robotique. Le titre du papier résume l'ambition : multiplier artificiellement la valeur d'une seule démonstration réelle pour entraîner des politiques plus robustes. L'adaptation du Gaussian Splatting aux optiques fisheye, jusqu'ici peu traitée dans la littérature robotique, élargit le champ d'application à des setups matériels légers et peu coûteux. Ce type d'approche répond directement au problème du sim-to-real gap en générant des données synthétiques ancrées dans une scène réelle reconstruite, plutôt qu'en simulateurs déconnectés du terrain. Ce travail s'inscrit dans la dynamique des politiques de manipulation end-to-end, où des systèmes comme pi-0 de Physical Intelligence ou les architectures à diffusion (Diffusion Policy, ACT) ont prouvé que l'imitation de démonstrations humaines peut générer des comportements complexes, mais restent gourmands en données. Le Gaussian Splatting, popularisé à partir de 2023, s'est progressivement imposé en robotique grâce à sa capacité à synthétiser des vues nouvelles de haute qualité à partir de captures réelles. L'approche eye-in-hand à caméra fisheye se distingue des setups multi-capteurs fixes, réduisant le matériel embarqué à un seul composant. Aucun déploiement industriel n'est annoncé à ce stade : il s'agit exclusivement d'un résultat académique, sans partenariat industriel déclaré ni timeline commerciale. Les prochaines étapes naturelles concerneraient l'évaluation à plus grande échelle et l'intégration dans des pipelines de fine-tuning pour des politiques de type VLA (Vision-Language-Action).

RecherchePaper

1 source