RecherchearXiv cs.RO 4 août 2026

MemoAct : politique de manipulation robotique à mémoire hiérarchique inspirée du modèle Atkinson-Shiffrin

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent MemoAct, une architecture de politique robotique à mémoire hiérarchisée pour la manipulation, inspirée du modèle de mémoire humaine d'Atkinson-Shiffrin. Le système empile trois niveaux distincts : une mémoire sensorielle qui filtre les entrées perceptuelles immédiates, une mémoire court terme sans perte qui assure le suivi précis de l'état de la tâche en cours, et une mémoire long terme compressée qui garantit la rétention sur des horizons étendus. Pour évaluer ces capacités, l'équipe a construit MemoryRTBench, un benchmark bâti sur le simulateur RoboTwin 2.0 regroupant six tâches de manipulation conçues pour tester systématiquement trois dimensions de mémoire : séquentielle, spatiale et épisodique. Les expériences, menées à la fois en simulation et sur robot réel, montrent que MemoAct surpasse les politiques markoviennes classiques ainsi que les approches dites "history-aware" qui se contentent d'élargir la fenêtre d'observation. Le papier, republié sur arXiv en version 2, met une page de projet à disposition en ligne.

L'enjeu dépasse la simple performance sur un banc d'essai. Les tâches manipulatrices qui exigent de se souvenir d'un état passé, par exemple compter des objets déjà déplacés ou reprendre une séquence interrompue, restent un point faible connu des politiques robotiques actuelles basées sur l'apprentissage. La méthode dominante jusqu'ici, l'extension brute de la fenêtre d'observation, échoue à concilier précision immédiate et mémoire longue durée : trop de contexte brut noie le signal utile, trop peu efface l'historique nécessaire. En proposant une architecture à mémoires différenciées plutôt qu'un simple buffer élargi, MemoAct répond directement à ce compromis, ce qui intéresse directement les concepteurs de politiques VLA destinées à des tâches industrielles multi-étapes, où l'état de la tâche doit être tracké sur la durée sans perte de précision.

Le travail s'inscrit dans la lignée des recherches sur les politiques conditionnées par l'historique, en empruntant explicitement au cadre cognitif classique de la psychologie de la mémoire plutôt qu'à une architecture purement transformeur. Il se positionne comme une alternative structurée aux baselines markoviennes et aux approches history-aware existantes, sans qu'aucun déploiement industriel ni partenariat commercial ne soit mentionné : il s'agit à ce stade d'une contribution académique, testée en simulation et en conditions réelles limitées, dont les prochaines étapes dépendront de l'adoption par la communauté robotique.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

HiMem-WAM : modèles d'action-monde à mémoire hiérarchique pour la manipulation robotique

Une équipe de recherche a déposé sur arXiv (2606.10363v1) HiMem-WAM, un nouveau modèle d'action hiérarchique pour la manipulation robotique. L'architecture s'attaque à une limitation persistante des World Action Models (WAM) existants : leur incapacité à maintenir une mémoire de tâche cohérente sur des séquences longues, typiques des manipulations multi-étapes. HiMem-WAM combine trois mécanismes : des actions latentes centrées sur le mouvement (niveau bas), des latents de compétences de haut niveau, et une porte mémoire déclenchée aux transitions de compétences prédites. Ce verrou mémoire écrit des états compacts à des moments-clés, permettant l'inférence causale sans génération vidéo ni estimation de flux optique au moment du test. Le modèle a été évalué sur les benchmarks LIBERO, LIBERO-PLUS et RMBench, ainsi que sur des tâches en conditions réelles. La contribution principale est d'ordre systémique : la structuration hiérarchique améliore la robustesse sous perturbations lors du déploiement, là où la plupart des architectures VLA actuelles échouent dès qu'un événement imprévu survient en milieu de séquence. Pour un décideur industriel, c'est un signal pertinent : le module mémoire apporte, selon les auteurs, un gain substantiel sur les tâches longues dépendantes de l'historique d'action. Éviter la génération vidéo en temps d'inférence réduit également la latence et la charge computationnelle, deux freins réels au déploiement embarqué. Ces résultats restent toutefois issus d'un preprint non peer-reviewed, et les performances sur benchmarks standardisés ne garantissent pas les mêmes gains en environnement de production non contrôlé. Les World Action Models constituent un paradigme récent qui apprend les dynamiques visuelles pertinentes pour l'action, distinct des architectures VLA classiques comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, lesquelles s'appuient sur des transformers multimodaux de grande taille. La manipulation longue-horizon reste un défi ouvert pour l'ensemble du secteur : ni les diffusion-policies ni les modèles language-conditioned n'ont résolu le maintien du contexte sur des séquences dépassant une dizaine de sous-tâches. HiMem-WAM propose une piste architecturale concrète, mais sans intégration hardware annoncée ni timeline de déploiement, ce qui en fait pour l'instant une contribution de recherche fondamentale.

RechercheOpinion

1 source

2arXiv cs.RO

HiTac-WAM : un modèle hiérarchique d'action du monde tactile pour la manipulation robotique à contacts riches

Un preprint publié sur arXiv le 21 août 2026 décrit HiTac-WAM, un modèle monde d'action tactile et hiérarchique pour la manipulation robotique en contact riche (arXiv:2608.19574v1). Le système décompose la prévision tactile en trois étages successifs, état de contact, champ de déformation 3D, puis risque de glissement, et classe les segments d'action candidats selon ces prévisions avant de déclencher une replanification si l'écart entre tactile prédit et observé persiste à l'exécution. À budget d'entraînement égal, cette hiérarchie réduit l'erreur de déplacement 3D de 17,6% et améliore la détection de glissement de 60,4% par rapport à des prédicteurs non hiérarchiques. Sur trois tâches robotiques réelles, préhension de puces électroniques, effacement de tableau, insertion de connecteur USB, cette sélection fait passer le taux de réussite moyen de 31,1% à 61,1%, et le système complet atteint 72,2%, avec un F1 de contact moyen de 0,921. Ces résultats indiquent qu'une modélisation structurée du signal tactile, plutôt que la représentation en image ou en flux latent utilisée par les approches existantes, améliore nettement la fiabilité de la manipulation en contact riche, un point de friction connu pour l'assemblage fin, l'insertion de connecteurs ou la manipulation d'objets fragiles. Le taux de réussite plus que doublé par rapport à une sélection sans hiérarchie tactile suggère que séparer contact, déformation et glissement capture mieux la physique du contact que les architectures bout en bout existantes, un argument utile pour les intégrateurs cherchant à dépasser la démonstration contrôlée. Pour les équipes travaillant sur des modèles monde ou des architectures vision-langage-action, ce travail illustre une piste pour fiabiliser l'action à partir du retour tactile sans nécessairement accroître le volume de données. Le travail s'inscrit dans la lignée des modèles monde d'action qui prédisent conjointement observations et actions, en corrigeant une limite des variantes tactiles existantes: l'absence de dépendances physiques structurées entre contact, déformation et glissement. Il s'agit à ce stade d'un preprint arXiv nouvellement soumis, validé sur trois tâches de manipulation en laboratoire et non d'un produit déployé ou d'un pilote industriel, sans calendrier de commercialisation annoncé, les gains restant à confirmer au-delà de ces trois tâches.

RecherchePaper

1 source

3arXiv cs.RO

RM-WAM : modèles d'action du monde à mémoire augmentée et fiables pour la manipulation robotique à long horizon

Des chercheurs proposent RM-WAM, un « World Action Model » (WAM) à mémoire augmentée, décrit dans un préprint arXiv (2610.15305, v2). Les WAM prédisent conjointement les états visuels futurs et les actions du robot, mais la plupart décident à partir de la seule observation courante. Pour contourner cette limite, RM-WAM combine deux mémoires complémentaires. La première est une mémoire d'état visuel à court terme, qui capte la dynamique récente de l'interaction. La seconde est une mémoire d'événements latents, qui encode les transitions d'état sur un horizon plus long. Un schéma d'apprentissage contrefactuel fait varier l'historique accessible tout en gardant fixes les entrées courantes et les cibles de prédiction. Le modèle apprend ainsi à estimer l'utilité de la mémoire selon le contexte. Un mécanisme de « gating » sensible à cette utilité décide ensuite, au cas par cas, quelle part de l'historique injecter dans le backbone qui prédit monde et actions. Le résumé ne donne aucun chiffre (taux de succès, tâches, robots, jeux de données), et il faut donc attendre le texte complet pour juger de l'ampleur des gains. L'enjeu touche à un point faible connu des politiques de manipulation, la fiabilité sur les tâches longues. Dans un assemblage ou un kitting multi-étapes, deux scènes visuellement identiques peuvent correspondre à des étapes différentes de la tâche. Une politique sans mémoire hésite alors ou répète une action déjà faite. L'approche naïve consiste à empiler les observations passées, mais les auteurs soulignent qu'elle peut injecter des informations périmées, désalignées avec l'étape en cours ou contaminées par des erreurs. Ces défauts faussent la prédiction du monde et font s'accumuler les erreurs en boucle fermée. Leur thèse est que la mémoire doit être traitée comme une ressource prédictive sélective, pas comme un contexte toujours bénéfique. Pour les intégrateurs, cela rappelle que la robustesse en production dépend moins de la taille du contexte que de la qualité de sa sélection. Il faut toutefois rester prudent : sans benchmarks publiés dans le résumé, rien ne dit que la méthode fonctionne sur du matériel réel ni qu'elle surpasse nettement les bases de comparaison. Ces travaux s'inscrivent dans la montée des modèles du monde appliqués à la robotique. Ceux-ci prolongent les politiques vision-langage-action (VLA) de type Pi-0 ou GR00T en y ajoutant la prédiction vidéo du futur. Le problème de la mémoire longue reste ouvert pour toute cette famille, et plusieurs équipes testent des fenêtres d'historique, des tokens de mémoire ou des représentations d'événements. RM-WAM se distingue par son estimation d'utilité apprise par contrefactuel, au lieu d'une mémoire appliquée uniformément. Il s'agit d'une publication académique, sans produit ni déploiement annoncé. Sa valeur dépendra de la reproduction des résultats, de la publication éventuelle du code et de tests sur des tâches longues réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Dual mémoire latente dans les modèles vision-langage-action pour la manipulation robotique

Des chercheurs ont publié le 7 juillet 2026 sur arXiv (arXiv:2607.07608v1) un nouveau framework baptisé LaMem-VLA, conçu pour doter les modèles Vision-Language-Action (VLA) d'une mémoire native directement intégrée à leur espace latent de raisonnement. Aujourd'hui, la plupart des VLA prédisent une action à partir de la seule observation courante sous hypothèse markovienne, ce qui les rend peu efficaces sur les tâches longues et dépendantes du temps. LaMem-VLA repose sur quatre composants coordonnés: un "curator" qui organise l'expérience passée en deux coffres mémoire, court terme et long terme; un "seeker" qui interroge ces coffres via la cognition multimodale pour en extraire les preuves pertinentes au contexte; un "condenser" qui reconstruit ces preuves en tokens de mémoire latente compacts; et un "weaver" qui injecte ces tokens avec l'observation et l'instruction courantes dans une seule séquence d'embedding continue. Les auteurs rapportent une supériorité de leur approche sur les benchmarks SimplerEnv et LIBERO, deux références standard pour évaluer la manipulation robotique pilotée par VLA. L'enjeu dépasse la simple performance sur benchmark. Les VLA actuels, qu'ils s'appuient sur des architectures type Pi-0, GR00T N2 ou Helix, butent tous sur une mémoire de travail limitée à la fenêtre d'observation courante, ce qui les fragilise dès qu'une tâche exige de se souvenir d'une action antérieure, par exemple qu'un tiroir a déjà été ouvert. Les solutions existantes, élargir la fenêtre d'observation ou interroger une banque mémoire externe comme contexte auxiliaire, laissent cette mémoire hors de l'espace latent natif du modèle, limitant son intégration au raisonnement multimodal. En rendant la mémoire nativement latente, LaMem-VLA vise à réduire l'écart entre démonstrations courtes réussies en laboratoire et déploiements réels où les séquences de tâches s'étirent, un critère que surveillent de près les intégrateurs industriels évaluant la fiabilité des VLA au delà du simple "pick and place". Ce travail s'inscrit dans une vague de recherche sur la mémoire des VLA, alors que le secteur de la robotique humanoïde et généraliste, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, Figure avec Helix, cherche à dépasser les tâches courtes démontrées en vidéo pour viser des chaînes d'actions plus longues et industriellement exploitables. Classé "Announce Type: new" sur arXiv et non encore relu par les pairs, le papier ne mentionne aucun déploiement matériel ni partenariat industriel: il s'agit pour l'instant d'une contribution académique validée uniquement en simulation. Les suites attendues, classiques pour ce type de travaux, seraient une validation sur robot physique et une comparaison directe avec les architectures mémoire déjà explorées par les grands laboratoires de robotique généraliste.

RechercheActu

1 source