Politique d'accès mémoire contrôlé

AURA : une mémoire à déclenchement par action pour les politiques robotiques à VRAM constante

42

1arXiv cs.RO

AURA : une mémoire à déclenchement par action pour les politiques robotiques à VRAM constante

Des chercheurs ont publié sur arXiv (référence 2606.02775) une architecture mémoire baptisée AURA-Mem (Action-Utility Recurrent Adaptive Memory), conçue pour réduire drastiquement l'empreinte mémoire des politiques robotiques exécutées sur matériel embarqué. Le principe est simple : envelopper un backbone Vision-Language-Action (VLA) gelé avec une mémoire récurrente de taille fixe, pilotée par une porte apprise qui n'écrit en mémoire que lorsque l'observation courante modifierait l'action suivante. L'état d'inférence reste constant à 4 224 octets, quelle que soit la durée de l'épisode, là où un KV-cache standard atteint 6 061 fois cette taille après 100 000 pas. Sur le benchmark synthétique contrôlé, AURA-Mem produit entre 5,19 et 6,13 fois moins d'écritures que la meilleure baseline O(1), avec un pic à 9,19 fois moins sur les configurations plus faciles. Sur OpenVLA-OFT 7B évalué en boucle fermée sur LIBERO-Long (60 épisodes par bras), le taux de succès reste stable à 0,233, identique à la politique de base non gatée, et légèrement supérieur au bras KV always-write (0,217), tout en divisant par 7 le nombre d'écritures effectives. L'enjeu industriel est direct : les robots mobiles et les manipulateurs déployés en conditions réelles tournent sur hardware edge à mémoire haute bande passante limitée, avec une flash dont l'endurance en écriture est finie. Dans ce régime, c'est l'écriture mémoire, et non la puissance de calcul, qui devient le goulot d'étranglement. AURA-Mem démontre que le signal d'action-surprise, c'est-à-dire écrire uniquement quand l'observation changerait le comportement, est la clé du gain: les plannings d'écriture aléatoires ou périodiques à budget équivalent ne reproduisent pas les mêmes performances, ce qui isole clairement l'apport de la sélectivité apprise. C'est une réponse concrète au problème du déploiement longue durée des VLA sur robots réels, où la gestion de l'état de contexte est souvent traitée par des heuristiques peu robustes. AURA-Mem s'inscrit dans une vague de travaux visant à rendre les grands modèles VLA viables hors datacenter. OpenVLA, développé à Stanford et Embodied Intelligence, est l'un des modèles VLA open-source les plus utilisés en robotique de manipulation; la variante OFT (fine-tuning orienté action) à 7 milliards de paramètres est aujourd'hui un standard de facto pour les évaluations comparatives. La contribution reste pour l'instant une preuve de concept académique: les auteurs signalent eux-mêmes que la borne théorique sur la valeur de l'état d'information approximée est vacuante à cette échelle, et ne constitue pas encore une garantie formelle. Les travaux compétiteurs dans l'espace mémoire des VLA incluent les approches à fenêtre glissante, les mémoires épisodiques par reconstruction, et les architectures Mamba/SSM; AURA-Mem se distingue en ne nécessitant aucune modification du backbone et en ciblant explicitement les contraintes hardware embarquées. Les prochaines étapes naturelles seraient une validation sur robot physique en environnement non contrôlé et une intégration dans des pipelines de déploiement industriels, deux points absents de l'article actuel.

RechercheOpinion

1 source

HiMe : mémoire incarnée hiérarchique pour le contrôle vision-langage-action à long terme

37

2arXiv cs.RO

HiMe : mémoire incarnée hiérarchique pour le contrôle vision-langage-action à long terme

Un article publié le 7 juillet 2026 sur arXiv présente HiMe, un cadre de mémoire hiérarchique pour les modèles Vision-Language-Action (VLA), ces systèmes qui pilotent robots et bras manipulateurs en combinant vision, langage et commande motrice. Les auteurs identifient ce qu'ils appellent le paradoxe fréquence-compétence : les modèles de raisonnement les plus capables sont trop lents pour le contrôle temps réel, tandis que les modèles rapides manquent de capacité de raisonnement pour les tâches longues et non markoviennes, où l'action dépend de tout l'historique et pas seulement de l'observation immédiate. HiMe répond en découplant l'intelligence du robot en trois couches : un Executor haute fréquence pour l'exécution, un Sentry pour la mémoire de travail, et un Planner pour la stratégie long terme, le tout appuyé par une base de connaissances dynamique capable de s'ajouter, se mettre à jour et se supprimer elle même. Pour l'industrie robotique, cette architecture cible un point faible documenté des VLA actuels, à l'image de Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure : leur dépendance à l'observation instantanée, qui les fragilise sur des tâches longues ou nécessitant de se souvenir d'une consigne donnée bien plus tôt. Beaucoup de démonstrations spectaculaires de robots humanoïdes reposent sur des séquences courtes et scriptées ; HiMe s'attaque explicitement à l'écart entre ces démonstrations et des tâches réelles multi-étapes, un angle mort souvent pointé par les intégrateurs. Si la séparation entre réactivité et raisonnement tient à l'échelle, elle offrirait une piste concrète pour concilier les deux sans sacrifier l'un pour l'autre. Le travail s'inscrit dans la lignée des recherches sur la mémoire des agents robotiques, qui cherchent à dépasser les architectures VLA à plat où toute l'information transite par une seule fenêtre de contexte. Les auteurs rapportent de meilleurs taux de réussite que ces références plates sur des tâches à horizon long, ainsi qu'une capacité inédite à corriger ses propres connaissances internes selon les préférences exprimées par un humain. Publié sans affiliation industrielle mise en avant, ce travail reste à ce stade une contribution académique : reste à voir si des laboratoires ou fournisseurs de VLA commerciaux comme Physical Intelligence, Nvidia ou Figure s'en inspireront pour des robots déployés en usine ou en entrepôt.

RechercheActu

1 source

VPWEM : politique visuomotrice non markovienne à mémoire de travail et épisodique

42

3arXiv cs.RO

VPWEM : politique visuomotrice non markovienne à mémoire de travail et épisodique

Une équipe de recherche publie VPWEM (Visuomotor Policy with Working and Episodic Memory), une architecture destinée aux politiques visuomotrices utilisées en apprentissage par imitation robotique. Le problème ciblé : la plupart des politiques actuelles ne conditionnent leurs décisions que sur l'observation courante ou un historique court, ce qui les rend inefficaces sur des tâches non-markoviennes nécessitant une mémoire à long terme, comme retrouver un objet déplacé hors champ de vision quelques instants plus tôt. Plutôt que d'élargir la fenêtre de contexte, coûteux en calcul et propice au surapprentissage de corrélations superficielles, VPWEM conserve une fenêtre glissante d'observations récentes comme mémoire de travail à court terme, et ajoute un compresseur contextuel basé sur Transformer qui convertit récursivement les observations sorties de la fenêtre en un nombre fixe d'embeddings de mémoire épisodique. Ce compresseur combine auto-attention sur les résumés passés et attention croisée sur les observations historiques, et s'entraîne conjointement avec la politique. L'architecture a été instanciée sur des diffusion policies, avec mémoire et calcul quasi constants à chaque pas de temps. Sur les benchmarks MIKASA (tâches de manipulation exigeantes en mémoire) et MoMaRT (manipulation mobile), VPWEM dépasse les diffusion policies et modèles vision-langage-action (VLA) de référence de plus de 20% et 5% respectivement. Le code est disponible sur GitHub. Pour les intégrateurs et décideurs robotiques, ce travail répond à une limite concrète des systèmes VLA et diffusion policies actuellement déployés en usine ou en logistique : leur incapacité à raisonner sur des séquences longues fait qu'ils échouent dès qu'une tâche exige de se souvenir d'un événement passé, un tri d'objets par comptage, une inspection multi-étapes, un scénario où un obstacle a bougé hors caméra. Un gain de 20% sur les tâches à mémoire intensive suggère que le goulot d'étranglement n'est pas tant la capacité de perception ou de génération d'action que la gestion du contexte temporel, un point souvent minimisé dans les démonstrations commerciales de robots humanoïdes ou de bras manipulateurs, où les tâches testées restent généralement courtes et markoviennes. Ce travail s'inscrit dans la lignée des diffusion policies popularisées pour le contrôle robotique ces dernières années, et des architectures VLA (vision-language-action) comme Pi-0 ou GR00T N2, qui dominent actuellement les annonces du secteur mais peinent structurellement sur la mémoire longue durée. VPWEM se positionne comme complément architectural plutôt que rupture, applicable en théorie à d'autres backbones de politique. Il s'agit ici d'une publication de recherche avec code ouvert, pas d'un produit ou d'un déploiement industriel, une étape amont dans la chaîne qui sépare la recherche académique des systèmes commerciaux vendus par les acteurs de l'humanoïde.

RecherchePaper

1 source

Récupération mémorielle dans les politiques visuomotrices pour le contrôle robotique à long horizon

42

4arXiv cs.RO

Récupération mémorielle dans les politiques visuomotrices pour le contrôle robotique à long horizon

Des chercheurs du Robin Lab de l'Université du Texas à Austin ont publié fin juin 2026 un preprint (arXiv:2606.25136) présentant HALO, une politique visuomotrice dotée d'un mécanisme de récupération mémorielle par attention pour le contrôle robotique à long horizon. L'architecture cible les robots polyvalents opérant dans des environnements partiellement observables, typiquement le domicile : le robot doit retrouver où un objet a été posé, se souvenir qu'un utilisateur a déjà accompli une sous-tâche, ou mémoriser l'état d'un appareil activé plusieurs minutes auparavant. HALO répond à deux défis identifiés lors de l'apprentissage par imitation sur données hors-ligne : la corrélation spurieuse entre contexte passé et actions prédites, et l'accumulation d'erreurs en boucle fermée qui entraîne une dérive progressive du modèle. Pour y remédier, la méthode distille des priors issus d'un modèle vision-langage (VLM) via un objectif de question-réponse vidéo généré depuis les trajectoires de démonstration, et combine cela à une attention sparse limitée aux segments d'historique les plus pertinents. Au total, HALO peut récupérer des informations pertinentes sur jusqu'à huit minutes d'expérience passée. Ce résultat est notable car il attaque frontalement le goulot d'étranglement des tâches longues-durées, là où la majorité des politiques visuomotrices actuelles, y compris les approches VLA (Vision-Language-Action) comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, supposent implicitement un horizon court ou une observabilité quasi-complète. La distillation de priors VLM pour orienter la récupération vers l'information pertinente à la tâche est une voie prometteuse pour réduire le gap démo-réalité, car elle ancre l'attention dans une compréhension sémantique plutôt que dans des heuristiques codées à la main. L'attention sparse contribue à contenir la propagation d'erreurs qui, dans les architectures transformer standard sur contexte long, peut faire diverger la politique après quelques dizaines de secondes d'exécution autonome. HALO s'inscrit dans une dynamique de recherche qui voit Transformers et modèles de langage coloniser la couche mémoire des systèmes robotiques, après avoir dominé la planification symbolique et la génération d'instructions. Le Robin Lab publie régulièrement sur l'apprentissage robot en environnements non structurés ; ce travail est encore au stade preprint et aucun déploiement physique à l'échelle n'est annoncé. Les concurrents directs incluent les approches à mémoire épisodique de travaux comme RT-X, mais aussi les architectures récurrentes à état latent explorées par des labos comme CMU ou Stanford. Les prochaines étapes attendues sont une validation sur robot physique dans des scénarios domestiques réels et une comparaison quantitative avec des baselines mémorielle existantes.

RechercheOpinion

1 source

Politique d'accès mémoire contrôlé

À lire aussi

AURA : une mémoire à déclenchement par action pour les politiques robotiques à VRAM constante

HiMe : mémoire incarnée hiérarchique pour le contrôle vision-langage-action à long terme

VPWEM : politique visuomotrice non markovienne à mémoire de travail et épisodique

Récupération mémorielle dans les politiques visuomotrices pour le contrôle robotique à long horizon