RecherchearXiv cs.RO 1 octobre 2026

Une mémoire récurrente linéaire suffit pour distiller une politique de modèle du monde pour le robot d'air hockey

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une étude publiée sur arXiv (v1, identifiant 2609.39151) examine si le contrôle dépendant d'une mémoire exige des dynamiques récurrentes non linéaires. Le cadre est une tâche simulée de défense au air hockey, où le suivi du palet est temporairement perdu. Les auteurs utilisent comme enseignant un agent DreamerV3 (modèle du monde). Celui-ci surpasse une politique sans mémoire lorsque le suivi est coupé. Réinitialiser son état récurrent dégrade fortement ses performances, ce qui montre que la tâche requiert bien de la mémoire. Cet enseignant est distillé en politiques récurrentes compactes, avec un état de 64 dimensions. Elles combinent une récurrence linéaire diagonale et une « innovation » non linéaire de rang k optionnelle, tout en conservant des encodeurs d'observation et des têtes d'action non linéaires. Sur cinq graines appariées, le modèle purement linéaire (k=0) égale à la fois la base GRU et l'enseignant sur toute la plage de pertes de suivi testée. Augmenter le rang de l'innovation non linéaire n'apporte aucun gain mesurable. Les résultats viennent d'un jeu de test neuf, ouvert seulement après le gel des modèles et des analyses.

L'intérêt tient à l'économie de calcul. Le modèle linéaire exige moins de paramètres récurrents et moins de calcul qu'un GRU pour des performances comparables. Pour la robotique embarquée, où la latence et le budget énergétique contraignent les politiques temps réel, cela suggère qu'une partie de l'apprentissage de représentation non linéaire, placée autour d'un mémoire linéaire simple, peut suffire pour des tâches à occlusion ou perte de capteur. C'est cohérent avec l'intérêt récent pour les modèles à espace d'états linéaires. Le protocole, avec un jeu de test verrouillé et des graines appariées, est plus rigoureux que la moyenne du domaine. La portée reste étroite : une seule tâche simulée, un seul enseignant, un état de dimension 64, un horizon de coupure limité, cinq graines, et aucune validation sur robot réel, donc rien sur l'écart sim-to-real. Les auteurs précisent eux-mêmes que la conclusion ne vaut que pour des politiques dont l'encodeur et la tête d'action restent non linéaires. Ce n'est donc pas une preuve que la mémoire linéaire suffit en général.

Le travail s'inscrit dans deux courants. Le premier est celui des modèles du monde de type Dreamer, qui servent ici d'enseignants performants mais coûteux. Le second est celui de la distillation vers des politiques légères et des architectures récurrentes linéaires, présentées comme alternatives aux GRU et aux LSTM. Le air hockey robotique est un banc d'essai classique pour le contrôle dynamique rapide sous contraintes de perception. Les suites naturelles sont des tests sur des tâches plus longues ou plus riches en mémoire, d'autres enseignants, des états plus grands, et surtout un transfert sur matériel réel. Il s'agit d'un préprint non évalué par des pairs, sans produit ni déploiement associé.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

DRAM : mémoire associative récurrente à règle delta pour les politiques de manipulation robotique

Des chercheurs proposent DRAM (Delta-rule Recurrent Associative Memory), un module de mémoire enfichable destiné aux politiques de manipulation robotique pré-entraînées. Décrit dans un preprint arXiv (2609.32453, version 2), il s'attache à un large éventail de politiques existantes et leur confère une mémoire longue durée sans modifier leur architecture ni réentraîner le backbone. Seuls le module de mémoire et l'action expert, la tête qui produit les actions, subissent un post-entraînement propre à la tâche. Le module maintient une mémoire associative de taille fixe, fondée sur une attention linéaire à règle delta avec porte (gated delta-rule). Sa mise à jour est modifiée pour intégrer en parallèle tous les tokens de chaque image. Un mécanisme de lecture indépendant de l'architecture injecte ensuite le contexte historique dans la prédiction d'action, quelle que soit la politique hôte. Les auteurs annoncent que DRAM améliore de façon constante des politiques gelées par rapport aux références à contexte court et à d'autres conceptions de mémoire compacte. Le résumé ne donne aucun chiffre, ni taux de réussite, ni nombre de tâches, ni liste des politiques testées. L'enjeu est pratique. La manipulation dépend de l'historique : savoir quelles étapes d'une tâche sont faites, où un objet a été rangé ou si une tentative a échoué. Or la plupart des politiques pré-entraînées, notamment les VLA (vision-language-action), ne voient que l'observation courante ou une courte fenêtre temporelle. Les deux remèdes actuels ont un coût. Empiler plusieurs images dans le backbone fait grimper le coût d'inférence, un problème pour le contrôle temps réel sur du matériel embarqué. S'appuyer sur des caractéristiques sémantiques prédéfinies limite la généralité et peut imposer de réentraîner le backbone. Une mémoire de taille fixe garde un coût d'inférence constant quelle que soit la durée de la tâche. Le fait que le backbone reste gelé compte aussi pour les intégrateurs : on pourrait ajouter de la mémoire à un modèle de fondation déjà validé sans relancer un entraînement lourd. Il s'agit toutefois d'une preuve de concept académique. Rien n'indique à ce stade une validation sur robot réel, des tâches longues en conditions industrielles ou des mesures de latence. Cette approche s'inscrit dans le courant qui importe en robotique les modèles récurrents efficaces issus du langage : attention linéaire, règle delta, mémoires d'état de taille fixe, alternatives aux Transformers à contexte croissant. Elle répond à une limite reconnue des VLA généralistes actuels, souvent sans état ou à mémoire très courte. Les auteurs la comparent à d'autres mémoires compactes, mais le résumé ne nomme pas les concurrents. La suite logique serait des évaluations sur plusieurs familles de politiques, avec des tâches réelles à longue échéance et un chiffrage du surcoût de calcul, seuls éléments qui permettront de juger si la mémoire post-hoc tient ses promesses hors du laboratoire.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Une mémoire simple à base d'agents pour les politiques robotiques généralistes

Des chercheurs proposent SimpleARM (Simple Agentic Robot Memory), une couche de mémoire sans entraînement pour politiques robotiques généralistes gelées, décrite dans un preprint arXiv (v1). Le système fonctionne en quatre temps : à partir de l'instruction de la tâche, il détermine ce qu'il faut surveiller ; des outils perceptifs gelés maintiennent en ligne un état compact et typé ; un accès structuré ne récupère cet état que lorsqu'un sous-objectif proposé dépend de l'historique ; enfin, un ancrage dans la vue courante résout les entités rappelées avant l'exécution. L'évaluation porte sur RoboMME, un benchmark de 16 tâches de manipulation dont la réussite exige des informations qui ne sont plus visibles dans l'observation actuelle. Sur les 16 tâches et trois graines de politique, SimpleARM atteint 67,17 % de réussite moyenne, contre 44,51 % pour la meilleure base de comparaison non oracle. Des ablations appariées montrent que retirer l'état de relation, de référence, de progression ou d'itinéraire provoque de fortes chutes là où cet état est mobilisé, et épargne largement les autres tâches. L'enjeu dépasse le gain chiffré, soit environ 22,7 points. Les systèmes de mémoire visuelle actuels conservent ou compressent des observations passées, en supposant que l'historique utile se retrouve dans les images. Or le contrôle robotique dépend aussi d'un état issu de l'interaction, qu'aucune image ne représente explicitement : quel objet est lequel après avoir été déplacé, où en est la tâche, dans quel ordre exécuter une procédure. Les résultats plaident pour une mémoire conçue comme un état compact et pertinent pour la tâche, plutôt que comme un historique visuel étendu. Pour les intégrateurs et les équipes qui déploient des politiques VLA gelées, l'intérêt pratique est réel : la couche s'ajoute sans réentraînement, donc sans coût de collecte de données ni de fine-tuning. La spécificité des ablations renforce la crédibilité du mécanisme. Des réserves s'imposent toutefois : les résultats proviennent d'un benchmark, avec des tâches vraisemblablement simulées, sans preuve de déploiement réel, et l'écart avec les approches plus complexes reste à vérifier hors de RoboMME. Ce travail s'inscrit dans la montée des modèles généralistes gelés, de type VLA, qui excellent en réactivité mais restent faibles sur les tâches à longue portée dépendant du passé. Les approches concurrentes se répartissent entre conservation brute de trames, compression de contexte visuel et mémoires apprises de bout en bout, toutes exposées au même défaut : ne pas capter l'état implicite. SimpleARM adopte une orientation « agentique », où des outils spécialisés remplissent l'état plutôt que la politique elle-même. Les suites logiques seraient des tests sur robot physique, d'autres benchmarks de mémoire et une comparaison avec des politiques entraînées avec mémoire native. Le preprint n'annonce ni code, ni pilote, ni calendrier, et n'a pas encore été évalué par des pairs.

RecherchePaper

1 source

3arXiv cs.RO

GigaWorld-1 : une feuille de route pour créer des modèles du monde évaluant les politiques robotiques

Une équipe de recherche publie GigaWorld-1, un modèle du monde spécialement conçu pour évaluer les politiques robotiques, accompagné de WMBench, un banc d'essai construit à partir de données réelles de téléopération et de rollouts de politiques appariés sur des tâches de manipulation variées. L'étude analyse 7 modèles du monde vidéo, 4 schémas de représentation d'action et plus de 324 000 rollouts de politiques simulés mis en correspondance avec des exécutions robotiques réelles, en s'appuyant aussi sur les soumissions de la communauté au CVPR 2026 GigaBrain Challenge, des trajectoires synthétiques et plus de 12 000 heures de vidéos d'entraînement. Trois résultats principaux ressortent : la qualité d'un évaluateur dépend surtout de la cohérence des rollouts sur de longs horizons temporels et de leur fidélité à l'action réelle, plutôt que du simple réalisme visuel à court terme ; les gains de pré-entraînement viennent autant d'un équilibre entre connaissances générales et contrôlabilité spécifique au robot que de la seule taille des données ; et des choix d'architecture comme l'encodage d'action, la conception de la mémoire et le post-entraînement orienté évaluation déterminent fortement l'alignement avec le comportement réel du robot. Code, modèles, jeux de données et outils sont publiés en intégralité. Ce travail s'attaque à un vrai goulot d'étranglement du secteur : contrairement aux LLM, évaluables via des benchmarks numériques rapides, les politiques robotiques nécessitent des essais physiques lents, coûteux et limités par le matériel et la supervision humaine. Utiliser des modèles du monde comme évaluateurs de substitution promet d'accélérer drastiquement l'itération sur les modèles fondation embarqués (VLA), en simulant les conséquences d'une action avant tout déploiement réel. Mais jusqu'ici, personne n'avait établi méthodiquement ce qui rend un modèle du monde fiable pour ce rôle précis d'évaluateur, plutôt que pour la génération vidéo générique. En démontrant que le réalisme visuel court terme est un mauvais proxy et que la cohérence long-horizon compte davantage, l'étude remet en cause une hypothèse implicite du secteur, celle voulant qu'un bon générateur vidéo fasse automatiquement un bon simulateur d'évaluation, avec des implications directes pour tous les laboratoires qui entraînent des politiques de manipulation (type GR00T N2, Pi-0 ou Helix) et cherchent à réduire leur dépendance aux essais sur banc réel. Le travail s'inscrit dans la montée en puissance des modèles du monde comme brique d'infrastructure pour la robotique fondation, un axe de recherche porté ces derniers mois par des acteurs comme World Labs, Genie de DeepMind ou les initiatives associées au GigaBrain Challenge du CVPR 2026, dont les soumissions communautaires alimentent d'ailleurs directement WMBench. La démarche se distingue par son échelle : plus de 12 000 heures de vidéos d'entraînement et 324 000 rollouts appariés à des exécutions réelles, un volume rarement atteint pour ce type d'analyse comparative. En publiant intégralement code, modèles et jeux de données, les auteurs positionnent GigaWorld-1 et WMBench comme une référence ouverte que d'autres laboratoires pourront reprendre pour benchmarker leurs propres politiques, une étape qui pourrait accélérer la comparaison objective entre familles de modèles VLA concurrentes, aujourd'hui difficile faute de protocole d'évaluation standardisé.

RecherchePaper

1 source

4arXiv cs.RO

Diviser pour mémoriser : une mémoire récursive centrée sur l'action pour les politiques VLA à long horizon

Des chercheurs proposent Divide-and-Remember (D&R), une méthode de mémoire récursive pour les politiques VLA (vision-language-action) appliquées à la manipulation de longue durée. Le papier, publié sur arXiv (2610.00982), s'attaque aux tâches dites dépendantes de l'historique, où l'observation courante ne suffit pas à déterminer l'action. D&R apprend une fonction de mémoire mt = M(ht) en s'appuyant sur une sélection récursive : la sélection sur l'historique complet est découpée en sous-problèmes de type top-K sur 2K tokens. Des sélecteurs légers, de taille fixe et entraînés de bout en bout, peuvent ainsi gérer un historique non borné. Tous les blocs de récursion partagent un unique sélecteur, ce qui limite le coût de calcul. Sur RoboMME, un benchmark de 16 tâches de manipulation longue qui exigent de se souvenir du quand, du où, du quoi et du comment agir, D&R atteint le meilleur taux de succès moyen publié, avec des gains constants sur les quatre suites, pour un budget de seulement 64 tokens de mémoire. Les auteurs affirment que des essais sur robot réel confirment le gain, sans en donner les chiffres dans le résumé. Le code et les checkpoints sont publiés. L'enjeu dépasse le seul score de benchmark. Les VLA actuels restent largement réactifs : ils se débrouillent quand la scène contient l'information utile, mais échouent dès qu'il faut se rappeler quel objet a été déplacé, quelle étape est déjà faite ou où un élément a disparu. Ces cas sont fréquents en logistique, en assemblage et en tâches de service. Les méthodes existantes de mémoire reposent sur des heuristiques fixées à la conception, comme conserver les images à forte variation de pixels, et donnent des résultats irréguliers selon les tâches. Le papier les remplace par un critère théorique : la mémoire optimale maximise l'information mutuelle conditionnelle entre l'action et la mémoire, sachant l'observation courante. Autrement dit, elle ne garde que ce qui, dans le passé, est utile à l'action et absent de la vue présente. Pour un intégrateur, le point clé est le budget : 64 tokens, c'est une mémoire compatible avec une inférence embarquée, là où allonger le contexte fait exploser latence et coût. Il faut toutefois rester prudent : RoboMME est un benchmark principalement simulé, et la validation sur robot réel n'est détaillée que dans le papier complet. Il s'agit d'un résultat de recherche, pas d'un produit déployé. Ce travail s'inscrit dans la montée en puissance des VLA généralistes, comme Pi-0 ou GR00T, qui traitent surtout une observation courte ou quelques images récentes. La mémoire à long horizon est identifiée comme un point faible de ces architectures, et plusieurs équipes explorent la compression du contexte, la mémoire par mots-clés ou les représentations récurrentes. D&R se distingue par sa formulation en problème d'optimisation, issue du cadre POMDP de l'apprentissage par imitation. Les prochaines étapes à surveiller sont la reproduction des résultats sur d'autres benchmarks, les chiffres détaillés sur robot réel et l'intégration dans des modèles de fondation de grande taille.

RecherchePaper

1 source