Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
OnEvoMemory : une mémoire évolutive via des essais robotiques en ligne pour les politiques de robots préentraînées
RecherchearXiv cs.RO 

OnEvoMemory : une mémoire évolutive via des essais robotiques en ligne pour les politiques de robots préentraînées

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Publié en août 2026 sur arXiv (2608.08749v1), un article de recherche présente OnEvoMemory, un module de mémoire pour politiques robotiques pré-entraînées de type VLA, destiné à la manipulation à long horizon. À la différence des mécanismes existants, qui s'appuient sur des modèles externes ou des règles figées, il apprend directement, à partir des résultats de trajectoires, quelles expériences conserver, combinant contexte récent, expériences à haute valeur et transitions saillantes entre sous-tâches. Des démonstrations hors-ligne initialisent la mémoire, puis des rollouts en ligne, réussis ou échoués, l'affinent au fil de l'entraînement. Sur des bancs de manipulation longue, les auteurs rapportent une amélioration des performances d'une politique VLA de base, sans fournir de chiffres de charge utile, de degrés de liberté ni de temps de cycle: une contribution algorithmique, pas un déploiement matériel.

Ce travail cible un verrou connu des politiques génératives en robotique: le suivi des sous-tâches déjà accomplies sur des séquences longues, condition nécessaire pour éviter qu'un bras ou un humanoïde ne répète une action ou ne perde le fil d'une tâche multi-étapes. Les architectures VLA telles que Pi-0, GR00T N2 ou Helix géraient jusqu'ici ce problème via des modules externes, LLM de supervision ou machines à états codées à la main, plutôt que par une mémoire apprise et intégrée. Pour les intégrateurs qui construisent sur des modèles fondation robotiques, une mémoire native capable de s'améliorer via des essais en ligne réduirait la dépendance à ces pipelines ad hoc, même si le résultat reste une preuve de concept en preprint, non encore revue par les pairs.

La publication s'inscrit dans une vague de recherches visant à réduire l'écart entre les démonstrations spectaculaires de robots humanoïdes ou bras manipulateurs et leur fiabilité réelle sur des tâches enchaînées, un problème documenté depuis l'essor des modèles VLA comme RT-2 ou Octo. En misant sur un affinage par rollouts en ligne plutôt que sur des règles écrites à la main, OnEvoMemory prolonge les efforts pour rendre les politiques de manipulation plus autonomes sans multiplier les modules externes. Déposé sur arXiv sous le type "new", l'article ne mentionne aucun partenariat industriel ni calendrier de mise en production: son adoption dépendra de tests sur des plateformes physiques réelles.

Dans nos dossiers

NVIDIA GR00TOpenVLA / RT-XarXiv cs.RO

À lire aussi

La valeur comme mémoire : post-entraînement en ligne guidé par la valeur pour les politiques robotiques générales
1arXiv cs.RO 

La valeur comme mémoire : post-entraînement en ligne guidé par la valeur pour les politiques robotiques générales

Des chercheurs ont mis en ligne sur arXiv (version 1, octobre 2026) Value as Memory (VaM), un cadre de post-entraînement en conditions réelles pour politiques robotiques généralistes. Il vise deux problèmes: l'observabilité partielle, qui rend ambiguë la sélection d'une action, et les méthodes de post-entraînement hors ligne, qui retardent l'exploitation de l'expérience acquise en déploiement. Le « value caching » conditionne l'action sur les prédictions de valeur récentes, utilisées comme mémoire de l'avancement de la tâche. Les mises à jour en ligne combinent démonstrations hors ligne, interventions off-policy et rollouts on-policy. Le système passe d'un échauffement par RL hors ligne à un apprentissage autonome avec récompenses éparses. Sur des tâches longues impliquant objets déformables et manipulation riche en contacts, le gain absolu moyen de taux de succès atteint 29,4 % avec le value caching, et 32,8 % avec l'apprentissage en ligne autonome, par rapport à un entraînement hors ligne équivalent. Le calendrier en ligne réalise 8 fois plus d'itérations de politique à budget égal de pas de gradient, avec un temps enregistré par pas de gradient plus de 2 fois inférieur grâce à la collecte et à l'entraînement concurrents. L'enjeu est la fiabilité sur tâches longues, point où l'écart entre démonstration et usage réel reste le plus visible. Utiliser la valeur prédite comme mémoire de progression est une réponse légère à l'ambiguïté d'état, sans architecture récurrente lourde. Pour un intégrateur, la perspective est une adaptation sur site avec un signal de succès simple, moins dépendante de la téléopération. Le gain de débit compte aussi, car le temps robot est le poste de coût dominant. Les chiffres demandent toutefois de la prudence. La référence est un entraînement hors ligne apparié, pas d'autres méthodes en ligne. Le résumé ne donne ni taux de succès absolus, ni nombre d'essais, ni plateforme robotique, et les 29,4 % et 32,8 % sont des moyennes sur un jeu de tâches choisi par les auteurs. Les politiques généralistes de type VLA (vision-langage-action), comme Pi-0 ou GR00T, sont pré-entraînées surtout par imitation, puis affinées sur la tâche cible. Le RL réel reste coûteux en temps robot, en supervision et en réglages, ce qui explique la préférence récente pour le post-entraînement hors ligne que VaM cherche à dépasser. Il s'agit d'un préprint non évalué par des pairs, sans déploiement industriel annoncé. Les prochains marqueurs seront la publication du code, la comparaison avec d'autres approches de RL réel, et une réplication sur d'autres robots et tâches hors du cadre des auteurs.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Une mémoire simple à base d'agents pour les politiques robotiques généralistes
2arXiv cs.RO 

Une mémoire simple à base d'agents pour les politiques robotiques généralistes

Des chercheurs proposent SimpleARM (Simple Agentic Robot Memory), une couche de mémoire sans entraînement pour politiques robotiques généralistes gelées, décrite dans un preprint arXiv (v1). Le système fonctionne en quatre temps : à partir de l'instruction de la tâche, il détermine ce qu'il faut surveiller ; des outils perceptifs gelés maintiennent en ligne un état compact et typé ; un accès structuré ne récupère cet état que lorsqu'un sous-objectif proposé dépend de l'historique ; enfin, un ancrage dans la vue courante résout les entités rappelées avant l'exécution. L'évaluation porte sur RoboMME, un benchmark de 16 tâches de manipulation dont la réussite exige des informations qui ne sont plus visibles dans l'observation actuelle. Sur les 16 tâches et trois graines de politique, SimpleARM atteint 67,17 % de réussite moyenne, contre 44,51 % pour la meilleure base de comparaison non oracle. Des ablations appariées montrent que retirer l'état de relation, de référence, de progression ou d'itinéraire provoque de fortes chutes là où cet état est mobilisé, et épargne largement les autres tâches. L'enjeu dépasse le gain chiffré, soit environ 22,7 points. Les systèmes de mémoire visuelle actuels conservent ou compressent des observations passées, en supposant que l'historique utile se retrouve dans les images. Or le contrôle robotique dépend aussi d'un état issu de l'interaction, qu'aucune image ne représente explicitement : quel objet est lequel après avoir été déplacé, où en est la tâche, dans quel ordre exécuter une procédure. Les résultats plaident pour une mémoire conçue comme un état compact et pertinent pour la tâche, plutôt que comme un historique visuel étendu. Pour les intégrateurs et les équipes qui déploient des politiques VLA gelées, l'intérêt pratique est réel : la couche s'ajoute sans réentraînement, donc sans coût de collecte de données ni de fine-tuning. La spécificité des ablations renforce la crédibilité du mécanisme. Des réserves s'imposent toutefois : les résultats proviennent d'un benchmark, avec des tâches vraisemblablement simulées, sans preuve de déploiement réel, et l'écart avec les approches plus complexes reste à vérifier hors de RoboMME. Ce travail s'inscrit dans la montée des modèles généralistes gelés, de type VLA, qui excellent en réactivité mais restent faibles sur les tâches à longue portée dépendant du passé. Les approches concurrentes se répartissent entre conservation brute de trames, compression de contexte visuel et mémoires apprises de bout en bout, toutes exposées au même défaut : ne pas capter l'état implicite. SimpleARM adopte une orientation « agentique », où des outils spécialisés remplissent l'état plutôt que la politique elle-même. Les suites logiques seraient des tests sur robot physique, d'autres benchmarks de mémoire et une comparaison avec des politiques entraînées avec mémoire native. Le preprint n'annonce ni code, ni pilote, ni calendrier, et n'a pas encore été évalué par des pairs.

RecherchePaper
1 source
RoboMME : évaluation et compréhension de la mémoire pour les politiques robotiques généralistes
3arXiv cs.RO 

RoboMME : évaluation et compréhension de la mémoire pour les politiques robotiques généralistes

Une équipe de chercheurs a publié RoboMME (Robotic Multi-Memory Evaluation), un benchmark standardisé à grande échelle destiné à évaluer les modèles VLA (vision-language-action) sur des tâches de manipulation robotique nécessitant de la mémoire à long horizon. Le benchmark comprend 16 tâches construites selon une taxonomie en quatre catégories : mémoire temporelle, spatiale, des objets et procédurale, couvrant des scénarios comme le comptage d'actions répétées ou la manipulation d'objets temporairement occultés. Les auteurs ont également développé 14 variantes de VLA augmentées de mémoire, toutes bâties sur le backbone pi0.5 de Physical Intelligence, et les ont évaluées selon différentes stratégies d'intégration mémorielle. L'absence d'un cadre d'évaluation standardisé était jusqu'ici un frein majeur pour la recherche sur la mémoire dans les VLA généralistes : chaque équipe testait ses mécanismes dans des conditions ad hoc, rendant toute comparaison rigoureuse impossible. RoboMME comble ce vide en permettant, pour la première fois, de mesurer systématiquement comment différentes représentations mémorielles (états cachés récurrents, mémoire externe, fenêtre de contexte longue) se comportent sur un spectre de tâches hétérogènes. La conclusion principale est nuancée : l'efficacité d'une architecture mémoire est fortement dépendante de la tâche, chaque approche présentant des avantages distincts selon la catégorie, ce qui remet en cause l'idée qu'une solution universelle serait à portée à court terme. Pour les intégrateurs et les décideurs B2B, cela signifie concrètement que le choix du mécanisme mémoriel devra rester spécifique au cas d'usage, sans recette générique applicable. Ce benchmark s'inscrit dans la montée en puissance des VLA généralistes, portés par des modèles comme pi0 et pi0.5 de Physical Intelligence (levée de 400 millions de dollars en 2024), OpenVLA, Octo ou RoboVLMs, qui cherchent tous à transférer les capacités des grands modèles de langage à la manipulation physique. D'autres benchmarks comme LIBERO, RoboSuite ou MetaWorld couvrent déjà l'évaluation générale des VLA, mais RoboMME se distingue par son focus explicite sur la mémoire à long horizon, un aspect jusqu'ici systématiquement sous-évalué dans ces environnements. Les prochaines étapes probables incluent l'adoption de RoboMME comme référence communautaire dans les pipelines d'évaluation des grands labs robotiques, et le développement d'architectures mémoire capables de généraliser entre catégories de tâches sans sacrifier les performances spécialisées.

RechercheActu
1 source
OGPO : optimisation de politique générative en une étape pour le contrôle de robots en temps réel
4arXiv cs.RO 

OGPO : optimisation de politique générative en une étape pour le contrôle de robots en temps réel

Des chercheurs publient OGPO (One-Step Generative Policy Optimization), un cadre d'apprentissage pour le contrôle robotique en temps réel, dont la version 2 vient d'être diffusée sur arXiv (2601.20701). Il vise un problème précis : les politiques de contrôle fondées sur la diffusion ou le flow matching génèrent les actions en plusieurs étapes d'échantillonnage, ce qui limite leur usage dès que la latence compte. Réduire ce nombre d'étapes à un seul dégrade d'ordinaire la qualité de représentation et la performance sur la tâche. Les auteurs décrivent un compromis à trois pôles entre vitesse, fidélité et performance. OGPO associe une architecture légère au principe d'« interval velocity » pour une inférence en une étape sans distillation, tandis qu'une technique de « représentation spreading » évite la dégradation des représentations. Une phase d'apprentissage par renforcement (RL) on-policy affine ensuite cette politique rapide et stable. Sur les benchmarks RoboMimic et OpenAI Gym, la méthode égale ou dépasse des références multi-étapes, avec une inférence 5 à 20 fois plus rapide et une fréquence de contrôle supérieure à 120 Hz. Un déploiement physique sur un bras Franka Emika Panda est présenté comme validation. L'intérêt tient à la place des politiques génératives dans la robotique actuelle. Diffusion et flow matching sont devenus des choix courants pour représenter des comportements multimodaux, y compris dans plusieurs architectures VLA (vision-langage-action). Leur coût d'inférence impose pourtant des compromis : fréquences de contrôle basses, découpage des actions en blocs (chunking), ou matériel de calcul embarqué plus lourd. Une politique à plus de 120 Hz sans distillation, si les résultats tiennent, rapprocherait ces méthodes des boucles de contrôle réactives, utiles pour la manipulation fine ou le contact. L'ajout du RL on-policy répond à une limite connue de l'apprentissage par imitation, dont la performance reste bornée par la qualité des démonstrations. Les réserves sont claires : RoboMimic et Gym sont des benchmarks académiques, la validation réelle se limite à un seul bras et le résumé ne détaille ni les tâches physiques, ni le taux de réussite, ni le matériel de calcul. Le gain de 5 à 20 fois dépend des références choisies. Ce travail s'inscrit dans une course à l'accélération des politiques génératives. Diffusion Policy a imposé le paradigme, les approches de flow matching comme Pi-0 l'ont repris à plus grande échelle, et plusieurs équipes explorent la distillation en peu d'étapes ou le fine-tuning par RL de ces politiques. OGPO prend une voie sans distillation, en combinant vitesse et amélioration par renforcement. Il s'agit ici d'une publication de recherche, sans produit ni déploiement industriel annoncé. La suite dépendra des preuves sur des tâches plus variées, sur des robots différents et, surtout, de son intégration dans de grands modèles VLA. Une page de projet accompagne l'article.

RecherchePaper
1 source