RecherchearXiv cs.RO 15 septembre 2026

MessyMem : une mémoire acquise par la pratique pour la manipulation mobile

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un système baptisé MessyMem, décrit dans un article publié sur arXiv (identifiant 2609.15976v1, version initiale de septembre 2026), s'attaque à un problème concret de la manipulation mobile : les robots qui interviennent dans plusieurs pièces et à plusieurs reprises n'accumulent aujourd'hui aucune connaissance persistante d'une visite à l'autre, par exemple qu'un placard est verrouillé ou qu'un objet se trouve dans un tiroir précis. MessyMem construit et maintient un graphe de scène 3D spatialement ancré, listant objets et emplacements, qu'il enrichit avec des propriétés et des résultats appris par interaction, et qu'il relie à des observations visuelles pour permettre un rappel précis. Les auteurs l'ont testé en simulation, sur une séquence continue de 25 tâches s'étalant sur plus de 3 heures, où le système atteint 80,0 % de progression des tâches, soit 14,8 points de pourcentage de mieux que la meilleure variante ablationnée du système et 28,9 points de mieux que la meilleure méthode externe comparée. Le système parvient à retrouver des preuves pertinentes parmi des milliers d'images clés stockées, remontant à plus d'une heure dans le passé. Un test complémentaire a également été mené sur un manipulateur mobile réel, sans que l'abstract ne détaille de métriques chiffrées équivalentes pour cette partie.

Ce travail répond directement à une limite connue des architectures actuelles : les représentations de scène compactes utilisées par les planificateurs pilotés par modèles vision-langage omettent les connaissances tirées de l'interaction, les historiques vidéo bruts sont difficiles à interroger, et les modèles raisonnent au moment de l'inférence sans jamais mettre à jour durablement ce que le robot sait. Pour les intégrateurs et décideurs qui envisagent des flottes de robots opérant en continu sur de longues périodes, dans des environnements domestiques, commerciaux ou industriels, ce type de mémoire structurée laisse espérer une réduction du temps perdu à ré-explorer ou refaire des erreurs déjà rencontrées. Il faut toutefois noter que les chiffres les plus spectaculaires proviennent d'un banc d'essai simulé construit par les auteurs eux-mêmes, ce qui limite pour l'instant leur portée face à une validation à grande échelle sur robot physique.

L'approche s'inscrit dans un effort de recherche plus large visant à doter les manipulateurs mobiles d'une mémoire à long terme complémentaire des modèles de planification génératifs, plutôt qu'un simple contexte réinitialisé à chaque tâche. S'agissant d'une publication de recherche fraîche et non d'un produit commercialisé, les suites logiques attendues sont l'extension à un plus grand nombre de tâches et d'environnements, ainsi qu'une validation renforcée sur robots physiques déployés en conditions réelles.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

REMM : une mémoire incarnée révisable pour la manipulation

REMM (Revisable Embodied Memory for Manipulation) est une couche de mémoire de supervision proposée dans un preprint arXiv (2610.12710v1) pour des tâches de manipulation robotique de longue durée. Elle se greffe sur un exécuteur VLA (vision-language-action) figé, désigné G0.5, sans jamais le réentraîner. Son principe: séparer un historique de preuves en ajout seul (append-only) d'un état de tâche révisable, et lier explicitement chaque relation dérivée ou condition « accomplie » aux faits qui la soutiennent. Quand une nouvelle observation validée modifie un de ces faits, le système retire les conclusions qui en dépendaient et planifie une réparation ciblée aux frontières de compétence vérifiées. Les auteurs rapportent 51 essais physiques, certains avec assistance d'un opérateur. Face au meilleur des systèmes de référence, la progression moyenne de la tâche passe de 57 % à 91 % pour la récupération après intervention, et de 43 % à 70 % pour le rappel de séquence. Des diagnostics vidéo complémentaires indiquent aussi une meilleure transmission de l'historique retenu vers l'instruction suivante, y compris face à des adaptations de planificateurs de haut niveau compatibles π0.5. L'enjeu tient à un angle mort des politiques VLA actuelles: conserver des observations ne dit pas quelles conclusions doivent être invalidées lorsque le monde change. Un objet déplacé par un humain, une pièce retombée ou un empilement défait rendent caduque une étape pourtant déclarée terminée. Pour un intégrateur, la proposition est séduisante: ajouter une couche de supervision à un modèle existant évite un nouveau cycle de collecte de données et de fine-tuning, et rend l'état de la tâche inspectable. Les chiffres demandent toutefois de la prudence. Un échantillon de 51 essais est modeste, la métrique est une progression « enregistrée » et non un taux de réussite strict, la présence d'essais assistés brouille la lecture, et les comparaisons vidéo relèvent du diagnostic qualitatif. Aucune donnée sur la latence, le coût de calcul ou la diversité des tâches n'est mentionnée dans le résumé. Ce travail s'inscrit dans la course à la mémoire et au raisonnement long horizon pour les politiques généralistes, où les modèles de la lignée π0.5 servent de référence, souvent associés à un planificateur de haut niveau. L'approche de REMM, un contrôle modulaire par-dessus un exécuteur gelé, contraste avec les stratégies qui intègrent la mémoire dans les poids du modèle, et elle se place plus près des architectures neuro-symboliques. Il s'agit ici de recherche académique, sans produit ni déploiement industriel annoncé. Les prochaines étapes naturelles seraient des évaluations plus larges, sur d'autres exécuteurs et d'autres environnements, avec des taux de réussite stricts. Une page de projet est disponible pour suivre les démonstrations et le code éventuel.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

EchoVLA : mémoire déclarative synergique pour un modèle vision-langage-action robotique en manipulation mobile

EchoVLA, un modèle vision-langage-action (VLA) pour la manipulation mobile, est décrit dans la version 3 d'un preprint arXiv (2511.18112). Il ajoute aux VLA classiques, limites a des taches courtes sur table fixe, une mémoire déclarative en deux volets inspirée du cerveau humain : une mémoire de scene qui conserve des cartes spatio-sémantiques de l'environnement, et une mémoire épisodique qui archive les expériences passées sous forme de traits multimodaux. Les deux mémoires sont mises a jour et interrogées séparément puis fusionnées par attention fine et grossière pour piloter des politiques de diffusion coordonnant base mobile et bras. Les auteurs introduisent aussi MoMani, un benchmark automatise générant des trajectoires expertes par planification via un modèle de langage multimodal, complète par des démonstrations sur robot réel. En simulation, EchoVLA atteint 0,52 de réussite sur les taches de manipulation/navigation et 0,31 sur la manipulation mobile complète, devançant la référence Pi-0.5 de +0,20 et +0,11 point. Ce résultat cible un angle mort connu du secteur : la plupart des VLA actuels opèrent a horizon court sur un bras fixe, sans mémoire persistante d'un contexte spatial évolutif, ce qui les rend mal adaptes aux robots devant naviguer puis manipuler dans un même environnement. Pour les intégrateurs combinant AMR et bras robotises, et pour les décideurs évaluant les promesses des VLA généralistes, l'écart avec Pi-0.5 montre un progrès réel, mais des taux de réussite de 0,31 a 0,52, obtenus surtout en simulation, restent loin d'une fiabilité industrielle et confirment que la manipulation mobile a grande échelle demeure un chantier ouvert. EchoVLA s'inscrit dans la vague de recherche visant a doter les agents incarnes d'une mémoire proche de celle d'un humain, aux cotes d'autres familles de VLA comme Pi-0, prises ici comme référence de comparaison plutôt que comme concurrent commercial. Aucun déploiement industriel ni partenariat n'est mentionne : la publication reste, a ce stade, un travail académique valide en simulation et par un nombre limite de démonstrations sur robot réel. Les auteurs ne communiquent pas de calendrier de transfert vers un pilote ou un produit ; la suite logique serait une validation plus large en conditions réelles, au-delà des tests déjà réalisés.

RechercheOpinion

1 source

3arXiv cs.RO

LIFD : diffusion ancrée pour une mémoire de scène 3D dans la manipulation robotique

Un article de recherche publié sur arXiv (arXiv:2609.19796v1) présente LIFD (Look, Imagine, Focus, and Do), un système de mémoire de scène tridimensionnelle persistante destiné à la manipulation robotique en conditions d'observabilité partielle, c'est-à-dire lorsque des zones vues par le robot sortent du champ de la caméra à mesure qu'il ou la scène se déplace. Le système apprend une représentation en tokens de scène à partir d'un accord multi-vues, puis la complète en déploiement à partir d'une seule image RGB et d'une mémoire récurrente, grâce à un modèle de rectified-flow combiné à un mécanisme d'attention croisée guidée par des ancrages géométriques. Sur les bancs d'essai de simulation LIBERO et MetaWorld, la version dite "Staged" de LIFD atteint respectivement 91,6% et 79,8% de taux de réussite moyen, avec un gain de 3,1 points de pourcentage sur LIBERO par rapport à un entraînement joint classique. Sur un bras robotique réel UR5e, testé sur quatre familles de tâches avec seulement dix démonstrations par famille, LIFD obtient 56,0% de réussite moyenne contre 40,5% pour OpenVLA-7B, un modèle vision-langage-action de référence dans le secteur. Ce résultat s'attaque à une limite connue des politiques de manipulation actuelles: la plupart des architectures VLA raisonnent sur la vue courante et perdent la trace des objets ou surfaces qui sortent du cadre, ce qui fragilise les tâches nécessitant de se souvenir d'un état antérieur de la scène. En montrant qu'une mémoire de scène compacte peut être inférée à partir d'une unique caméra RGB et de la proprioception au moment du déploiement, sans capteurs multi-vues ni LIDAR embarqués, LIFD répond à une contrainte très concrète pour les intégrateurs: le coût et la complexité du capteur. L'écart de performance avec OpenVLA-7B en régime few-shot (dix démonstrations) est aussi un signal pour les décideurs B2B, car il suggère qu'une mémoire spatiale explicite peut compenser en partie le besoin de données massives, un frein habituel à l'adoption des VLA en environnement industriel réel. Sur le plan méthodologique, LIFD s'appuie sur un entraînement en deux temps: une phase de représentation supervisée par des signaux multi-vues et géométriques, suivie d'une politique de manipulation reliée à cette représentation via des "slot features" compactes. Les auteurs comparent explicitement deux régimes d'entraînement, "Staged" et "Joint", le premier se révélant supérieur, et positionnent leur approche face à OpenVLA-7B comme référence VLA open-source établie. Il s'agit à ce stade d'un travail de recherche publié en preprint, validé sur des simulateurs standards du domaine (LIBERO, MetaWorld) et un unique bras collaboratif UR5e en laboratoire, sans annonce de pilote industriel ni de calendrier de déploiement à plus grande échelle.

RecherchePaper

1 source

4arXiv cs.RO

Étiquetage automatique pour la manipulation mobile bimanuelle

Un pipeline d'étiquetage automatique pour l'entraînement de politiques robotiques à long horizon a été publié le 22 septembre 2026 sous forme de preprint arXiv (2609.24059), sous le titre "Automatic Labelling for Bimanual Mobile Manipulation". La méthode combine deux approches: une analyse déterministe de la trajectoire pour localiser dans le temps les phases d'une tâche, et un raisonnement vision-langage (VL) pour décrire sémantiquement le contenu de chaque phase, séparément pour la base mobile, le bras gauche et le bras droit. Les auteurs l'ont évaluée sur 29 tâches réelles de manipulation mobile bimanuelle exécutées avec des robots Galaxea. En répétant trois fois le raisonnement VL sur les tâches sélectionnées, la sortie reste identique dans 87,4% des cas. Une revue humaine menée par neuf participants sur l'ensemble des 29 tâches montre un taux d'acceptation de 90,5% pour les découpages temporels, 90,7% pour les labels de la base, et 78,7% pour les labels des bras. L'enjeu dépasse la simple curiosité académique: l'entraînement de politiques vision-langage-action (VLA) à long horizon repose sur des annotations de sous-tâches fiables, un travail manuel coûteux qui freine le passage à l'échelle des jeux de données de démonstrations robotiques. En automatisant la localisation temporelle tout en gardant un raisonnement sémantique piloté par un modèle vision-langage, ce pipeline propose une voie pour produire des annotations structurées à moindre coût humain, un prérequis que partagent les efforts actuels autour de modèles comme Pi-0 ou GR00T N2. Le taux d'acceptation plus faible sur les labels des bras (78,7% contre plus de 90% ailleurs) mérite d'être noté par les intégrateurs: décrire correctement un comportement bimanuel asynchrone reste plus difficile qu'annoter les déplacements de la base, une limite que l'article assume sans la minimiser. Le travail s'inscrit dans la course plus large à la constitution de données d'entraînement pour les modèles génériques de manipulation, où le choix de la plateforme Galaxea, fournisseur chinois de robots bimanuels mobiles, illustre sa place croissante comme banc d'essai académique. Publié en preprint sans revue par les pairs, sans code ni jeu de données mentionnés dans le résumé, le document se présente comme une base pour une identification plus fine des sous-tâches et une vérification par états, sans calendrier de suite annoncé.

RecherchePaper

1 source