RecherchearXiv cs.RO 2 juin 2026

Mémoire spatio-sémantique dynamique et résiliente avec localisation hybride pour la manipulation mobile

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche a publié sur arXiv (réf. 2606.00576) DREAM, un framework de manipulation mobile robotique pour environnements intérieurs dynamiques, fonctionnant sans carte pré-construite. Le système construit en temps réel une mémoire voxel spatio-sémantique à partir d'observations RGB-D enregistrées par un backend SLAM hybride LiDAR-inertiel-visuel. Pour retrouver des objets cibles, DREAM combine retrieval 3D conditionné par le langage naturel, détection à vocabulaire ouvert, et vérification sémantique par un grand modèle de langage multimodal (MLLM). Sa contribution technique centrale est le RMP (Redundancy-Aware Memory Pruning), un mécanisme d'élagage conscient du pose-graph qui propage les corrections de pose aux observations historiques tout en maintenant l'empreinte mémoire bornée. Testé sur robot réel dans quatre scènes de laboratoire dynamiques, DREAM améliore les taux de succès sur tâches longue durée : de 40-60% avec le système de référence DynaMem à 55-70%, avec une empreinte mémoire de 0,37 à 0,63 Go et un temps de mise à jour de 0,43 à 0,53 seconde par scène.

Ce résultat adresse un blocage fondamental de la manipulation mobile en conditions réelles : les systèmes existants supposent un environnement statique, des estimations de pose précises ou une carte pré-construite, trois hypothèses qui s'effondrent dès qu'un objet est déplacé ou qu'une correction de trajectoire intervient. DREAM répond à ce demo-to-real gap en propageant dynamiquement les corrections de pose à toute la mémoire historique, et en s'appuyant sur un MLLM pour la vérification sémantique plutôt qu'une simple correspondance géométrique. Nuance nécessaire toutefois : un taux de succès de 55-70% signifie encore 30-45% d'échecs en conditions de laboratoire contrôlées, et les tâches exactes testées ne sont pas détaillées dans l'abstract disponible, ce qui rend toute extrapolation à des environnements industriels ou domestiques réels prématurée.

DynaMem constitue la référence directe de comparaison. La manipulation mobile autonome en milieu non-structuré est un axe actif chez plusieurs acteurs commerciaux : Figure avec son robot Figure 03, Physical Intelligence avec pi-zero et pi0.5, Boston Dynamics ou encore Agility Robotics. L'approche de DREAM, combinant SLAM dense, mémoire sémantique interrogeable en langage et vérification par LLM, s'inscrit dans la tendance VLA (Vision-Language-Action) qui cherche à combler le sim-to-real gap non par l'entraînement massif mais par une représentation du monde plus dynamique et cohérente. Aucune institution ni partenariat industriel n'est mentionné dans le résumé disponible, classant ce travail pour l'instant comme recherche académique pré-publication, sans timeline de déploiement annoncée.

Dans nos dossiers

Figure Boston Dynamics Agility Robotics — Digit Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Compétences en poids, mémoire en code : apprentissage hybride pour la manipulation robotique dépendante de la mémoire

Une équipe de recherche a publié le 11 août 2026 sur arXiv (référence 2608.09410) un article intitulé "Skills in Weights, Memory in Code", présentant HyMeS, un framework hybride destiné à la manipulation robotique dépendant de la mémoire à long terme. Le système associe une politique vision-langage-action (VLA) markovienne, qui apprend les compétences motrices de bas niveau par imitation learning basée sur le gradient, à un agent de codage chargé de la gestion de la mémoire de haut niveau. Cet agent apprend par heuristique, en mettant à jour de façon itérative un système de règles exécutables à partir des retours d'essais (rollouts). Une vérification multimodale de l'achèvement des étapes, combinant signaux proprioceptifs et jugements d'un modèle vision-langage sur plusieurs images, permet de rafraîchir la mémoire en boucle fermée. Sur le benchmark RoboMemArena, HyMeS fait grimper le taux de succès cumulé moyen de 52,5% à 66,2% et le taux de succès par tâche de 41,3% à 60,1% par rapport au modèle de référence pi0.5, tout en dépassant le système concurrent PrediMem de 4,5 points en succès cumulé et 14,5 points en succès par tâche. L'enjeu dépasse la simple performance chiffrée: la plupart des politiques VLA actuelles génèrent chaque action à partir de l'observation courante ou d'un historique court et fixe, ce qui les rend inadaptées aux tâches non markoviennes où le robot doit se souvenir d'informations glanées bien plus tôt dans la séquence. En séparant les compétences motrices, apprises par imitation et figées dans les poids du réseau, de la logique de mémoire, gérée en code exécutable et adaptable sans nouvelles démonstrations, HyMeS promet une généralisation compositionnelle plus économe en données: seules les compétences motrices réutilisables nécessitent des démonstrations, pas chaque configuration de tâche dépendante de l'historique. Pour les intégrateurs et laboratoires travaillant sur des tâches industrielles multi-étapes (tri, assemblage séquentiel), c'est un argument direct contre le coût prohibitif de collecte de données propre aux approches VLA de bout en bout. Le travail s'inscrit dans la lignée des modèles VLA généralistes tels que pi0.5 (Physical Intelligence), utilisé ici comme référence, et se positionne face à d'autres approches de mémoire augmentée comme PrediMem. Il s'agit à ce stade d'un préprint arXiv validé uniquement sur le benchmark RoboMemArena, sans validation annoncée sur robot physique ni pilote industriel.

RecherchePaper

1 source

2arXiv cs.RO

MessyMem : une mémoire acquise par la pratique pour la manipulation mobile

Un système baptisé MessyMem, décrit dans un article publié sur arXiv (identifiant 2609.15976v1, version initiale de septembre 2026), s'attaque à un problème concret de la manipulation mobile : les robots qui interviennent dans plusieurs pièces et à plusieurs reprises n'accumulent aujourd'hui aucune connaissance persistante d'une visite à l'autre, par exemple qu'un placard est verrouillé ou qu'un objet se trouve dans un tiroir précis. MessyMem construit et maintient un graphe de scène 3D spatialement ancré, listant objets et emplacements, qu'il enrichit avec des propriétés et des résultats appris par interaction, et qu'il relie à des observations visuelles pour permettre un rappel précis. Les auteurs l'ont testé en simulation, sur une séquence continue de 25 tâches s'étalant sur plus de 3 heures, où le système atteint 80,0 % de progression des tâches, soit 14,8 points de pourcentage de mieux que la meilleure variante ablationnée du système et 28,9 points de mieux que la meilleure méthode externe comparée. Le système parvient à retrouver des preuves pertinentes parmi des milliers d'images clés stockées, remontant à plus d'une heure dans le passé. Un test complémentaire a également été mené sur un manipulateur mobile réel, sans que l'abstract ne détaille de métriques chiffrées équivalentes pour cette partie. Ce travail répond directement à une limite connue des architectures actuelles : les représentations de scène compactes utilisées par les planificateurs pilotés par modèles vision-langage omettent les connaissances tirées de l'interaction, les historiques vidéo bruts sont difficiles à interroger, et les modèles raisonnent au moment de l'inférence sans jamais mettre à jour durablement ce que le robot sait. Pour les intégrateurs et décideurs qui envisagent des flottes de robots opérant en continu sur de longues périodes, dans des environnements domestiques, commerciaux ou industriels, ce type de mémoire structurée laisse espérer une réduction du temps perdu à ré-explorer ou refaire des erreurs déjà rencontrées. Il faut toutefois noter que les chiffres les plus spectaculaires proviennent d'un banc d'essai simulé construit par les auteurs eux-mêmes, ce qui limite pour l'instant leur portée face à une validation à grande échelle sur robot physique. L'approche s'inscrit dans un effort de recherche plus large visant à doter les manipulateurs mobiles d'une mémoire à long terme complémentaire des modèles de planification génératifs, plutôt qu'un simple contexte réinitialisé à chaque tâche. S'agissant d'une publication de recherche fraîche et non d'un produit commercialisé, les suites logiques attendues sont l'extension à un plus grand nombre de tâches et d'environnements, ainsi qu'une validation renforcée sur robots physiques déployés en conditions réelles.

RecherchePaper

1 source

3arXiv cs.RO

ADM-Planner : planification à long horizon guidée par LLM pour manipulateurs mobiles avec mémoire dynamique à attention renforcée

Des chercheurs présentent ADM-Planner, un système de planification pour robots mobiles manipulateurs qui combine un grand modèle de langage avec une mémoire dynamique à attention renforcée (ADM, Attention-enhanced Dynamic Memory). L'idée centrale consiste à séparer la connaissance persistante de l'espace de travail de l'état centré sur les objets, mis à jour de façon asynchrone par les observations et les résultats d'action, tout en ne présentant au LLM qu'un sous-ensemble borné d'informations pertinentes pour la prochaine décision, avec replanification automatique dès qu'une mise à jour invalide le plan en cours. Sur 1 500 épisodes de simulation en environnement bruité à 14 conteneurs, ADM atteint 100% de tâches réussies intégralement, contre 62% pour une mémoire statique figée et 97% pour une mémoire dynamique sans filtrage, tout en réduisant de 95,8% la taille du contexte transmis au modèle. Un test en conditions réelles sur six épisodes avec un planificateur GPT-5 Mini montre que les deux variantes de mémoire dynamique complètent toutes les missions, ADM réduisant de 14,4% les tokens d'entrée facturés et le nombre moyen d'appels au planificateur de 7,0 à 6,0. Une étude séparée de 60 essais sous PyBullet confirme 100% de succès pour ADM contre 50% pour la mémoire statique, et le robot manipulateur mobile équipé d'ADM-Planner a mené à bien diverses missions en intérieur et extérieur, y compris avec des cibles révélées après le début de l'exécution. Ce travail s'attaque à un problème concret pour tout intégrateur déployant des robots en environnement changeant, entrepôt, site logistique ou espace partagé avec des humains: un contexte figé devient obsolète dès qu'un objet est déplacé, tandis qu'un historique complet accumule des informations redondantes ou contradictoires qui dégradent la fiabilité du LLM. En démontrant qu'une gestion sélective de l'état bat à la fois la mémoire statique et l'historique brut, tout en réduisant nettement le coût en tokens et la latence liée aux appels API, l'étude apporte un argument concret en faveur d'architectures de mémoire structurée plutôt que du simple empilement de prompts, une question centrale pour la viabilité économique des LLM appliqués à la planification robotique long-horizon. Le travail reste à ce stade un preprint arXiv, sans affiliation institutionnelle précisée dans le résumé, et ses résultats les plus solides proviennent de simulation à grande échelle, les essais physiques réels en intérieur et extérieur n'étant décrits que qualitativement sans chiffres de réussite détaillés. ADM-Planner se positionne sur la planification de tâches pilotée par LLM plutôt que sur le contrôle continu de bas niveau, un axe distinct des modèles vision-langage-action end-to-end qui dominent actuellement les annonces du secteur humanoïde. Les auteurs mettent à disposition une page projet dédiée pour suivre d'éventuelles publications complémentaires ou du code associé.

RecherchePaper

1 source

4arXiv cs.RO

Dual mémoire latente dans les modèles vision-langage-action pour la manipulation robotique

Des chercheurs ont publié le 7 juillet 2026 sur arXiv (arXiv:2607.07608v1) un nouveau framework baptisé LaMem-VLA, conçu pour doter les modèles Vision-Language-Action (VLA) d'une mémoire native directement intégrée à leur espace latent de raisonnement. Aujourd'hui, la plupart des VLA prédisent une action à partir de la seule observation courante sous hypothèse markovienne, ce qui les rend peu efficaces sur les tâches longues et dépendantes du temps. LaMem-VLA repose sur quatre composants coordonnés: un "curator" qui organise l'expérience passée en deux coffres mémoire, court terme et long terme; un "seeker" qui interroge ces coffres via la cognition multimodale pour en extraire les preuves pertinentes au contexte; un "condenser" qui reconstruit ces preuves en tokens de mémoire latente compacts; et un "weaver" qui injecte ces tokens avec l'observation et l'instruction courantes dans une seule séquence d'embedding continue. Les auteurs rapportent une supériorité de leur approche sur les benchmarks SimplerEnv et LIBERO, deux références standard pour évaluer la manipulation robotique pilotée par VLA. L'enjeu dépasse la simple performance sur benchmark. Les VLA actuels, qu'ils s'appuient sur des architectures type Pi-0, GR00T N2 ou Helix, butent tous sur une mémoire de travail limitée à la fenêtre d'observation courante, ce qui les fragilise dès qu'une tâche exige de se souvenir d'une action antérieure, par exemple qu'un tiroir a déjà été ouvert. Les solutions existantes, élargir la fenêtre d'observation ou interroger une banque mémoire externe comme contexte auxiliaire, laissent cette mémoire hors de l'espace latent natif du modèle, limitant son intégration au raisonnement multimodal. En rendant la mémoire nativement latente, LaMem-VLA vise à réduire l'écart entre démonstrations courtes réussies en laboratoire et déploiements réels où les séquences de tâches s'étirent, un critère que surveillent de près les intégrateurs industriels évaluant la fiabilité des VLA au delà du simple "pick and place". Ce travail s'inscrit dans une vague de recherche sur la mémoire des VLA, alors que le secteur de la robotique humanoïde et généraliste, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, Figure avec Helix, cherche à dépasser les tâches courtes démontrées en vidéo pour viser des chaînes d'actions plus longues et industriellement exploitables. Classé "Announce Type: new" sur arXiv et non encore relu par les pairs, le papier ne mentionne aucun déploiement matériel ni partenariat industriel: il s'agit pour l'instant d'une contribution académique validée uniquement en simulation. Les suites attendues, classiques pour ce type de travaux, seraient une validation sur robot physique et une comparaison directe avec les architectures mémoire déjà explorées par les grands laboratoires de robotique généraliste.

RechercheActu

1 source