RecherchearXiv cs.RO 22 septembre 2026

SmoLSTM : un modèle vision-langage-action compact à mémoire récurrente persistante

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un modèle vision-langage-action baptisé SmoLSTM vise à résoudre un problème classique des politiques robotiques actuelles : lorsque l'action est prédite uniquement à partir de l'observation courante, une tâche impliquant un objet occulté ou plusieurs objets visuellement identiques devient ambiguë sans historique de l'épisode. La parade habituelle, élargir la fenêtre d'observation, transforme cet horizon en hyperparamètre et fait croître le coût de calcul à chaque pas de temps. L'équipe à l'origine du papier, publié le 22 septembre 2026 sur arXiv (2609.22854), propose à la place de stocker l'épisode dans un état récurrent. SmoLSTM associe un backbone SmolVLM gelé de 256 millions de paramètres à une couche de contrôle LSTM à mémoire matricielle, où jetons d'observation et requêtes d'action circulent dans un unique flux causal jamais réinitialisé sur toute la durée de l'épisode, ce qui rend le stockage de l'état en O(1) quelle que soit la longueur de l'épisode. Une tête d'action par flow-matching prédit à chaque pas des séquences de 10 deltas de pose de l'effecteur et des commandes de préhenseur. Entraînée conjointement sur 7 461 démonstrations couvrant 140 tâches, la politique unique atteint 85,1% de couverture de sous-objectifs et 77,5% de réussite complète sur le benchmark LIBERO-Mem, avec seulement 40 millions de paramètres entraînables, dépassant à la fois la baseline object-centric du benchmark et les approches à mémoire récentes.

Cette architecture répond directement à une limite documentée des VLA en environnement industriel: la mémoire d'épisode conditionne la fiabilité en manipulation, notamment quand un capteur perd temporairement la vue d'un objet ou face à des pièces indiscernables sur une ligne. Pour les intégrateurs, l'intérêt tient surtout au ratio performance/coût: la quasi-totalité du réseau reste gelée, seuls 40 millions de paramètres sont ajustés, ce qui limite le coût d'entraînement sans faire exploser le calcul par pas comme le ferait un contexte élargi. Une expérience de contrôle renforce la démonstration: réinitialiser l'état récurrent à chaque pas de contrôle fait chuter le taux de réussite complète à 7,0%, preuve que les gains proviennent bien du contexte transporté entre décisions et non d'un artefact d'entraînement.

L'architecture s'inscrit dans la lignée des VLA compacts dérivés de SmolVLM, en réaction aux modèles à fenêtre de contexte élargie qui dominent le paysage actuel, aux côtés d'approches comme Pi-0 ou GR00T N2. Les auteurs comparent leur méthode à la fois à la baseline object-centric propre à LIBERO-Mem et à d'autres approches à mémoire récentes, et valident sa généralité en obtenant aussi 79,6% de réussite moyenne sur le benchmark standard LIBERO, sans mémoire d'occlusion particulière à exploiter. Ces résultats restent toutefois obtenus en simulation, sur des tâches de manipulation de table type LIBERO, et non sur un déploiement robotique réel: il s'agit d'un travail de recherche fraîchement publié, sans annonce de portage matériel ni de calendrier de test physique à ce stade.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

MemBodied : mémoire associative récurrente pour modèles vision-langage-action

Un modèle appelé MemBodied introduit une mémoire épisodique de taille fixe pour les modèles Vision-Language-Action (VLA), détaillée dans un article arXiv (2609.28256v1) publié en septembre 2026. Le système repose sur deux composants complémentaires: un état associatif qui enregistre les interactions au fil des appels successifs de la politique, et une ancre d'épisode qui conserve une représentation compacte de la scène initiale comme référence. Sur cinq tâches du benchmark RMBench conçues pour nécessiter de la mémoire, MemBodied atteint un taux de succès moyen 7,81 fois supérieur à celui d'une politique sans état (stateless) et 2,98 fois supérieur à une mémoire récurrente classique, tout en dépassant la meilleure référence à mémoire augmentée de 1,3 fois avec dix fois moins de paramètres ajoutés. Sur la suite LIBERO-Long, entièrement observable, il atteint 90,6% de réussite, soit une amélioration de 5,4 points par rapport à la politique stateless Pi-0. Le problème que cible ce travail est central pour l'industrie robotique: la majorité des politiques VLA déployées aujourd'hui ne conservent aucune information au-delà de l'observation en cours, ce qui les rend incapables de gérer des tâches de manipulation dépendantes de l'historique, par exemple retrouver un objet déplacé hors champ ou se souvenir qu'une étape a déjà été exécutée. La solution habituelle, garder l'historique complet dans le contexte du modèle, fait gonfler la latence d'inférence et le coût de calcul, un frein direct pour des cas d'usage industriels en temps réel. En proposant une mémoire à empreinte constante plutôt qu'un contexte qui s'étend indéfiniment, MemBodied répond à une limite concrète des architectures VLA à grande échelle (Pi-0, GR00T N2, Helix) qui excellent sur des tâches courtes mais peinent sur des séquences longues nécessitant du raisonnement temporel. Les VLA se sont imposés comme paradigme dominant du contrôle robotique généraliste ces dernières années, portés par des modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI. MemBodied se positionne comme une alternative légère à l'extension de contexte, comparée aux politiques sans état, à la mémoire récurrente standard et aux meilleures approches de mémoire augmentée existantes. Il s'agit à ce stade d'un résultat de recherche mesuré sur des benchmarks (RMBench, LIBERO-Long), sans annonce de déploiement industriel ni de partenariat commercial.

RechercheActu

1 source

2arXiv cs.RO

Mémoire intégrée et compétences réutilisables : un cadre centré sur la mémoire pour les modèles vision-langage-action (VLA)

Des chercheurs proposent Optimus-R, un cadre de type VLA (Vision-Language-Action) centré sur la mémoire, qui traite l'adaptation d'un robot à une nouvelle tâche comme un réglage explicite d'une mémoire requête-compétence, plutôt que comme un réentraînement des paramètres du modèle. Le dispositif repose sur trois briques. Une interface de mémoire « en ligne » insère des tokens de mémoire apprenables dans le flux de préfixe du VLA, ce qui permet au backbone d'extraire des représentations de requête et de compétence liées au contrôle, dans son circuit natif de conditionnement de l'action. Une banque de mémoire requête-compétence externalise ensuite ces compétences : des prototypes de requêtes décident quoi récupérer, des valeurs de compétence précisent comment agir. Enfin, un mécanisme léger « Bridge-and-Adapt » aligne les requêtes et compétences du domaine cible sur l'espace mémoire existant, via un adaptateur et des mises à jour résiduelles. Les auteurs rapportent des expériences en adaptation intra-domaine, inter-domaines et en apprentissage continu. Leur conclusion est un apprentissage de compétences économe en données, avec un oubli catastrophique atténué. Le résumé ne fournit ni taux de réussite, ni nom de robot, ni taille de modèle, ni benchmark. Il s'agit d'un travail de recherche publié sur arXiv, sans produit ni déploiement associé. L'enjeu est très concret pour qui veut déployer des VLA en production. Aujourd'hui, adapter un modèle généraliste à un nouveau poste, une nouvelle pièce ou un nouvel effecteur passe le plus souvent par du fine-tuning. Celui-ci coûte du calcul et des démonstrations, et il peut dégrader les tâches déjà maîtrisées. Pour un intégrateur qui maintient plusieurs cellules, ce risque de régression oblige à revalider l'existant à chaque mise à jour. Déplacer l'apprentissage vers une mémoire externe, extensible avec peu de paramètres modifiés, irait vers une logique plus modulaire, où l'on ajoute une compétence sans toucher au reste. L'approche reste cependant à démontrer. Faute de chiffres dans le résumé, on ignore l'ampleur du gain, la nature des domaines testés (simulation ou matériel réel) et la façon dont la banque se comporte quand le nombre de compétences croît. L'écart entre résultats de laboratoire et exploitation industrielle reste donc entier. Ce travail s'inscrit dans un courant de recherche sur l'apprentissage continu pour les politiques robotiques et l'adaptation efficiente en paramètres, déjà exploré par des méthodes de type adaptateurs ou LoRA appliquées aux VLA. Il rejoint aussi l'intérêt croissant pour les mémoires externes et la récupération de compétences dans les modèles de fondation. Les acteurs industriels comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) travaillent sur des modèles généralistes, mais leurs méthodes d'adaptation propres ne sont pas détaillées publiquement dans ce cadre. La suite logique est la publication du code et des détails expérimentaux, puis une comparaison avec ces approches sur des benchmarks communs et sur robot réel. Tant que ces éléments manquent, Optimus-R relève d'une piste de recherche prometteuse et non d'une solution éprouvée.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

UniMem : mémoire et contrôle multimodaux unifiés pour les modèles vision-langage-action

UniMem, un framework qui unifie mémoire multimodale de haut niveau et contrôle bas niveau dans une seule architecture pour les modèles Vision-Language-Action (VLA), est décrit dans une preprint arXiv publiée fin aout 2026 (arXiv:2608.22869v1). Le système combine trois composants: un classificateur d'événements qui déclenche les mises a jour mémoire, un encodeur de keyframes pour construire une mémoire spatiale dense, et une technique de mise en cache des keyframes destinée a limiter la surcharge de calcul pendant l'exécution des politiques. Les auteurs ont teste UniMem sur neuf taches au total, cinq en simulation et quatre sur matériel physique, toutes conçues pour solliciter la mémoire séquentielle et spatiale du robot. Les résultats annonces montrent un taux de réussite de 93,4% contre 68,2% pour une base de référence a échantillonnage d'images a intervalles fixes en simulation, et 80,0% contre 43,5% face a une architecture hiérarchique classique sur matériel réel, avec en prime une inférence plus rapide. Ce travail cible un point de friction reconnu dans le déploiement de VLA sur des taches longues et non markoviennes, celles ou l'action a prendre dépend d'événements passes et pas seulement de l'observation courante. Les approches existantes ajoutent généralement un second modèle vision-langage charge de gérer la mémoire long terme en amont du VLA, ce qui créé un goulot d'étranglement et un pipeline d'entrainement fragmente en deux étapes distinctes. Conditionner le modèle sur plusieurs images historiques choisies a intervalles arbitraires dégradé aussi souvent la performance. En proposant un backbone unique entrainable de bout en bout, UniMem promet une adoption plus simple pour les intégrateurs et laboratoires qui construisent des politiques robotiques a long horizon, sans empiler des modules de mémoire externes couteux en latence. Le problème de la mémoire dans les VLA s'inscrit dans la même trajectoire de recherche que des systèmes généralistes comme Pi-0, GR00T N2 ou Helix, qui ont déjà démontre la capacité des architectures VLA a généraliser sur des taches manipulatoires variées mais restent généralement limites a des comportements réactifs de courte durée. UniMem se positionne explicitement contre les architectures hiérarchiques a deux modèles, qu'il compare directement dans ses benchmarks matériels, avec seulement quatre taches physiques testées et des chiffres qui restent auto-rapportes par les auteurs. Le site du projet (losterberg3.github.io/unimem-vla) met a disposition les démonstrations vidéo associées; aucun calendrier de mise en open source du code ni partenariat industriel n'est communique a ce stade, le travail restant au niveau de la publication de recherche.

RechercheActu

1 source

4arXiv cs.RO

StateMem : mémoire résiduelle à état unique et inférence adaptative pour les modèles vision-langage-action

Publié le 22 septembre 2026 sur arXiv sous la référence 2609.22684, StateMem est un nouveau framework de mémoire pour les politiques vision-langage-action (VLA) utilisées en manipulation robotique. Plutôt que de s'appuyer sur des banques de mémoire externes comme celles de MemoryVLA, il maintient un unique token de mémoire persistant mis à jour par résidus de faible rang et route de façon adaptative les préfixes mis en cache, avec un contrôleur sans entraînement ajustant le seuil en ligne et une correction rapide compensant la dérive des données en cache. Sur le benchmark LIBERO, StateMem atteint 97,6% de réussite moyenne tout en réduisant de 20,25% la fréquence de rafraîchissement complet du préfixe du modèle vision-langage. Sur RoboMemArena, catégorie Occlusion, il devance les autres méthodes VLA isolées avec 21,8% de taux de succès par tâche et 44,3% de taux de succès cumulé, et gagne 21 points de réussite moyenne sur six tâches de manipulation réelle. L'enjeu est concret pour l'industrie: la manipulation robotique dépendante de la mémoire, où une action tardive doit exploiter une information vue plus tôt, comme un objet temporairement caché, reste un point faible des VLA qui ne regardent que l'observation courante. En évitant le stockage et la récupération explicites d'une mémoire externe, StateMem allège le pipeline d'inférence et réduit le calcul redondant, un critère décisif pour la latence et le coût de calcul embarqué en déploiement temps réel. Les gains en environnement d'occlusion sont particulièrement significatifs car ils ciblent l'écart entre démonstrations de laboratoire et conditions réelles d'usine ou d'entrepôt, où l'occlusion visuelle est fréquente. Le travail s'inscrit dans la lignée des politiques VLA qui cherchent à dépasser la réaction à l'instant présent pour intégrer un raisonnement temporel, en se positionnant comme alternative plus légère aux architectures à mémoire externe explicite telles que MemoryVLA. Les auteurs valident leur approche sur trois terrains complémentaires, la suite standardisée LIBERO, le benchmark récent RoboMemArena axé sur mémoire et occlusion, et des tâches réelles sur robot physique, limitant le risque de sur-optimisation à un seul environnement simulé. Déposé en pré-publication sans mention de licence commerciale ni de partenariat industriel, StateMem reste à ce stade une contribution de recherche dont l'adoption en production dépendra de sa reproduction indépendante.

RechercheActu

1 source