RecherchearXiv cs.RO 17 septembre 2026

rMuscle : mémoire musculaire robotique pour une inférence efficace des modèles vision-langage-action

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un preprint arXiv (2609.19104v1, septembre 2026) présente rMuscle, un framework d'inférence en temps réel pour les modèles Vision-Language-Action (VLA) qui pilotent des robots. Le système part d'un constat : dans un poste de travail structuré, les exécutions robotiques répétées montrent une forte similarité, non seulement dans les observations et les trajectoires d'action, mais aussi dans les états internes du modèle. rMuscle exploite cette redondance via un cache à double phase inspiré de la mémoire musculaire humaine : un Context Cache qui réutilise les tokens visuels déjà calculés, et un Action Cache qui réutilise les motifs d'activation des neurones pour réduire les accès aux poids du modèle, son coût restant limité par recalcul en ligne et récupération par fenêtre glissante. Testé sur GPU RTX 4090 et cartes embarquées Jetson Thor, sur les benchmarks de simulation LIBERO et RoboTwin ainsi que sur des tâches de manipulation physique réelle, il affiche une accélération de 1,29 à 1,42 fois sans dégrader les taux de réussite du modèle original.

L'enjeu est concret : la latence d'inférence détermine directement la réactivité et la fluidité des mouvements d'un robot, un facteur critique alors que les VLA s'imposent comme le paradigme dominant du contrôle robotique en usine. Les frameworks d'inférence généralistes ignorent pourtant la répétitivité propre aux tâches industrielles structurées, un angle mort que rMuscle attaque directement plutôt que de viser une accélération générique du calcul, ce qui concerne au premier chef les intégrateurs qui déploient des VLA sur du matériel embarqué à ressources limitées comme le Jetson Thor. Le point le plus significatif pour le secteur est que ce gain de vitesse ne dégrade pas le taux de réussite sur robot réel, une réponse directe au doute récurrent sur l'écart entre démonstrations en simulation et performance en conditions réelles. Il s'agit néanmoins d'un résultat de recherche publié en preprint, sans validation par les pairs ni intégration annoncée dans un produit commercial identifié.

Ce travail s'inscrit dans la course actuelle à l'optimisation de l'inférence des VLA, devenus le paradigme dominant à mesure que les tâches manuelles répétitives en usine s'imposent comme le scénario de déploiement le plus rentable pour l'IA incarnée. rMuscle se distingue des méthodes génériques de compression ou de quantification de modèles en misant sur la structure même du travail industriel répété poste par poste, sans que les auteurs précisent quels VLA spécifiques ont servi de base expérimentale ni de calendrier de publication du code. La suite logique, non confirmée par l'article, serait une adoption par des frameworks d'inférence robotique plus larges ou des tests sur d'autres plateformes matérielles au-delà du RTX 4090 et du Jetson Thor.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

StateMem : mémoire résiduelle à état unique et inférence adaptative pour les modèles vision-langage-action

Publié le 22 septembre 2026 sur arXiv sous la référence 2609.22684, StateMem est un nouveau framework de mémoire pour les politiques vision-langage-action (VLA) utilisées en manipulation robotique. Plutôt que de s'appuyer sur des banques de mémoire externes comme celles de MemoryVLA, il maintient un unique token de mémoire persistant mis à jour par résidus de faible rang et route de façon adaptative les préfixes mis en cache, avec un contrôleur sans entraînement ajustant le seuil en ligne et une correction rapide compensant la dérive des données en cache. Sur le benchmark LIBERO, StateMem atteint 97,6% de réussite moyenne tout en réduisant de 20,25% la fréquence de rafraîchissement complet du préfixe du modèle vision-langage. Sur RoboMemArena, catégorie Occlusion, il devance les autres méthodes VLA isolées avec 21,8% de taux de succès par tâche et 44,3% de taux de succès cumulé, et gagne 21 points de réussite moyenne sur six tâches de manipulation réelle. L'enjeu est concret pour l'industrie: la manipulation robotique dépendante de la mémoire, où une action tardive doit exploiter une information vue plus tôt, comme un objet temporairement caché, reste un point faible des VLA qui ne regardent que l'observation courante. En évitant le stockage et la récupération explicites d'une mémoire externe, StateMem allège le pipeline d'inférence et réduit le calcul redondant, un critère décisif pour la latence et le coût de calcul embarqué en déploiement temps réel. Les gains en environnement d'occlusion sont particulièrement significatifs car ils ciblent l'écart entre démonstrations de laboratoire et conditions réelles d'usine ou d'entrepôt, où l'occlusion visuelle est fréquente. Le travail s'inscrit dans la lignée des politiques VLA qui cherchent à dépasser la réaction à l'instant présent pour intégrer un raisonnement temporel, en se positionnant comme alternative plus légère aux architectures à mémoire externe explicite telles que MemoryVLA. Les auteurs valident leur approche sur trois terrains complémentaires, la suite standardisée LIBERO, le benchmark récent RoboMemArena axé sur mémoire et occlusion, et des tâches réelles sur robot physique, limitant le risque de sur-optimisation à un seul environnement simulé. Déposé en pré-publication sans mention de licence commerciale ni de partenariat industriel, StateMem reste à ce stade une contribution de recherche dont l'adoption en production dépendra de sa reproduction indépendante.

RechercheActu

1 source

2arXiv cs.RO

SimpleMemVLA : une mémoire vidéo native simple mais efficace pour les modèles vision-langage-action

Des chercheurs affiliés au laboratoire chinois OpenBMB publient sur arXiv (référence 2609.05533v2, version révisée) un système de mémoire pour modèles vision-langage-action (VLA) baptisé SimpleMemVLA, conçu pour la manipulation robotique sur des horizons longs, où l'information nécessaire à une décision a parfois été observée plusieurs minutes auparavant. Contrairement aux mécanismes existants tels que les bancs de récupération, les compresseurs appris ou les états récurrents, qui doivent choisir a priori quoi conserver du passé sans savoir ce qu'une future décision exigera, SimpleMemVLA se passe de tout module de mémoire dédié: il exploite directement le contexte vidéo natif du modèle de base, en gardant l'historique échantillonné intact au format vidéo horodaté pour lequel ce backbone a été pré-entraîné. Les indices pertinents sont acheminés vers une tête d'action par flow-matching via les états cachés d'une sous-tâche générée, et l'historique partagé entre décisions consécutives est pré-rempli pendant l'exécution, ce qui maintient une latence proche de celle d'un VLA mono-image. Le système atteint l'état de l'art sur quatre benchmarks de mémoire sans dégrader le contrôle général, et surpasse nettement, à backbone et entraînement identiques, les approches par récupération, compression et états récurrents. Sur un robot physique à deux bras, il mène à bien deux tâches dont l'indice décisif disparaît de la scène avant que le robot n'agisse. Le résultat remet en cause une hypothèse répandue dans la conception des VLA: qu'un historique de plusieurs minutes serait trop volumineux pour être traité tel quel, justifiant des architectures de mémoire dédiées et coûteuses à entraîner. En montrant qu'un backbone VLM moderne peut ingérer cet historique brut sans perte de latence notable, l'étude suggère qu'une partie du travail d'ingénierie mémoire spécialisée pourrait devenir superflue à mesure que les fenêtres de contexte s'élargissent, un peu comme dans les grands modèles de langage. Pour les intégrateurs et chercheurs en manipulation longue durée, cela ouvre une piste plus simple pour traiter des tâches où un repère visuel clé (étiquette, position d'un objet) doit être mémorisé bien avant d'être exploité. La validation reste toutefois circonscrite: les benchmarks sont vraisemblablement simulés et la démonstration physique se limite à deux tâches sur un seul robot bibras, loin d'un déploiement industriel. Le travail s'inscrit dans la lignée des recherches sur la mémoire des modèles VLA, qu'il compare explicitement aux approches par récupération, compression et états récurrents citées dans l'article. Aucun partenaire industriel, pilote ni calendrier commercial n'est annoncé: il s'agit d'une contribution académique dont le code est publié en accès libre sur GitHub, sous le dépôt OpenBMB/SimpleMemVLA, sans mention d'acteur français ou européen dans ce travail.

RechercheOpinion

1 source

3arXiv cs.RO

Dual mémoire latente dans les modèles vision-langage-action pour la manipulation robotique

Des chercheurs ont publié le 7 juillet 2026 sur arXiv (arXiv:2607.07608v1) un nouveau framework baptisé LaMem-VLA, conçu pour doter les modèles Vision-Language-Action (VLA) d'une mémoire native directement intégrée à leur espace latent de raisonnement. Aujourd'hui, la plupart des VLA prédisent une action à partir de la seule observation courante sous hypothèse markovienne, ce qui les rend peu efficaces sur les tâches longues et dépendantes du temps. LaMem-VLA repose sur quatre composants coordonnés: un "curator" qui organise l'expérience passée en deux coffres mémoire, court terme et long terme; un "seeker" qui interroge ces coffres via la cognition multimodale pour en extraire les preuves pertinentes au contexte; un "condenser" qui reconstruit ces preuves en tokens de mémoire latente compacts; et un "weaver" qui injecte ces tokens avec l'observation et l'instruction courantes dans une seule séquence d'embedding continue. Les auteurs rapportent une supériorité de leur approche sur les benchmarks SimplerEnv et LIBERO, deux références standard pour évaluer la manipulation robotique pilotée par VLA. L'enjeu dépasse la simple performance sur benchmark. Les VLA actuels, qu'ils s'appuient sur des architectures type Pi-0, GR00T N2 ou Helix, butent tous sur une mémoire de travail limitée à la fenêtre d'observation courante, ce qui les fragilise dès qu'une tâche exige de se souvenir d'une action antérieure, par exemple qu'un tiroir a déjà été ouvert. Les solutions existantes, élargir la fenêtre d'observation ou interroger une banque mémoire externe comme contexte auxiliaire, laissent cette mémoire hors de l'espace latent natif du modèle, limitant son intégration au raisonnement multimodal. En rendant la mémoire nativement latente, LaMem-VLA vise à réduire l'écart entre démonstrations courtes réussies en laboratoire et déploiements réels où les séquences de tâches s'étirent, un critère que surveillent de près les intégrateurs industriels évaluant la fiabilité des VLA au delà du simple "pick and place". Ce travail s'inscrit dans une vague de recherche sur la mémoire des VLA, alors que le secteur de la robotique humanoïde et généraliste, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, Figure avec Helix, cherche à dépasser les tâches courtes démontrées en vidéo pour viser des chaînes d'actions plus longues et industriellement exploitables. Classé "Announce Type: new" sur arXiv et non encore relu par les pairs, le papier ne mentionne aucun déploiement matériel ni partenariat industriel: il s'agit pour l'instant d'une contribution académique validée uniquement en simulation. Les suites attendues, classiques pour ce type de travaux, seraient une validation sur robot physique et une comparaison directe avec les architectures mémoire déjà explorées par les grands laboratoires de robotique généraliste.

RechercheActu

1 source

4arXiv cs.RO

Découpler vision, langage et action pour des politiques robotiques multitâches efficaces

Une équipe de recherche publie sur arXiv (2609.18374v1) une étude qui remet en question l'architecture standard des modèles Vision-Language-Action (VLA), lesquels associent un module d'action à un Vision-Language Model (VLM) de plusieurs milliards de paramètres dont le coût de calcul est payé à chaque pas de contrôle. Les auteurs testent une architecture découplée baptisée Decoupled Embodiment Model (DEM), combinant un encodeur visuel DINOv3 affiné, un encodeur de langage NeoBERT figé, et une tête d'action MeanFlow qui génère chaque segment d'action en un seul passage avant. Dans une expérience contrôlée, à démonstrations, budget d'entraînement, tâches et plateforme de mesure identiques, ce système est comparé à sept modèles VLA de référence, sur 18 tâches de manipulation simulées avec paraphrases linguistiques inédites et scènes randomisées, ainsi que sur trois tâches exécutées avec un robot physique. Résultat: DEM atteint un taux de réussite comparable aux meilleures politiques à backbone VLM, tout en tournant huit à dix-sept fois plus vite en fréquence d'inférence et en consommant six à quinze fois moins d'énergie par inférence. Pour les intégrateurs et les équipes robotique en entreprise, ce résultat pèse directement sur les décisions de déploiement: la latence et la consommation énergétique des VLA massifs limitent leur usage embarqué sur des robots à ressources de calcul contraintes, un frein bien identifié dans l'industrie humanoïde et la manipulation industrielle. En montrant qu'un encodeur vision autonome et un encodeur de langage encoder-only peuvent égaler la compréhension d'un grand VLM sur ces tâches, l'étude questionne l'hypothèse selon laquelle un backbone VLM géant serait indispensable pour obtenir une politique de manipulation multi-tâches performante. Cela ouvre la voie à des politiques moins coûteuses à opérer en production, un argument utile face au décalage régulièrement observé entre démonstrations spectaculaires et robustesse réelle sur le terrain. Les auteurs restent prudents: le gain est mesuré "dans ce périmètre de tâches" et selon leur propre protocole d'évaluation, pas comme une généralisation universelle. Cette publication s'inscrit dans une trajectoire de recherche où la tendance dominante des dernières années consistait à empiler des backbones VLM toujours plus lourds pour gagner en généralisation des politiques robotiques. Le papier renverse partiellement cette logique en s'appuyant sur les progrès récents des encodeurs autonomes, DINOv3 pour la vision et NeoBERT pour le texte, désormais capables de rivaliser avec de grands VLM sur les benchmarks d'embedding visuel et de compréhension du langage. L'étude ne détaille pas précisément l'identité des sept baselines VLA testées ni des tâches réalisées sur robot physique, et ne mentionne aucun calendrier de déploiement industriel: il s'agit à ce stade d'un travail de recherche académique publié en preprint, sans partenaire industriel ni essai pilote annoncés. La suite logique attendue serait une validation sur un plus grand nombre de tâches réelles et une comparaison directe avec les politiques VLA propriétaires déjà déployées commercialement par les acteurs humanoïdes du secteur.

UELes intégrateurs européens de robotique industrielle pourraient s'appuyer sur des politiques VLA moins coûteuses en calcul et en énergie pour des déploiements embarqués, mais aucun acteur ou institution française/européenne n'est cité dans l'étude.

RecherchePaper

1 source