RecherchearXiv cs.RO 25 août 2026

La modélisation Mamba à espace d'états sélectif améliore le compromis précision-complexité des experts VLA de SmolVLA

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont mis en ligne le 25 août 2026 un article arXiv (2608.21407v1) proposant de remplacer l'attention causale de l'expert d'action du modèle SmolVLA par une modélisation d'espace d'état sélectif de type Mamba. SmolVLA est un modèle vision-langage-action (VLA) de référence, réputé pour sa précision élevée à faible complexité de calcul. Les deux variantes, Mamba et Transformer, ont été évaluées sur la suite de benchmarks LIBERO selon trois horizons d'exécution avant replanification: N=1, N=25 et N=50 actions, correspondant respectivement à une complexité de calcul élevée, modérée et faible. À N=50, horizon jugé compatible avec un déploiement temps réel, l'expert Mamba dépasse le Transformer de 7,8 points de taux de réussite. À N=25, l'écart est de 3,7 points. À N=1, avec une replanification à chaque action, les deux variantes obtiennent un taux de réussite équivalent, mais Mamba réduit le nombre de paramètres du modèle de 24%.

Le compromis entre précision et fréquence d'appel du modèle est un frein central au déploiement industriel des VLA: replanifier à chaque action donne le meilleur contrôle mais génère une latence incompatible avec le temps réel, tandis qu'espacer les replanifications allège le calcul au prix d'une fiabilité dégradée. Ce résultat montre qu'un changement d'architecture au niveau de l'expert d'action, sans toucher aux données d'entraînement ni à la taille globale du modèle, peut atténuer cette dégradation sur les horizons longs. Pour les intégrateurs robotiques qui doivent faire tourner ces politiques sur du calcul embarqué à ressources limitées, cela ouvre une piste concrète pour rapprocher les VLA d'un fonctionnement en cadence réelle, plutôt que de rester cantonnés à des démonstrations en laboratoire à faible vitesse d'exécution.

SmolVLA, développé par Hugging Face, sert de modèle de référence léger et ouvert dans la famille des VLA, aux côtés d'architectures plus lourdes comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, ces dernières associées à des plateformes comme Figure 03 ou Optimus. Mamba, architecture d'espace d'état sélectif conçue comme alternative moins coûteuse à l'attention pour le traitement séquentiel, avait déjà fait ses preuves en traitement du langage; son application à l'expert d'action d'un VLA reste un axe de recherche récent. Les auteurs positionnent leurs résultats comme une base à valider au-delà du benchmark simulé LIBERO, sur des tâches robotiques réelles et sur d'autres modèles VLA de plus grande taille.

Impact France/UE

SmolVLA, modèle ouvert développe par Hugging Face (fortement implante a Paris), sert de référence pour les intégrateurs robotiques européens a ressources de calcul limitées, qui pourraient bénéficier de cet allègement architectural.

Dans nos dossiers

Figure IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Le contact comme variable de décision : sélection de contacts par compromis de capacité pour la loco-manipulation des robots à pattes

Un article soumis le 25 septembre 2026 sur arXiv (2609.30140) présente CTCS (Capability-Tradeoff Contact Selection), une méthode qui choisit conjointement, pour une tâche de loco-manipulation donnée, un point d'appui environnemental et une posture corps entier. Pour chaque contact candidat, elle évalue trois mesures, le wrench résiduel (force et couple restants), la portée de l'effecteur terminal et la mobilité de la base une fois la tâche satisfaite, et les compare au coût d'acquisition du contact. Plutôt que d'exécuter une optimisation corps entier complète pour chaque candidat, coûteuse en calcul, CTCS filtre les points faisables, regroupe les candidats similaires par surface, prédit leurs capacités par analyse de sensibilité locale, puis vérifie et classe un sous-ensemble restreint avant la décision finale. Elle a été validée en simulation et sur un quadrupède Unitree Go2 équipé d'un bras AgileX NERO, sur 392 conditions de tâche et neuf surfaces d'appui disponibles. CTCS surpasse une stratégie limitée au sol et une stratégie de contact fixe, en sélectionnant les surfaces offrant le meilleur compromis selon la tâche, avec un temps de calcul divisé par environ trois par rapport à une évaluation exhaustive, pour un objectif moyen quasi identique. Pour les intégrateurs de robots à pattes destinés aux chantiers, entrepôts ou sites industriels, ce résultat s'attaque à un verrou concret: le choix de où et comment un robot s'appuie sur son environnement reste rarement optimisé faute de budget de calcul suffisant. L'étude ouvre la voie à une planification de contact quasi temps réel, condition nécessaire pour des robots capables de manipuler en s'appuyant sur des surfaces variées plutôt que de rester cantonnés au sol. Le travail s'inscrit dans la recherche en planification de contact pour la loco-manipulation, domaine où les approches se limitaient jusqu'ici au seul contact au sol ou à des points fixés à l'avance, faute de méthode pour arbitrer entre plusieurs surfaces. Le choix d'un Unitree Go2 couplé à un bras AgileX NERO reflète une plateforme de recherche de laboratoire, non un système commercial en déploiement. Classé nouvelle soumission arXiv, sans partenariat industriel ni feuille de route annoncée, l'article constitue une contribution algorithmique dont la suite logique serait l'extension à des morphologies plus complexes, comme des humanoïdes à deux bras, ou à des environnements moins structurés que les neuf surfaces testées.

RecherchePaper

1 source

2arXiv cs.RO

Mamba Policy : vers une politique de diffusion 3D efficace avec des modèles à états sélectifs hybrides

Une équipe de recherche présente Mamba Policy, une nouvelle architecture pour piloter des robots manipulateurs en 3D, décrite dans une version mise à jour de l'article arXiv:2409.07163. Les modèles de diffusion sont devenus une méthode de référence pour apprendre à prédire des trajectoires d'action en manipulation robotique, mais ils s'appuient généralement sur de lourds réseaux UNet comme backbone, difficiles à faire tourner sur du matériel contraint en ressources, comme l'électronique embarquée d'un bras robotique. Les auteurs remplacent une partie de cette architecture par des blocs Mamba, un type de modèle à état sélectif réputé pour sa faible complexité de calcul en modélisation de séquences. Le résultat, baptisé Mamba Policy, réduit le nombre de paramètres de plus de 80 % par rapport au réseau de politique original, tout en obtenant de meilleures performances. La brique technique centrale, le XMamba Block, combine les informations d'entrée avec des caractéristiques conditionnelles en mélangeant mécanismes Mamba et attention pour une extraction de features plus fine. Pour l'industrie robotique et les équipes de recherche en manipulation, ce travail répond à une contrainte très concrète: les politiques de diffusion actuelles, aussi précises soient-elles, restent souvent trop volumineuses pour un déploiement embarqué en temps réel. Diviser le coût de calcul par cinq tout en gagnant en performance ouvre la voie à des politiques d'action utilisables sur des contrôleurs moins puissants, un enjeu clé pour les intégrateurs qui veulent sortir la manipulation robotique du laboratoire. Les auteurs mettent aussi en avant une meilleure robustesse sur les tâches à long horizon, un point faible connu des méthodes de diffusion classiques. Ce travail s'inscrit dans la vague plus large de modèles Mamba, apparus récemment comme alternative crédible aux architectures Transformer pour le traitement de séquences longues avec moins de calcul. Les expériences ont été menées sur les bancs d'essai académiques Adroit, Dexart et MetaWorld, avec plusieurs variantes de Mamba testées au sein du framework, et complétées par des essais en conditions réelles pour valider les résultats hors simulation. Le code et les détails du projet sont publiés en open source.

RecherchePaper

1 source

3arXiv cs.RO

Unifier l'apprentissage de politiques et la prédiction d'états grâce à la modélisation spatiale du langage

Des chercheurs proposent, dans un preprint arXiv (2610.12172), le « Spatial Language Modeling », une approche qui fait apprendre à un seul Transformer autorégressif à la fois la génération d'actions et la prédiction des états futurs d'une scène. Le principe consiste à représenter les contours de la scène, les objectifs, les cibles d'action et les états futurs avec un vocabulaire commun de coordonnées discrètes et de tokens sémantiques. Une grammaire propre à chaque tâche organise ces éléments en séquences spatiales, de sorte qu'un même objectif de prédiction du token suivant couvre le contrôle et la modélisation de l'état. Le modèle est entraîné de zéro en deux temps : un pré-entraînement sur des transitions issues de jeu aléatoire, puis un entraînement conjoint actions et états sur des démonstrations expertes. Pendant le pré-entraînement, les coordonnées d'action enregistrées servent de condition aux prédictions d'état suivantes, mais sont exclues de la perte. En phase de contrôle, le modèle ne décode que les cibles d'action exécutables et met à jour son historique avec les états réellement observés. L'évaluation porte sur la tâche Push-T, en simulation et sur un robot réel. Les auteurs annoncent des performances compétitives en simulation, et un taux de réussite ainsi qu'une couverture de la cible supérieurs à ceux des politiques de référence testées sur robot réel. Pour les équipes qui travaillent sur les politiques de manipulation, l'intérêt tient à la supervision complémentaire apportée par l'apprentissage des effets géométriques des actions. Les ablations indiquent que l'entraînement sur des séquences conjointes action-état améliore le contrôle, et que le pré-entraînement sur du jeu aléatoire apporte un gain supplémentaire. Ce dernier point est pertinent en pratique : ces données sont bon marché à collecter, sans téléopérateur expert. Le même modèle, alimenté avec des trajectoires d'actions fournies, prédit aussi les états successifs de la scène et reproduit les effets du poussage. Il joue donc à la fois le rôle de politique et de modèle du monde léger. Il faut toutefois rester prudent sur la portée de ces résultats. Push-T est un benchmark de poussage planaire d'un objet en forme de T, relativement simple, et le texte ne chiffre pas, dans son résumé, l'écart avec les baselines ni la taille de l'échantillon d'essais réels. La généralisation à des tâches à contacts riches, à de la 3D ou à des préhenseurs multi-doigts reste à démontrer, de même que le passage à l'échelle d'un vocabulaire de coordonnées discrètes. Ce travail s'inscrit dans un mouvement plus large visant à unifier perception, action et prédiction dans des architectures de type langage. Il se distingue des approches VLA (vision-langage-action) dominantes, qui reposent sur de grands modèles pré-entraînés, par un entraînement de zéro, sans pré-entraînement web, et par une représentation entièrement spatiale. Parmi les références habituelles de Push-T figurent les politiques de diffusion, qui servent souvent de base de comparaison, ainsi que les modèles du monde appris pour la planification. Le résumé ne précise ni l'équipe, ni le code, ni d'éventuelles extensions annoncées. Il s'agit à ce stade d'un preprint non évalué par des pairs, sans déploiement industriel associé. La suite logique sera de tester la méthode sur des tâches plus longues, sur des scènes 3D et sur des manipulations avec contacts complexes.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Modélisation du seuil de différence perceptible pour la compression de tokens dans les modèles vision-langage-action

Des chercheurs publient sur arXiv (2608.21247, catégorie cross-list, 24 août 2026) une méthode baptisée Action-JND pour la compression de tokens dans les modèles vision-langage-action (VLA). Le principe consiste à adapter le concept de "just noticeable différence" (JND), issu de la caractérisation de la tolérance du système visuel humain aux signaux, au contrôle robotique en boucle fermée : un token ne doit être compressé que si sa modification n'entraîne pas de déviation d'action au-delà d'une marge tolérée par la politique. Les auteurs développent un estimateur JND léger, calculé token par token dans l'espace de features visuelles profondes, qui prédit la perturbation maximale admissible sans dégrader la réponse du modèle. Ce score de tolérance d'action sert ensuite de critère plug-and-play pour prioriser les tokens à compresser dans des techniques existantes comme la réutilisation de KV-cache périmé ("stale-KV reuse") ou l'élagage de tokens ("token pruning"). Testée sur le benchmark de simulation LIBERO avec les modèles open-source OpenVLA et OpenVLA-OFT, la méthode améliore la fiabilité de la compression, en particulier aux ratios les plus agressifs. Pour les équipes travaillant sur des VLA embarqués, réduire le coût d'inférence est un enjeu direct puisque la latence conditionne la viabilité d'un contrôle robotique temps réel en boucle fermée. Les critères de compression habituels (similarité visuelle, scores d'attention, saillance) mesurent la redondance perceptuelle mais ignorent l'effet réel sur l'action produite, ce qui peut faire dévier une politique sans avertissement en cas de compression trop agressive. En rattachant explicitement le critère de compression à la réponse d'action plutôt qu'à la perception, Action-JND vise à sécuriser des déploiements VLA à budget de calcul réduit, un sujet central pour l'embarqué robotique. Il s'agit toutefois d'une contribution méthodologique validée uniquement en simulation, et non d'un produit ou d'un déploiement terrain. Le travail prolonge les techniques de compression de tokens popularisées sur les grands modèles vision-langage, désormais transposées aux agents incarnés pilotés par des politiques VLA comme OpenVLA, l'un des modèles open-source de référence pour le contrôle robotique par langage naturel, aux côtés d'autres familles telles que Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. Le concept de JND, historiquement développé pour la perception humaine, avait déjà été étendu aux réponses de systèmes machine avant cette extension à l'action robotique. Les auteurs positionnent Action-JND comme complémentaire des schémas de compression existants plutôt que comme une alternative, applicable en amont du pruning ou du stale-KV reuse. Aucun calendrier de déploiement industriel ni partenariat n'est mentionné : l'apport reste, à ce stade, une preuve de concept académique sur benchmark simulé.

RecherchePaper

1 source