RecherchearXiv cs.RO 17 juillet 2026

DiMaS : mise en correspondance des distributions pour piloter les modèles vision-langage-action

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent DiMaS (Distribution-Matching Steering), une méthode pour orienter finement le comportement des modèles vision-langage-action (VLA) bases sur le flow matching, sans reentrainement complet. Publie sur arXiv sous la référence 2607.14280, le travail s'attaque a un manque identifie dans le contrôle comportemental fin des robots: la capacité d'intervenir directement sur les représentations internes d'un modèle pour modifier la manière dont il execute une tache. Le "représentation steering" est un outil déjà bien établi en interpretabilite pour les grands modèles de langage et les modèles vision-langage, ou les traits comportementaux s'encodent généralement comme des directions linéaires dans l'espace latent. Les auteurs montrent que ces méthodes classiques échouent sur les VLA. DiMaS remplace le simple décalage le long d'une direction fixe par un transport entre distributions de représentations, et l'équipe démontre son efficacité sur deux VLA de pointe non nommes dans le résume. Elle etudie aussi la généralisation de la méthode a mesure que les taches d'apprentissage et d'évaluation divergent, en cartographiant ou le contrôle comportemental se transféré et ou il s'affaiblit. Code et résultats, avec des vidéos de démonstration, sont disponibles publiquement sur GitHub (pegah-kh/dimas) et sur une page projet dédiée.

Pour les équipes qui développent ou intègrent des politiques robotiques génératives, cette avancée ouvre une piste de personnalisation fine et peu couteuse: ajuster un comportement (prudence, vitesse d'exécution, style de préhension) sans reentrainer le modèle complet. L'apport le plus significatif est cependant diagnostique. En montrant que les traits comportementaux de l'"action expert", le module qui génère les trajectoires du robot, sont linéairement decodables mais pas linéairement pilotables, l'étude remet en question une hypothèse importée telle quelle des LLM: qu'un concept identifiable linéairement peut aussi être manipule linéairement. Une nuance utile face a l'engouement actuel pour les VLA généralistes dans la lignée de Pi-0 ou GR00T N2, ou expliquer une décision robotique ne garantit pas la capacité a la corriger simplement.

Ces travaux s'inscrivent dans la montée en puissance des politiques VLA a base de flow matching pour la manipulation, une famille de modèles qui a progressivement supplante des architectures de clonage comportemental plus rigides. Le champ de l'interpretabilite dont s'inspirent les auteurs est bien documente cote texte et vision, avec des méthodes de steering déjà utilisées pour orienter le ton ou la sécurité des grands modèles de langage; DiMaS transpose cette logique au domaine visuomoteur, ou elle n'avait pas encore été validée rigoureusement. Aucun acteur français ou européen de la robotique (Wandercraft, Pollen Robotics, Enchanted Tools) n'est implique: il s'agit d'un travail de recherche fondamentale, pas d'une annonce produit. Les auteurs annoncent vouloir étendre l'étude de généralisation a des taches encore plus éloignées, pour mieux cerner les limites du transfert comportemental entre contextes.

Dans nos dossiers

Wandercraft Enchanted Tools — Mirokaï Pollen Robotics — Reachy IA physique & VLA

À lire aussi

1arXiv cs.RO

VLAff : un modèle vision-langage-affordance unifié pour les capacités d'action

Une publication arXiv soumise en août 2026 présente VLAff, un modèle vision-langage-affordance conçu pour apprendre aux robots à manipuler des objets à partir de vidéos humaines filmées à la première personne. Le verrou visé est connu du secteur : la morphologie d'un bras robotique diffère de celle d'une main humaine, ce qui complique le transfert direct des gestes observés. Les auteurs contournent l'obstacle en extrayant des affordances centrées sur l'objet, indépendantes de la morphologie du robot, qui précisent où interagir, comment saisir et comment déplacer. La méthode combine reconstruction 3D par Structure-from-Motion et reconstruction de maillage de la main sur des vidéos égocentriques, appliquée à un nouveau jeu de données, EgoAffordance, comptant 204 000 épisodes, 5,6 millions d'affordances visuelles et 11,6 millions d'affordances de préhension et de trajectoire. Entraîné sur cette base, VLAff génère, à partir d'une observation et d'une instruction, des cartes de chaleur d'affordance, des poses de préhension et des trajectoires, converties en actions exécutables via les informations de scène 3D. Ce travail s'inscrit dans une tendance de fond de la robotique manipulative : exploiter la masse de vidéos humaines disponibles en ligne pour pallier la rareté et le coût des données de téléopération robotique. Si l'état de l'art revendiqué en prédiction d'affordance visuelle se confirme au-delà des bancs d'essai internes des auteurs, la méthode ouvrirait une source de données bon marché pour les modèles vision-langage-action que développent des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure AI (Helix), tous engagés dans la course aux modèles fondation génériques pour la manipulation. Un bémol s'impose toutefois : les résultats sont pour l'instant mesurés en interne, sans comparaison indépendante publiée, et les démonstrations de manipulation zero-shot sur robot réel restent, d'après le résumé, cantonnées à des scénarios de laboratoire plutôt qu'à un déploiement industriel. La recherche sur les affordances actionnables, où et comment interagir avec un objet, est un axe actif de la robotique et de la vision par ordinateur depuis plusieurs années, mais les travaux antérieurs se limitaient souvent à une seule modalité ou à des jeux de données restreints tournés en environnement contrôlé. L'apport revendiqué par VLAff est d'unifier trois modalités, visuelle, préhension et trajectoire, dans un seul modèle fondation entraîné sur des vidéos égocentriques du quotidien plutôt que sur des démonstrations robotiques dédiées et coûteuses. Le papier ne précise ni affiliation institutionnelle ni calendrier de publication du code ou du jeu de données : il s'agit à ce stade d'une contribution académique, non d'un produit ou d'un pilote industriel annoncé, dont la suite logique serait la publication du code pour permettre à la communauté de reproduire les résultats.

RechercheOpinion

1 source

2arXiv cs.RO

Positionnels aveugles : détecter et corriger les angles morts des modèles vision-langage-action

Les modèles Vision-Language-Action (VLA), utilisés pour la manipulation robotique, sont généralement évalués par un taux de réussite agrégé sur des configurations d'objets prédéfinies, une méthode qui suppose implicitement une compétence uniforme sur tout l'espace de travail. Une équipe de recherche montre que cette hypothèse est fausse : même en gardant l'instruction et tous les autres paramètres de la scène identiques, le simple déplacement d'un objet distracteur sans rapport avec la tâche peut faire grimper brutalement le taux d'échec dans des zones localisées et spatialement cohérentes, baptisées "Positional Blind Spots" (PBS, angles morts positionnels). Les chercheurs proposent un cadre en deux étapes, en boîte noire : d'abord un quadrillage de l'espace de travail combiné à un test du rapport de vraisemblance unilatéral pour localiser les cellules à risque élevé, puis un fine-tuning ciblé par LoRA sur des démonstrations collectées dans ces zones. Testé sur cinq politiques VLA de référence et deux benchmarks, le framework révèle des angles morts systématiques, avec des taux d'échec atteignant 0,58 dans certaines cellules. Leur stratégie de recherche atteint un F1-score de 0,678, contre une recherche aléatoire (+0,268) et un échantillonnage adaptatif (+0,178). Le fine-tuning ciblé réduit ensuite le taux d'échec global de 40,00 % à 85,19 %. Ce résultat interroge une pratique d'évaluation largement admise dans le secteur : un taux de réussite agrégé peut masquer des faiblesses spatiales très concentrées, dangereuses en usage réel où la position des objets varie constamment. Pour un intégrateur ou un ingénieur déployant un bras robotique piloté par VLA en entrepôt ou en usine, cela signifie qu'un score de succès global ne garantit rien sur la fiabilité à un endroit précis du poste de travail, et qu'un audit spatial devient nécessaire avant mise en production. C'est aussi un rappel que le "sim-to-real solved" claim de certains labos VLA reste à nuancer : la généralisation spatiale, même sur des tâches simples, n'est pas acquise. Le papier (arXiv:2608.01573v1) s'inscrit dans la vague récente de modèles VLA généralistes (RT-2, OpenVLA, Pi-0, GR00T N2, Helix) évalués presque exclusivement par taux de succès global. Aucun acteur français ou européen n'est cité dans cette étude académique. La méthode se positionne comme un outil de diagnostic et de correction ciblée, potentiellement intégrable en amont du déploiement industriel plutôt que comme un nouveau modèle concurrent.

RecherchePaper

1 source

3arXiv cs.RO

LIRA : routage local d'informations inter-couches pour le décodage des modèles vision-langage-action

Des chercheurs présentent LIRA (Local cross-layer Information Routing for Action decoding), un nouveau mécanisme de connexion entre les modèles vision-langage (VLM) preentraines et les décodeurs d'action robotique au sein des architectures Vision-Language-Action (VLA), décrit dans un article publie sur arXiv en aout 2026 (arXiv:2608.07596v1). Le problème cible: les interfaces existantes n'exploitent qu'une partie restreinte de la hiérarchie de représentations du VLM, ou associent rigidement chaque bloc du décodeur a une seule couche du VLM, limitant l'accès a des indices de tache complémentaires selon la profondeur du réseau. LIRA travaille sur des features de task-tokens et des "LIRA Query features" extraites d'états intermédiaires du VLM, puis attribue a chaque Parallel Fusion Block une fenêtre locale centrée sur la couche VLM correspondante, sans modifier le backbone, le décodeur ni la recette d'entrainement. Teste sur les benchmarks LIBERO, LIBERO-Plus, CALVIN ABC vers D et sur des taches de manipulation réelle, LIRA surpasse la baseline VLA-Adapter a configuration identique de 0,5 milliard de paramètres, avec un gain de 18,9 points en transfert zero-shot sur LIBERO-Plus, ou le taux de succès moyen passe de 59,1% a 78,0%. Ce résultat cible un maillon jusque-la peu étudie des architectures VLA, l'interface de routage entre VLM et décodeur d'action, souvent traitée comme un détail d'implémentation face aux choix de backbone ou de données d'entrainement. En montrant qu'un routage plus fin de l'information, sans toucher au reste du pipeline, améliore nettement la robustesse aux changements de distribution, l'étude suggère que la généralisation des modèles VLA ne dépend pas seulement de leur taille ou du volume de données, mais aussi de la circulation de l'information entre couches. Pour les équipes qui construisent des politiques robotiques sur des VLM preentraines, ce travail pointe une optimisation peu couteuse, sans collecte de données supplémentaire ni refonte d'architecture, un argument utile pour fiabiliser des politiques VLA sur du matériel a calcul embarque limite. L'article s'inscrit dans la lignée des travaux récents sur les modèles VLA, popularises par des systèmes comme Pi-0 ou OpenVLA, qui transforment des représentations de VLM preentraines en commandes motrices pour bras manipulateurs ou robots mobiles. LIRA est positionne comme une amélioration directe de VLA-Adapter, pris comme référence de comparaison plutôt que concurrent indépendant. L'évaluation combine bancs d'essai en simulation, LIBERO, LIBERO-Plus et CALVIN en transfert ABC vers D, et manipulation réelle, une combinaison classique pour distinguer performance en distribution et robustesse hors distribution. L'article ne mentionne ni calendrier de publication de code ni partenariat industriel: il s'agit pour l'instant d'une contribution académique.

RechercheActu

1 source

4arXiv cs.RO

Modèles vision-langage-action : superviser les VLA au-delà des actions physiques

Une équipe de recherche propose UVT (Unified Visuomotor Target), une méthode d'entraînement pour les modèles vision-langage-action (VLA), détaillée dans un article déposé sur arXiv en août 2026 (2608.03563v1). Le point de départ : les VLA sont entraînés à prédire directement des commandes moteur bas niveau à partir d'observations visuelles et de langage, alors que les modèles vision-langage sous-jacents encodent des représentations riches et de haut niveau des scènes et des objectifs, un décalage qui freine l'apprentissage. UVT introduit une cible latente unique encodant conjointement le contrôle moteur et la transition visuelle de la scène, sans modifier l'architecture ni ajouter de données. Testée sur deux systèmes VLA représentatifs, en simulation comme sur des tâches réelles de manipulation bimanuelle, elle améliore l'efficacité d'entraînement, la performance finale et la robustesse de la politique, avec des gains marqués sous budget d'entraînement limité ou en conditions difficiles. Pour l'industrie robotique, ce travail touche un point de friction bien identifié : la difficulté à obtenir des politiques VLA robustes sans volumes massifs de démonstrations téléopérées, coûteuses à collecter. En montrant qu'un simple changement de cible d'entraînement, sans toucher à l'architecture ni au volume de données, améliore l'efficacité et la robustesse, UVT s'inscrit dans une tendance cherchant à mieux exploiter l'information déjà présente dans les modèles vision-langage préentraînés plutôt que d'empiler paramètres ou données. Pour les équipes qui entraînent leurs propres politiques (laboratoires, intégrateurs, startups humanoïdes), c'est un levier peu coûteux à tester. Les résultats restent toutefois obtenus sur benchmarks et tâches de manipulation en conditions contrôlées ; leur généralisation à des environnements industriels variés et à d'autres familles de VLA n'est pas démontrée. L'article s'inscrit dans la vague de recherche VLA ouverte par des systèmes comme RT-2, OpenVLA, Pi-0 ou GR00T, qui adaptent des modèles vision-langage préentraînés à la prédiction d'actions robotiques. L'essentiel des travaux récents porte sur l'échelle des données ou sur l'architecture (tokenisation des actions, diffusion, mélange d'experts) ; UVT prend le contre-pied en questionnant la cible de supervision elle-même, tout en restant compatible avec les architectures VLA existantes, ce qui facilite en théorie son adoption. La publication ne mentionne aucun partenariat industriel ni déploiement au-delà des tests de laboratoire. Il s'agit pour l'instant d'une contribution méthodologique dont l'impact dépendra de sa reproduction sur d'autres jeux de données et d'autres plateformes robotiques, humanoïdes comprises.

RecherchePaper

1 source