Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
LaMP : apprentissage d'une politique vision-langage-action avec flux de scène 3D comme a priori de mouvement latent
RecherchearXiv cs.RO 

LaMP : apprentissage d'une politique vision-langage-action avec flux de scène 3D comme a priori de mouvement latent

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent LaMP, un framework de manipulation robotique combinant deux modules experts. Le premier, le "Motion Expert", génère en une seule étape un flux de scene 3D partiellement debruite via une méthode de flow-matching; ses états caches conditionnent ensuite un second module, l'"Action Expert", charge de prédire les actions du robot, via une attention croisée filtrée. Contrairement aux VLA classiques qui déduisent les actions directement de features visuelles 2D, LaMP intègre ainsi un a priori de mouvement 3D explicite sans reconstruction complète multi-étapes. Le système a été évalué sur les bancs d'essai de simulation LIBERO, LIBERO-Plus et SimplerEnv-WidowX, ainsi que sur des expériences réelles. Selon les auteurs, LaMP dépasse systématiquement les références VLA testées, avec les meilleurs taux de réussite moyens a budget d'entrainement égal, et un gain moyen de 9,7% de robustesse sur les perturbations hors distribution de LIBERO-Plus par rapport a la meilleure référence existante.

Ce travail cible un point faible connu des politiques VLA: leur difficulté a généraliser a des dynamiques spatiales non vues pendant l'entrainement, un écart souvent qualifie de "sim-to-real" ou de "demo vs reality gap". En forçant les modèles a apprendre implicitement la physique 3D a partir de simples features 2D, les architectures actuelles, dans la lignée de RT-2, Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, restent fragiles des que l'environnement s'écarté du jeu d'entrainement. Pour les intégrateurs et décideurs B2B, la robustesse hors distribution sépare une démonstration convaincante d'un déploiement industriel fiable: c'est souvent le vrai goulot d'étranglement, plus que la réussite brute sur des taches déjà vues.

Le papier, publie sur arXiv en version 2, s'inscrit dans un débat plus large sur la meilleure façon d'injecter des priors physiques 3D dans des backbones visuels pré-entraines en 2D, face a des alternatives comme les nuages de points ou les politiques de diffusion conditionnées par la profondeur. Il s'agit d'une contribution académique, sans affiliation industrielle affichée ni indication de déploiement au-delà des benchmarks; les prochaines étapes attendues concernent le passage a l'échelle en conditions réelles et une comparaison directe avec des politiques VLA déjà commercialisées comme Pi-0 ou GR00T N2.

Dans nos dossiers

FigureIA physique & VLANVIDIA GR00TPhysical Intelligence — π0

À lire aussi

LAMP : apprentissage guidé par un a priori de mouvement latent pour la manipulation dextérique en conditions réelles
1arXiv cs.RO 

LAMP : apprentissage guidé par un a priori de mouvement latent pour la manipulation dextérique en conditions réelles

Les chercheurs à l'origine de LAMP (Latent Motion Prior-Guided Real-World Learning) proposent une méthode d'apprentissage en trois étapes pour piloter des mains robotiques dexterous directement dans le monde réel, sans passer par la simulation. Le système commence par pré-entraîner un module de "prior de mouvement latent", qui compresse l'historique récent des actions de la main en une représentation compacte et décodable en commandes exécutables à haute dimension. Une politique visuomotrice est ensuite entraînée pour prédire à la fois les commandes natives du bras et des corrections latentes pour la main, avant d'être affinée par apprentissage par renforcement (RL) résiduel en ligne, directement sur le robot physique. Testée sur quatre tâches réelles de manipulation dexterous, la méthode atteint un taux de réussite moyen de 56,25% après la seule phase d'imitation, porté à 98,75% après le RL en ligne, avec 100% de réussite sur trois des quatre tâches et 95% sur la dernière. L'enjeu dépasse la simple performance chiffrée: l'apprentissage de mains robotiques à haute dimensionnalité (nombreux degrés de liberté par doigt) est historiquement instable, car la moindre erreur d'imitation s'amplifie et pousse l'exploration par renforcement à casser le contact avec l'objet manipulé, un risque direct pour du matériel physique coûteux. En contraignant l'exploration RL à rester proche de mouvements démontrés et cohérents en termes de contact, plutôt que de perturber chaque articulation indépendamment, LAMP répond à un vrai goulot d'étranglement pour les intégrateurs qui veulent déployer de la manipulation fine (préhension d'objets fragiles, assemblage) sans multiplier les cycles de simulation coûteux ni les casses de vérins. Le travail s'inscrit dans la lignée des approches hybrides imitation + RL déjà explorées pour la robotique, mais cible spécifiquement l'espace d'action des mains dexterous, comparé ici à des interfaces d'action brutes, linéaires et discrètes, que LAMP surpasse selon les auteurs. Publié sur arXiv début juillet 2026, ce travail reste à ce stade une contribution de recherche académique, sans acteur industriel ni date de commercialisation annoncée; sa validation sur davantage de tâches et de plateformes matérielles reste l'étape logique suivante.

RecherchePaper
1 source
Modèle du monde critique pour l'apprentissage par renforcement vision-langage-action (WCM)
2arXiv cs.RO 

Modèle du monde critique pour l'apprentissage par renforcement vision-langage-action (WCM)

Des chercheurs ont publié fin juillet 2026 un article arXiv (2607.29613) présentant le World Critic Model (WCM), une nouvelle architecture pour l'apprentissage par renforcement (RL) appliqué aux modèles Vision-Language-Action (VLA) utilisés en manipulation robotique. Le problème ciblé est celui des méthodes RL à base de critique, qui évaluent la valeur d'une action à partir d'une seule image ou d'un seul instant du flux visuel, un choix mal adapté au contrôle robotique où l'observation est par nature partielle et séquentielle. Bâti sur une architecture légère dérivée de LeJEPA, WCM prédit conjointement l'état latent futur de la scène et estime la valeur de l'action, ce qui force le critique à apprendre la dynamique temporelle plutôt qu'à simplement régresser un score. Le système s'intègre aux pipelines on-policy et off-policy et fonctionne avec les backbones VLA de référence Pi0, Pi0.5 et OpenVLA-OFT. Les auteurs rapportent des résultats état de l'art sur 149 tâches réparties sur quatre benchmarks, avec des gains marqués en généralisation hors distribution, ainsi qu'une validation sur sept tâches de manipulation réelles combinant OpenVLA-OFT et Pi0.5 en RL off-policy. L'enjeu dépasse la seule performance chiffrée: le RL post-entraînement des modèles VLA est aujourd'hui l'un des leviers les plus regardés pour fiabiliser les politiques robotiques au-delà de l'imitation pure, mais les critiques scalaires classiques peinent justement là où le contrôle réel exige de la mémoire et de l'anticipation. Si les gains de généralisation se confirment en dehors du cadre des benchmarks académiques, WCM pourrait devenir un composant standard pour les équipes qui affinent des VLA en production plutôt qu'une simple curiosité de laboratoire, en particulier pour les intégrateurs qui cherchent à réduire l'écart entre démonstration en simulation et déploiement réel. L'article s'inscrit dans la lignée des travaux récents sur l'apprentissage par prédiction de représentations latentes (JEPA, popularisé par Meta AI) appliqués à la robotique, et complète les approches critic-based existantes du RL pour VLA. Les auteurs ne précisent pas de plan de mise en open source ni de calendrier d'intégration dans des stacks robotiques commerciales; l'étape suivante logique serait une validation à plus grande échelle sur des plateformes industrielles.

RechercheActu
1 source
MotionWeave : apprendre la dynamique future centrée sur le mouvement pour les politiques vision-langage-action
3arXiv cs.RO 

MotionWeave : apprendre la dynamique future centrée sur le mouvement pour les politiques vision-langage-action

MotionWeave, un framework de recherche publié sur arXiv (2609.39324v1), propose une nouvelle façon d'entraîner les politiques Vision-Language-Action (VLA), ces modèles qui convertissent images et instructions en langage naturel en commandes pour le robot. Le système prédit des « action chunks », c'est-à-dire des séquences d'actions futures, et s'appuie sur deux modules. L'Action-Induced Motion Grounder (AIMG) part des représentations d'action et de proprioception pour construire, pour chaque pas de temps futur, une requête qui localise dans les tokens visuels courants la zone d'interaction concernée. L'Horizon Residual Composer (HRC) calcule ensuite les différences entre zones d'interaction à des horizons adjacents, les encode comme indices de mouvement temporels et les injecte dans les tokens d'action via un résiduel à porte (gated residual). À l'entraînement, des masques du bras robotique rendus à partir des images futures servent à construire une supervision de type divergence KL. À l'inférence, seule l'observation courante est utilisée. Sur six tâches MetaWorld, MotionWeave atteint 75,3 % de succès moyen, soit 8,6 points de plus que π0 (66,7 %), avec des gains marqués sur les tâches d'interaction soutenue. Le code est disponible sur GitHub. L'intérêt tient au problème que cible ce travail. Plusieurs VLA intègrent désormais des world models pour enrichir une supervision souvent limitée à des étiquettes d'action éparses. Prédire des images ou des vidéos futures oblige toutefois le modèle à reproduire de l'apparence sans lien avec le contrôle (textures, arrière-plan). Guider l'action avec une représentation visuelle globale du futur ne garantit pas non plus que chaque action corresponde à un changement visuel local précis. MotionWeave répond en supervisant la dynamique de mouvement plutôt que le rendu, sans coût supplémentaire à l'inférence, un point utile pour les intégrateurs soumis à des contraintes de latence. Les résultats appellent néanmoins de la prudence : six tâches en simulation, un seul benchmark et un seul point de comparaison cité, π0. Rien ne dit que le gain de 8,6 points se maintient sur des robots réels, des scènes encombrées ou des benchmarks plus larges. Aucune démonstration matérielle ni déploiement n'est annoncé, il s'agit d'une preuve de concept académique. Ce travail s'inscrit dans la course à l'enrichissement des VLA par des modèles du monde, après les approches qui prédisent des vidéos futures ou des images-objectifs. π0, de Physical Intelligence, reste la référence de base de nombreuses comparaisons, et MetaWorld un banc d'essai standard mais simulé, donc éloigné des conditions industrielles. La suite logique consisterait à valider la méthode sur plusieurs benchmarks, face à d'autres VLA récents, puis sur matériel réel. Le dépôt ouvert permettra à la communauté de vérifier ces chiffres. Aucun acteur européen n'est mentionné dans cette publication.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Pensées modifiées, actions modifiées : la chaîne de raisonnement comme levier de contrôle d'une politique vision-langage-action
4arXiv cs.RO 

Pensées modifiées, actions modifiées : la chaîne de raisonnement comme levier de contrôle d'une politique vision-langage-action

Des chercheurs ont testé ce qui arrive aux actions motrices d'un robot lorsqu'on modifie le raisonnement textuel d'une politique VLA (vision-language-action), c'est-à-dire un modèle qui convertit images de caméra et instructions en langage naturel en commandes moteur. Certaines de ces politiques « réfléchissent » d'abord en texte, produisent une chaîne de raisonnement, puis décodent les actions conditionnées par cette chaîne. Les travaux qui ont introduit cette architecture la présentent comme une interface de supervision : un opérateur peut lire et éditer le texte pour corriger le robot. L'étude mesure les deux sens, réparation et corruption, avec un échange déterministe d'entités appliqué à l'instruction et à la chaîne générée. Sur quarante tâches réparties dans les quatre suites de simulation LIBERO, le coût d'une chaîne corrompue se concentre là où le langage seul détermine le but. Sur LIBERO-Goal, avec DeepThinkVLA (retenu car son raisonnement est exposé en clair), une instruction corrompue accompagnée de la chaîne générée à partir de l'instruction saine récupère 47,8 points de pourcentage de succès perdu. Ce test confirmatoire était préenregistré, et les 10 tâches évoluent dans le sens prédit. L'enjeu dépasse l'académique. Si la chaîne n'avait fait que reformuler ce que l'image détermine déjà, l'injection n'aurait rien changé. Or le texte écrit dans ce raisonnement pilote réellement le robot : il répare le comportement quand il est juste et le dégrade quand il est faux. Pour les intégrateurs et les responsables de déploiement, cela signifie que l'interface de supervision vantée pour les VLA à raisonnement est bien un levier de contrôle, mais aussi une surface d'attaque ou d'erreur. Un opérateur qui corrige un raisonnement fautif peut sauver une tâche ; une édition erronée, ou une injection malveillante, peut la faire échouer. Le compromis entre transparence, contrôlabilité et robustesse cesse d'être une intuition et devient une grandeur mesurable, ce qui manquait aux discussions de sécurité sur ces architectures. Il faut toutefois relativiser la portée. Les résultats viennent de simulation (benchmark LIBERO), et la démonstration causale décisive repose sur un seul modèle, DeepThinkVLA, et une seule suite, LIBERO-Goal, où le langage suffit à définir le but. La récupération est substantielle mais partielle (47,8 points), et rien n'indique encore que l'effet se transpose tel quel à des robots physiques ou à des tâches où la vision domine. Ce travail s'inscrit dans la vague des VLA dotés de chaînes de raisonnement explicites, dont les promoteurs mettent en avant la lisibilité humaine. La suite logique est de tester d'autres politiques, d'autres benchmarks et des environnements réels, puis de définir des garde-fous, comme la validation ou l'authentification des éditions du raisonnement, avant d'exposer cette interface en production.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source