Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Robust-WAM : concilier préentraînement génératif et anticipation sémantique dans les modèles monde-action
RecherchearXiv cs.RO 

Robust-WAM : concilier préentraînement génératif et anticipation sémantique dans les modèles monde-action

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent Robust-WAM, une méthode de post-entraînement destinée aux World-Action Models (WAM), ces modèles qui adaptent des générateurs vidéo pré-entraînés (VGM) pour prédire les actions d'un robot à partir de flux visuels. Le papier, publié sur arXiv sous la référence 2608.05903v1, part d'un constat technique précis: la plupart des WAM s'appuient sur un espace latent de variational autoencoder (VAE), optimisé pour la reconstruction pixel par pixel, ce qui rend la prédiction d'actions fragile dès que l'apparence visuelle change (éclairage, texture, angle de caméra). Des travaux récents avaient contourné le problème en construisant des WAM dans un espace latent sémantique, plus robuste aux变... aux variations d'apparence, mais incapables de profiter du pré-entraînement à grande échelle réalisé uniquement dans l'espace VAE. Robust-WAM propose de garder le chemin génératif basé VAE tout en ajoutant un objectif léger d'alignement sémantique prospectif sur le flux d'actions: des tokens de requête apprenables captent la sémantique des scènes futures en alignant leurs états cachés sur les représentations sémantiques des images futures réelles, avec un encodage positionnel calé sur les tokens d'action correspondants pour garantir la correspondance temporelle.

L'enjeu dépasse la seule prouesse technique. Les modèles VLA et WAM affichent souvent de bonnes performances en conditions contrôlées mais se dégradent nettement face à des variations visuelles hors distribution, un frein connu au déploiement industriel de robots hors laboratoire. En montrant qu'on peut conserver les bénéfices du pré-entraînement massif sur vidéo tout en gagnant en robustesse, sans sacrifier les performances en distribution, ce travail répond directement à l'écart souvent pointé entre démonstrations impressionnantes et fiabilité réelle sur le terrain.

Robust-WAM s'inscrit dans la lignée des travaux qui détournent les modèles de génération vidéo grand public vers le contrôle robotique, plutôt que de concevoir des architectures dédiées. Il se positionne comme une brique de post-entraînement compatible avec plusieurs WAM existants, testée sur des benchmarks de simulation hors distribution et sur un banc robotique réel, avec des gains de taux de réussite constatés sur plusieurs modèles de référence.

Dans nos dossiers

arXiv cs.RO

À lire aussi

SG-WAM : guidage sémantique ancré au texte et conscient de l'espace pour les modèles monde-action
1arXiv cs.RO 

SG-WAM : guidage sémantique ancré au texte et conscient de l'espace pour les modèles monde-action

Un article de recherche publié sur arXiv (référence 2608.08839, avril... plutôt août 2026) présente SG-WAM, une méthode de guidage sémantique pour les modèles dits "World-Action Models" (WAM), une famille d'architectures utilisées en manipulation robotique qui prédisent à la fois une vidéo future de la scène et les actions du robot à partir d'une observation visuelle et d'une instruction en langage naturel. Le constat de départ des auteurs est que la plupart des WAM existants s'appuient surtout sur l'image et peu sur le texte, car les encodeurs de texte classiques traitent l'instruction indépendamment de ce que voit le robot. Résultat, la vidéo prédite s'écarte souvent du sens réel de la consigne, ce qui dégrade la précision des actions calculées. Pour corriger cela, SG-WAM ajoute un planificateur basé sur un modèle vision-langage (VLM), entraîné à produire deux types de prévisions sémantiques: une prévision "ancrée dans le texte", qui identifie les bons objets cibles mentionnés dans l'instruction, et une prévision "consciente de l'espace", qui restitue la géométrie de la scène pour une manipulation précise. Ces prévisions sont injectées comme guidage de haut niveau dans le WAM, pour aligner génération vidéo et prédiction d'action sur l'instruction donnée. Les auteurs rapportent des expériences en simulation et en conditions réelles. Sur le fond, ce travail s'attaque à un point de friction classique des architectures VLA et WAM: la tendance des modèles à bien fonctionner en démonstration contrôlée mais à perdre l'instruction de vue dès que la scène contient plusieurs objets similaires ou une ambiguïté spatiale. Pour les équipes qui évaluent des piles de manipulation robotique en entrepôt ou en usine, ce type de contribution touche directement la fiabilité du suivi d'instruction, un critère souvent plus déterminant que la vitesse d'exécution pour la mise en production. Il s'agit toutefois d'une publication académique, testée sur des protocoles expérimentaux et non d'un produit commercialisé ni d'un déploiement industriel chiffré. Le papier s'inscrit dans la lignée des travaux qui cherchent à combler l'écart entre modèles purement vision-action et modèles de "monde" capables d'anticiper les conséquences physiques d'une action avant de l'exécuter. L'abstract ne précise ni les benchmarks utilisés, ni de calendrier de mise à disposition du code, ni de partenariat industriel.

RecherchePaper
1 source
R²-WAM : post-entraînement par réparation et rejet pour les modèles d'action du monde
2arXiv cs.RO 

R²-WAM : post-entraînement par réparation et rejet pour les modèles d'action du monde

Des chercheurs proposent R²-WAM, un cadre de post-entraînement en deux étapes, « réparer puis rejeter », destiné aux World Action Models (WAM). Ces modèles prédisent, sous forme de vidéo, les conséquences d'actions robotiques échantillonnées, afin d'affiner une politique de contrôle. Le système atteint 93,8 % de succès moyen sur le benchmark de simulation RoboTwin 2.0, en moyenne sur les configurations « clean » et randomisées. Sur une tâche réelle de longue durée, le pliage de chemise (Fold Shirt), il obtient 87,5 % de succès moyen, contre 0 % pour Fast-WAM, la base de comparaison. Le gain est obtenu sans interaction supplémentaire avec l'environnement et sans modification de la procédure d'inférence. Le code et les démonstrations sont annoncés sur une page projet dédiée. Le mécanisme tient en deux temps. L'étape de réparation corrige un défaut connu des WAM : une vidéo prédite visuellement plausible peut ne pas refléter l'action fournie en entrée, ce qui fausse tout raffinement de politique fondé sur elle. Les auteurs introduisent un score d'alignement cinématique, qui mesure l'écart entre le mouvement prédit et le mouvement démontré, pour ancrer l'imagination du modèle dans le comportement réel du robot. L'étape de rejet utilise ensuite ce modèle vidéo réparé pour comparer les résultats imaginés des actions échantillonnées à ceux des démonstrations. Les échantillons dont la progression de tâche prédite tombe sous la référence démontrée d'une marge prescrite servent d'exemples négatifs pour un fine-tuning négatif. L'intérêt dépasse le score de benchmark. Le résultat suggère que la prédiction vidéo peut passer du statut de simple apprentissage de représentations à celui de critique de conséquences, capable de trier les mauvaises actions hors ligne. Cela réduit le besoin de rollouts physiques coûteux, un point clé pour les intégrateurs confrontés au coût de collecte de données. Le contraste sur Fold Shirt est frappant : 0 % pour la base de comparaison indique que la cohérence action-vidéo est un goulot d'étranglement réel sur les tâches déformables à long horizon. Il faut toutefois rester prudent : il s'agit d'un travail académique, la tâche réelle est unique, le nombre d'essais n'est pas précisé dans le résumé, et aucun déploiement industriel ni temps de cycle n'est évoqué. Ce travail s'inscrit dans la montée des modèles du monde appliqués au contrôle, où la vidéo prédictive sert de fondation aux politiques, en parallèle des approches VLA (vision-langage-action) classiques. RoboTwin 2.0, benchmark bimanuel en simulation, est devenu un terrain de comparaison courant, et Fast-WAM représente ici l'état de l'art immédiat auquel les auteurs se mesurent. La suite logique serait une validation sur davantage de tâches réelles, d'autres plateformes et des volumes d'essais plus larges, ainsi qu'une comparaison avec les politiques VLA déployées commercialement. Aucun acteur européen ni calendrier de pilote n'est mentionné dans cette version de l'article, publiée sur arXiv en révision (v2).

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
JailWAM : pirater les modèles d'action du monde dans le contrôle robotique
3arXiv cs.RO 

JailWAM : pirater les modèles d'action du monde dans le contrôle robotique

Des chercheurs ont publié JailWAM, premier framework d'évaluation de jailbreak conçu spécifiquement pour les World Action Models (WAM), ces modèles qui pilotent directement des robots manipulateurs à partir d'instructions en langage naturel. Décrit dans un article déposé sur arXiv (identifiant 2604.05498, version 2), le système repose sur trois composants. Le premier, Visual-Trajectory Mapping, convertit les sorties d'action hétérogènes de différentes architectures de WAM en une représentation de trajectoire visuelle commune, ce qui permet de comparer des modèles différents sur une même base. Le deuxième, un Risk Discriminator, classe les résultats selon trois niveaux de gravité physique croissante : conformité de sécurité, échec de mouvement, et risque catastrophique. Le troisième, une Dual-Path Verification Strategy, combine un tri rapide des candidats d'attaque avec une simulation physique en boucle fermée réservée aux cas jugés dangereux, afin de réduire le coût de calcul. Testé dans l'environnement de simulation RoboTwin, JailWAM atteint un taux de réussite d'attaque de 84,2 % contre le modèle LingBot-VA. Ce résultat illustre concrètement que les WAM, censés traduire fidèlement des consignes en gestes physiques sûrs, restent vulnérables à des instructions adversariales capables de provoquer des comportements dangereux du bras ou du robot. Pour les intégrateurs industriels et les décideurs qui envisagent de déployer ces modèles vision-langage-action en usine ou en entrepôt, l'étude rappelle qu'aucun garde-fou standardisé n'existe encore contre ce type d'attaque, contrairement au red-teaming déjà bien établi pour les grands modèles de langage textuels. Le chiffre de 84,2 % a toutefois été obtenu en simulation, pas sur du matériel physique réel, ce qui laisse ouverte la question d'un éventuel écart sim-to-real ; la tendance qu'il révèle sur la fragilité de l'alignement sécuritaire des WAM reste néanmoins significative. Ce travail s'inscrit dans la vague de recherche sur les modèles vision-langage-action qui équipent la nouvelle génération de robots humanoïdes et de bras manipulateurs, dans la lignée de modèles comme Pi-0, GR00T N2 ou Helix. JailWAM transpose au monde physique des méthodologies de jailbreak déjà développées pour les modèles de langage textuels. Les auteurs appellent explicitement à davantage de recherche sur l'évaluation de sécurité et l'alignement des systèmes robotiques embarqués, signe d'un besoin encore naissant de standards de certification avant tout déploiement industriel à grande échelle. Aucun acteur français ou européen du secteur n'apparaît dans cette étude.

RechercheActu
1 source
Anticipation sémantique pour les représentations d'actions robotiques
4arXiv cs.RO 

Anticipation sémantique pour les représentations d'actions robotiques

Traduction et synthèse en cours. Une équipe de recherche vient de publier sur arXiv (2607.13597, soumission de juillet 2026) une étude sur la dégradation des représentations sémantiques dans les modèles Vision-Language-Action (VLA), ces architectures qui pilotent aujourd'hui la plupart des robots humanoïdes commerciaux comme Figure 03, Optimus Gen 3 ou les modèles Pi-0 et GR00T N2. Le constat de départ est simple : ces modèles héritent d'une structure sémantique riche de leurs encodeurs vision-langage préentraînés, mais le finetuning sur un nombre limité de démonstrations robotiques érode cette structure, un phénomène que les chercheurs ont confirmé par un sondage systématique des représentations internes. Ils montrent aussi que la qualité de cette structure sémantique conditionne directement le taux de réussite des tâches et la capacité de généralisation hors distribution (out-of-distribution, OOD). Leur solution, baptisée ancrage sémantique, consiste à contraindre les représentations d'action à rester proches d'une variété sémantique de référence tout en séparant un canal partagé et un canal privé, les deux étant supprimés à l'inférence, sans changer le modèle déployé. Testée sur plusieurs backbones VLA en simulation et en conditions réelles, la méthode apporte jusqu'à +18,7% de réussite sur des tâches en distribution et +21,5% en généralisation OOD. L'enjeu dépasse la seule performance sur benchmark : la dérive sémantique pendant le finetuning est un problème connu mais peu quantifié dans l'industrie humanoïde, où les intégrateurs adaptent en permanence des modèles préentraînés à des tâches spécifiques d'usine ou d'entrepôt avec très peu de données. Une méthode plug-and-play, sans coût à l'inférence, qui améliore la robustesse hors distribution touche directement au fameux écart entre démonstration scénarisée et déploiement réel, un des points faibles récurrents des annonces du secteur ces deux dernières années. L'approche s'inspire de la théorie des neurones miroirs, selon laquelle observation et exécution d'une action partagent un même encodage au niveau de l'intention, et s'inscrit dans la lignée des travaux sur les VLA préentraînés type RT-2 ou OpenVLA, où la question du transfert des capacités du modèle vision-langage vers l'action reste un chantier ouvert. Les auteurs positionnent leur contribution comme complémentaire aux architectures existantes plutôt que comme un nouveau backbone, ce qui laisse présager une adoption potentielle par différents laboratoires sans remise en cause de leurs modèles de base.

RecherchePaper
1 source