Aller au contenu principal
SWAP : modèle du monde symétrique équivariant pour le parkour robotique agile
RecherchearXiv cs.RO 

SWAP : modèle du monde symétrique équivariant pour le parkour robotique agile

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv le 19 juin 2026 un preprint décrivant SWAP (Symmetric World-model for Agile Parkour), un cadre d'apprentissage par renforcement pour la locomotion agile de robots quadrupèdes. L'approche couple un modèle du monde latent, qui permet des prédictions proactives sur le terrain à venir, avec un principe d'équivariance par symétrie gauche-droite intégré simultanément dans le modèle du monde et dans les réseaux acteur-critique. En tests réels, le robot associé au framework franchit un fossé de 2,13 mètres d'un saut et escalade une plateforme de 1,63 mètre. Les auteurs présentent ces résultats comme des records pour le parkour quadrupède, affirmation non encore validée de façon indépendante. Le système démontre également une généralisation robuste à des environnements extérieurs et à des terrains miroirs non vus lors de l'entraînement, sans ré-entraînement (zero-shot transfer).

L'enjeu central est l'efficacité d'apprentissage. Les modèles du monde purement pilotés par les données encodent les interactions symétriques gauche-droite comme des patterns indépendants, gonflant inutilement la complexité d'apprentissage et empêchant la capture des régularités géométriques du terrain. En intégrant l'équivariance comme prior structurel, SWAP réduit cette redondance et rend l'espace latent plus compact pour la politique en aval. Pour les équipes de recherche appliquée, le résultat le plus notable reste le transfert zero-shot vers des terrains inédits : si confirmé sur d'autres plateformes matérielles, cela réduirait le besoin de données de fine-tuning spécifiques à chaque déploiement, un verrou important dans le sim-to-real actuel pour la locomotion agile.

Le parkour quadrupède est devenu un benchmark de facto depuis les travaux d'ETH Zurich sur ANYmal et le papier Parkour Learning de 2023, suivis par Carnegie Mellon University, qui ont progressivement montré que des politiques entraînées en simulation pouvaient généraliser à des obstacles physiques complexes. L'usage de modèles du monde latents pour la locomotion reste une piste plus récente par rapport aux pipelines classiques de RL bout-en-bout, et SWAP se positionne à l'intersection de ces deux axes. Le preprint ne mentionne ni le nom précis du robot utilisé ni l'institution d'origine des auteurs, deux détails qui limiteront la reproductibilité jusqu'à la publication complète en conférence. Aucun déploiement industriel ni partenariat commercial n'est annoncé à ce stade.

Dans nos dossiers

À lire aussi

Modèles du monde pour la manipulation robotique
1arXiv cs.RO 

Modèles du monde pour la manipulation robotique

Des chercheurs ont publié en juin 2026 sur arXiv (2606.24742) un modèle généraliste de valeur pour la manipulation robotique, le WVM (World Value Model). La proposition centrale consiste à substituer les backbones VLM (Vision-Language Model) habituellement utilisés par un modèle de monde, nativement mieux adapté à la modélisation temporelle nécessaire pour évaluer la progression d'une tâche. Sur les benchmarks standards, WVM atteint les meilleures performances connues en Value-Order Correlation (VOC), la métrique de référence pour les modèles de valeur robotiques. L'équipe introduit également Suboptimal-Value-Bench, un benchmark multi-embodiment composé de 800 trajectoires sous-optimales annotées frame par frame par des humains, comblant un angle mort des évaluations existantes qui ne contenaient que des données expertes. L'enjeu est directement opérationnel pour quiconque entraîne des systèmes de manipulation à grande échelle : les données collectées en conditions réelles sont rarement uniformément expertes. Un modèle de valeur précis permet de pondérer ou filtrer ces trajectoires hétérogènes, améliorant la qualité de l'entraînement sans nettoyage manuel coûteux. WVM démontre des gains de performance sur plusieurs approches d'extraction de politique, en simulation comme en déploiement réel, ce qui renforce la thèse que l'estimation de valeur est un composant orthogonal et complémentaire au choix d'architecture de politique. La robustesse maintenue sur données sous-optimales est l'aspect le plus significatif : c'est précisément dans ce régime que les VLMs classiques décrochent, leurs préentraînements sur observations visuelles statiques ne suffisant pas à capturer les dynamiques temporelles longues. La montée en puissance des VLA comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA a rendu critique la question de la qualité des données d'entraînement à grande échelle. L'approche WVM s'inscrit dans une tendance émergente qui consiste à spécialiser les composants : un backbone temporel dédié pour l'évaluation de la valeur, distinct du modèle d'action. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans cet article purement académique. Les prochaines étapes naturelles incluent l'intégration du WVM dans des pipelines d'imitation à grande échelle ou en combinaison avec du reinforcement learning offline (IQL, CQL), et une extension à des environnements multi-tâches plus complexes.

RechercheOpinion
1 source
MotuBrain : un modèle du monde avancé pour le contrôle robotique
2arXiv cs.RO 

MotuBrain : un modèle du monde avancé pour le contrôle robotique

MotuBrain est un modèle génératif multimodal unifié pour le contrôle robotique, présenté dans un preprint arXiv (identifiant 2604.27792) publié en avril 2026. Le modèle adopte une formulation UniDiffuser couplée à une architecture Mixture-of-Transformers à trois flux, lui permettant de modéliser conjointement les séquences vidéo et les actions motrices au sein d'un même réseau. Un seul modèle supporte cinq modes d'inférence distincts : apprentissage de politique, modélisation du monde, génération vidéo, dynamique inverse, et prédiction conjointe vidéo-action. Il est conçu pour s'adapter à des données hétérogènes, incluant des vidéos sans annotations d'action et des données issues de plateformes robotiques différentes (cross-embodiment). Sur le plan de l'inférence, les auteurs annoncent un gain de vitesse supérieur à 50x par rapport à des architectures comparables, ouvrant la voie à un déploiement temps réel. L'approche s'attaque à une limitation structurelle bien documentée des VLA purs comme RT-2 ou OpenVLA : leur forte généralisation sémantique masque souvent une modélisation insuffisante des dynamiques physiques fines, ce qui génère des erreurs sur des tâches de manipulation précises. En intégrant la génération vidéo comme supervision implicite des dynamiques du monde, MotuBrain s'inscrit dans la tendance des World Action Models (WAMs), dont l'hypothèse centrale est que prédire ce qui va se passer visuellement améliore la qualité des actions produites. Le support cross-embodiment est particulièrement structurant pour les intégrateurs industriels, car il réduit le coût de réentraînement lors d'un changement de plateforme matérielle. Le speedup annoncé de 50x reste à confirmer sur des benchmarks publics, le preprint ne précisant pas les configurations matérielles de référence utilisées pour cette mesure. Ce travail s'inscrit dans une compétition dense autour des modèles fondationnels pour la robotique généraliste. Physical Intelligence a mis en production Pi-0 début 2025, NVIDIA a présenté GR00T N2 avec support multi-embodiment, et Google DeepMind avance sur ses modèles RT-X et GROOT. L'affiliation institutionnelle des auteurs de MotuBrain n'est pas précisée dans l'abstract du preprint. Comme pour tout travail soumis à arXiv sans revue par les pairs, l'absence d'expériences robotiques réelles documentées en détail invite à la prudence avant d'extrapoler les performances annoncées à un contexte de déploiement industriel.

RechercheOpinion
1 source
RoboJEPA : passage à l'échelle des modèles du monde latents pour la robotique
3arXiv cs.RO 

RoboJEPA : passage à l'échelle des modèles du monde latents pour la robotique

RoboJEPA, un modèle du monde latent publié sur arXiv (2610.10515), repose sur l'architecture JEPA (Joint Embedding Predictive Architecture) et compte 8 milliards de paramètres. Ses auteurs le présentent comme le plus grand prédicteur JEPA entraîné à ce jour. Il a été entraîné sur un jeu de données à grande échelle couvrant 12 embodiments robotiques différents, issu de données de robots réels. Le résultat central est que l'« imagination error », c'est-à-dire l'erreur accumulée par les déroulés (rollouts) du modèle dans l'espace latent, suit une loi de puissance de second ordre en fonction du calcul. Cette loi permet de prédire la qualité du modèle bien au-delà de l'échelle sur laquelle elle a été ajustée. Les performances de planification en aval progressent elles aussi de façon prévisible avec le calcul. Enfin, le modèle a été déployé en zero-shot sur du matériel réel : il planifie vers une unique image-but pour résoudre des tâches à horizon long. Les checkpoints, le code d'entraînement et le code de déploiement sont publiés. L'intérêt tient moins à la performance brute qu'à la méthode. Jusqu'ici, les lois d'échelle étaient bien établies pour les modèles de langage, mais pas pour les modèles du monde robotiques, ce qui obligeait les équipes à investir à l'aveugle en paramètres, données et GPU. Si l'imagination error est effectivement corrélée de façon forte à la réussite de la planification, elle devient un indicateur peu coûteux pour évaluer un modèle sans passer par des essais sur robot réel, longs et difficiles à reproduire. Pour les intégrateurs et les décideurs B2B, cela rapproche la robotique d'une logique d'ingénierie où l'on chiffre à l'avance le gain attendu d'un budget de calcul. Il faut cependant rester prudent : il s'agit d'un preprint sans relecture par les pairs, les tâches réelles ne sont pas détaillées dans le résumé (taux de réussite, durée, diversité des scènes), et une extrapolation de loi d'échelle ne garantit pas la robustesse en environnement industriel ouvert. Ce travail s'inscrit dans la lignée des approches JEPA promues par Yann LeCun et Meta, qui privilégient la prédiction dans un espace de représentation abstrait plutôt qu'au niveau du pixel, en opposition aux modèles génératifs vidéo et aux politiques VLA (vision-langage-action) entraînées par imitation. Il se positionne face aux modèles du monde de type Cosmos de NVIDIA et aux modèles génératifs de Google DeepMind, ainsi qu'à V-JEPA 2 de Meta, qui avait déjà montré une planification robotique à partir d'une image-but. La publication ouverte des poids et du code laisse attendre des reproductions et des extensions par d'autres laboratoires. Les prochaines étapes à surveiller sont la validation des lois d'échelle à des tailles supérieures à 8 milliards de paramètres, leur confirmation par des équipes indépendantes, et une évaluation sur des tâches industrielles réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
DepthWorld : un modèle du monde 3D pour la manipulation robotique
4arXiv cs.RO 

DepthWorld : un modèle du monde 3D pour la manipulation robotique

Des chercheurs publient sur arXiv (2610.08780) DepthWorld, un modèle du monde 3D destiné à la manipulation robotique, accompagné d'un jeu de données calibré, DROID-3D. Le point de départ est un constat : les modèles du monde vidéo actuels, entraînés uniquement sur du RGB, produisent des séquences plausibles image par image, mais qui ne forment pas un monde 3D cohérent. Pour y remédier, l'équipe a conçu un pipeline de calibration qui combine une estimation de profondeur stéréo apprise et un graphe de facteurs joint. Il regroupe tous les épisodes enregistrés avec un même robot physique afin de retrouver ses paramètres cinématiques partagés, en plus des extrinsèques propres à chaque scène. Appliqué à DROID, il produit DROID-3D : une profondeur métrique dense et des extrinsèques multi-vues recalibrées, avec une erreur de reprojection inférieure à 0,7 pixel sur 90 % des épisodes pour les caméras externes. Le modèle DepthWorld, bâti sur Stable Video Diffusion, prédit conjointement le RGB et la profondeur sur plusieurs vues grâce à un « tuilage latent spatial » (spatial latent tiling), qui laisse intact l'autoencodeur variationnel (VAE) pré-entraîné. À budget d'entraînement égal, la supervision par la profondeur améliore la prédiction RGB de 1,48 dB de PSNR par rapport à une base identique entraînée sur RGB seul, tout en fournissant une profondeur métrique exploitable. Ces résultats comptent pour les équipes qui voient dans les modèles du monde une alternative pilotée par les données aux simulateurs classiques, pour l'évaluation, l'amélioration et la planification de politiques. Toutes ces utilisations supposent une géométrie fidèle. Un rollout visuellement convaincant mais géométriquement incohérent peut fausser l'évaluation d'une politique de préhension ou une planification de trajectoire. L'apport de la profondeur à la qualité du RGB lui-même suggère que la supervision 3D ne se limite pas à ajouter une sortie : elle renforce la prédiction visuelle. Le choix de ne pas toucher au VAE préserve les connaissances a priori des modèles vidéo pré-entraînés, ce qui évite de ré-entraîner à grande échelle. Pour les intégrateurs, l'enjeu à terme est de disposer d'un banc d'essai virtuel plus fiable avant de passer sur matériel réel. Il faut toutefois rester prudent : il s'agit d'un préprint, sans évaluation en boucle fermée sur des robots réels dans les éléments communiqués, et un gain de 1,48 dB de PSNR ne prouve pas à lui seul une meilleure réussite des tâches. Le contexte est celui d'une course pour remplacer ou compléter la simulation physique par des modèles génératifs, nourrie par de grands jeux de données de téléopération comme DROID. Ces corpus sont riches en vidéo, mais leur calibration de caméras est souvent approximative et la profondeur métrique y est absente, ce qui a limité jusqu'ici la supervision 3D à grande échelle en manipulation. DROID-3D comble en partie ce manque. L'approche s'inscrit dans le courant des modèles du monde vidéo adaptés à la robotique, qui s'appuient sur des modèles de diffusion vidéo généralistes. La suite logique serait de tester si ces rollouts géométriquement cohérents améliorent réellement l'évaluation et l'amélioration de politiques VLA, puis de les valider sur des plateformes variées.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source