RecherchearXiv cs.RO 21 juillet 2026

Modèles du monde JEPA à régularisation de profondeur : des représentations plus transférables à partir de données robotiques réelles en extérieur

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Publié sur arXiv (arXiv:2607.16314v1), un nouveau papier de recherche propose une architecture de modèle du monde basée sur JEPA (Joint Embedding Predictive Architecture) qui intègre la profondeur comme prior géométrique pendant l'entraînement. L'équipe a entraîné un modèle de 18 millions de paramètres sur des vidéos capturées par un robot agricole réel évoluant en extérieur, un environnement visuellement complexe et imprévisible par rapport aux données de laboratoire habituelles. La méthode combine une supervision par carte de profondeur avec un régularisateur latent isotrope appelé SIGReg, qui vise la représentation la plus riche en information possible tout en respectant la géométrie de la scène, et ajoute une surparamétrisation limitée à l'entraînement pour ne pas alourdir l'inférence. Face à la baseline LeWM, les résultats montrent une réduction de 33% de l'erreur sur une sonde d'odométrie visuelle à représentation gelée, une meilleure séparation du score de surprise à la fois sur les données d'origine et sur le benchmark hors domaine TartanGround, ainsi qu'une fidélité accrue des projections latentes multi-étapes sous décalage de domaine, avec des gains qui s'amplifient à mesure que l'horizon de prédiction s'allonge.

Ce travail répond à un problème central pour la robotique de terrain: la plupart des modèles du monde performent bien en simulation ou en environnement contrôlé, mais peinent à généraliser sur des données réelles bruitées, avec éclairage variable et textures complexes. Montrer qu'un simple prior physique, la profondeur, améliore la transférabilité sans ajouter de coût de calcul à l'inférence est significatif pour les intégrateurs qui doivent déployer des modèles embarqués sur des robots agricoles, des AMR ou d'autres plateformes mobiles à ressources limitées. Le résultat le plus notable dépasse la géométrie pure: le modèle améliore aussi la détection de surprise sur des phénomènes physiques non directement liés à la 3D, comme l'éclairage et les ombres, ce qui suggère un effet d'amélioration générale de la qualité des représentations plutôt qu'un simple gain spécifique à la tâche de profondeur. À noter toutefois que les gains sont mesurés sur un seul type de robot et un modèle de taille modeste, la généralisation à d'autres plateformes reste à démontrer.

Les architectures JEPA, popularisées par les travaux de Yann LeCun chez Meta, sont présentées comme une alternative aux modèles génératifs pixel par pixel pour apprendre la dynamique du monde sans reconstruire chaque détail visuel. Ce papier s'inscrit dans cette lignée en cherchant à rendre ces modèles utilisables sur des données réelles de terrain, un défi que la littérature identifie souvent comme le principal obstacle entre les démonstrations en simulation et le déploiement effectif. Les auteurs positionnent leur approche contre LeWM comme référence directe et s'appuient sur TartanGround pour valider la généralisation hors domaine. Les prochaines étapes attendues incluraient l'extension à d'autres types de robots et capteurs, et l'intégration de ce modèle du monde dans des politiques de contrôle robotique complètes plutôt que dans des sondes d'évaluation isolées.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Transfert simulation-réel efficace de modèles monde-action à partir de données synthétiques

Le fossé sim-to-real reste un défi central pour déployer des politiques de manipulation apprises, car il permet en théorie de remplacer des démonstrations réelles coûteuses par des données synthétiques bon marché à grande échelle. Publiée le 30 juin 2026 (arXiv:2606.31101), une étude teste si un "world-action model", un modèle combinant prédiction visuelle et contrôle moteur, peut être entraîné uniquement en simulation puis déployé sans aucune démonstration réelle. L'équipe part de Cosmos Policy, un modèle de diffusion vidéo adapté au contrôle visuomoteur, et construit des environnements simulés avec une randomisation poussée des domaines. Les démonstrations d'entraînement, environ 800 par tâche, sont générées automatiquement via le pipeline de planification de mouvement AnyTask, sans donnée réelle. Trois tâches sont testées: soulever un objet, ouvrir un tiroir, et effectuer un pick-and-place. Déployé en zero-shot sur un bras robotique Franka, le modèle atteint un taux de réussite moyen de 35%. Ce résultat, même modeste, répond à une question ouverte du secteur: les world-action models peuvent-ils transférer du simulateur au monde réel sans coûteuses démonstrations humaines? Jusqu'ici, aucun travail n'avait démontré ce transfert pour la manipulation robotique. Un taux de 35% reste loin des standards attendus pour un déploiement industriel, souvent supérieurs à 80%, et confirme que le fossé sim-to-real demeure un obstacle réel, non résolu par la seule échelle des données synthétiques. Pour les intégrateurs et décideurs B2B, le signal est clair: remplacer la téléopération humaine par de la donnée simulée reste au stade de preuve de concept, pas de solution prête à l'emploi. Le travail s'inscrit dans la lignée des modèles de fondation robotiques récents comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui cherchent tous à réduire la dépendance aux démonstrations réelles. Cosmos Policy dérive des travaux de NVIDIA sur les modèles de monde Cosmos. La méthode AnyTask pour générer automatiquement des trajectoires en simulation illustre une tendance plus large: automatiser la création de données d'entraînement plutôt que multiplier les téléopérations en laboratoire, approche également explorée par Physical Intelligence ou Skild AI. Les auteurs présentent ce résultat comme une première preuve de faisabilité, sans calendrier de commercialisation ni partenariat industriel annoncé.

RecherchePaper

1 source

2arXiv cs.RO

RepSAM : adapter les modèles fondation à la vision robotique par guidage de représentation

Des chercheurs ont publié le 26 mai 2026 sur arXiv (2605.25495) RepSAM, un cadre d'adaptation à l'efficacité paramétrique (PEFT) conçu pour transférer les capacités de SAM (Segment Anything Model) vers la perception robotique en environnements non structurés. Le diagnostic de départ est précis : les couches superficielles du transformeur subissent un écart de représentation important entre données génériques et données robotiques (CKA inférieur à 0,7), tandis que les couches profondes restent stables (CKA supérieur à 0,7). RepSAM exploite cette asymétrie via une allocation de rang guidée par la CKA (Centered Kernel Alignment) pour concentrer les paramètres entraînables là où le décalage est effectivement significatif. Le résultat : 89,0 % de mIoU contre 90,9 % pour le fine-tuning complet, soit 97,9 % des performances, avec seulement 4,0 millions de paramètres entraînables sur 632 millions totaux, une réduction de 158 fois. L'entraînement tient en 4 heures sur un seul GPU A100, contre 384 heures-GPU pour le fine-tuning intégral, et surpasse DoRA de 7,9 points de mIoU sur six benchmarks. En manipulation robotique, le gain atteint 12 points absolus de taux de succès par rapport à la baseline LoRA RGB, avec une significativité statistique p inférieur à 0,01. L'enjeu industriel est direct : le gouffre entre les modèles de vision généralistes et les conditions réelles de la robotique (objets transparents, scènes encombrées, éclairage variable) reste l'un des principaux blocages pour les intégrateurs. RepSAM démontre qu'un adapter bien ciblé, informé par la structure interne du réseau plutôt qu'appliqué uniformément, peut quasiment égaler un fine-tuning complet à une fraction du coût de calcul. Pour un responsable technique déployant des bras manipulateurs ou des systèmes de picking, cela signifie qu'il devient réaliste d'adapter un modèle de fondation sur du matériel standard, sans infrastructure de calcul dédiée ni données massives. SAM, développé par Meta AI et publié en 2023, s'est imposé comme référence pour la segmentation zero-shot, mais ses performances se dégradent hors distribution, notamment en robotique industrielle. Les méthodes PEFT comme LoRA et DoRA avaient déjà tenté ce pont, avec des gains limités faute d'adaptation différenciée par couche. RepSAM s'inscrit dans la continuité de travaux sur l'analyse de représentation pour guider le fine-tuning (CKA comme outil de diagnostic, popularisé depuis 2019). La prochaine étape logique est la validation sur des robots réels en conditions industrielles ; l'article se limite pour l'instant à des benchmarks simulés et des tâches de manipulation contrôlées, ce qui laisse ouvert le sim-to-real gap à grande échelle.

UELes intégrateurs européens de bras manipulateurs et systèmes de picking pourraient adapter des modèles de vision fondation sur du matériel GPU standard, réduisant la barrière à l'IA perceptive sans infrastructure de calcul dédiée.

RechercheOpinion

1 source

3arXiv cs.RO

Représentation des préférences humaines déployable en robotique : apprendre des récompenses représentatives à partir de préférences humaines diverses

Une équipe de recherche a publié sur arXiv (2607.12466v1) un nouveau framework baptisé PREC (Preference-based REward Clustering), conçu pour aligner les politiques de contrôle robotique sur les préférences humaines lors du déploiement auprès d'utilisateurs finaux variés. Le problème que les auteurs cherchent à résoudre est concret : quand chaque utilisateur fournit un retour de préférence binaire (trajectoire A préférée à trajectoire B), ce signal est souvent trop rare et bruité pour apprendre une politique individualisée fiable, tandis qu'une politique unique partagée entre tous les utilisateurs écrase les préférences minoritaires. PREC contourne ce dilemme en mettant de côté les labels de préférence dans un premier temps pour apprendre un encodeur de trajectoires au niveau de la population entière, puis en regroupant les utilisateurs en clusters cohérents selon leurs préférences et en entraînant un modèle de récompense représentatif par cluster, à partir duquel une politique dédiée est optimisée. Les tests, menés sur des environnements de locomotion simulés, montrent que PREC identifie mieux les groupes d'utilisateurs aux préférences divergentes que les méthodes de référence, même avec un retour humain sparse et bruité. Pour l'industrie robotique, l'enjeu dépasse la simple curiosité académique : c'est un problème de scalabilité du déploiement. Multiplier les politiques individualisées pour chaque client rend la validation de sécurité intraitable avant mise en production, alors qu'une politique générique déçoit une partie des utilisateurs et nuit à l'adoption. En réduisant le nombre de politiques à un jeu de clusters gérable tout en couvrant les préférences hétérogènes, PREC propose un compromis directement pertinent pour les intégrateurs qui doivent certifier et maintenir un nombre limité de comportements robotiques plutôt qu'une politique par client. Ce travail s'inscrit dans la lignée des recherches sur l'alignement par préférences humaines (RLHF appliqué à la robotique), un champ qui a longtemps oscillé entre alignement individuel coûteux et alignement collectif appauvri. Les auteurs positionnent explicitement PREC face aux approches d'alignement par utilisateur et à l'alignement par politique unique partagée, sur lesquelles il montre des gains sur trois métriques de bien-être social. L'étude reste pour l'instant limitée à des environnements de locomotion simulés, sans validation sur robots physiques ni indication de partenaires industriels ou de calendrier de déploiement.

RecherchePaper

1 source

4arXiv cs.RO

L'AquaJEPA, des représentations prédictives multimodales conditionnées par action pour la dynamique des robots sous-marins

AquaJEPA est un nouveau modèle prédictif conditionné par l'action, conçu pour la navigation de robots sous-marins en conditions dégradées. Le système fusionne trois sources de données, une caméra RGB, un sonar frontal et la proprioception, avec un indicateur explicite de validité de chaque capteur, puis prédit une représentation latente future à partir des commandes envoyées aux huit propulseurs du véhicule. Ces prédictions de vitesse et de profil sonar alimentent ensuite un planificateur à horizon glissant partagé. L'équipe a testé la méthode dans le simulateur Stonefish, face à cinq approches concurrentes (contrôle réactif, modèle état seul, multimodal ordinaire, dynamique supervisée, modèle du monde récurrent), avec une réplication préenregistrée sur 120 environnements croisant trois cartes d'obstacles inédites, quatre niveaux de turbidité de l'eau et des dynamiques nominales ou décalées, incluant des pertes intermittentes du DVL (loch Doppler). Résultat: sur 120 environnements inédits avec perte programmée du DVL, AquaJEPA atteint son objectif dans 74 cas, contre 68 pour le modèle état seul et pour le modèle du monde récurrent, avec l'erreur finale moyenne la plus faible (0,906 m). Les réductions d'erreur par rapport au multimodal ordinaire, à la dynamique supervisée et au modèle récurrent sont respectivement de 0,273 m, 0,364 m et 0,106 m, toutes statistiquement significatives; l'avantage sur le modèle état seul reste en revanche non tranché statistiquement. L'enjeu dépasse la simple performance en simulation: les robots sous-marins autonomes opèrent dans des conditions où la fiabilité des capteurs varie brutalement selon la turbidité, l'angle de vue ou les mouvements du véhicule, un problème classique de navigation dégradée que peu de modèles de monde traitent explicitement avec fusion multimodale conditionnée par capteur valide. Ce travail apporte une preuve empirique, avec intervalles de confiance et ablations sur la cible EMA, la marge d'action et le dropout de modalité, que l'architecture JEPA (joint-embedding prédictive architecture) tient face à des baselines établies en robotique sous-marine, un terrain où la littérature reste plus rare que pour les manipulateurs terrestres. AquaJEPA s'inscrit dans la lignée des architectures JEPA popularisées par les travaux de Yann LeCun sur l'apprentissage de représentations prédictives sans reconstruction pixel par pixel, ici adaptées à un cas d'usage robotique concret et multimodal. L'étude reste cantonnée à la simulation Stonefish; la validation en conditions réelles, en mer ou en bassin, constitue l'étape suivante logique pour confirmer que les gains observés résistent au bruit et aux dérives physiques d'un déploiement effectif.

RecherchePaper

1 source