RecherchearXiv cs.RO 3 août 2026

L'AquaJEPA, des représentations prédictives multimodales conditionnées par action pour la dynamique des robots sous-marins

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

AquaJEPA est un nouveau modèle prédictif conditionné par l'action, conçu pour la navigation de robots sous-marins en conditions dégradées. Le système fusionne trois sources de données, une caméra RGB, un sonar frontal et la proprioception, avec un indicateur explicite de validité de chaque capteur, puis prédit une représentation latente future à partir des commandes envoyées aux huit propulseurs du véhicule. Ces prédictions de vitesse et de profil sonar alimentent ensuite un planificateur à horizon glissant partagé. L'équipe a testé la méthode dans le simulateur Stonefish, face à cinq approches concurrentes (contrôle réactif, modèle état seul, multimodal ordinaire, dynamique supervisée, modèle du monde récurrent), avec une réplication préenregistrée sur 120 environnements croisant trois cartes d'obstacles inédites, quatre niveaux de turbidité de l'eau et des dynamiques nominales ou décalées, incluant des pertes intermittentes du DVL (loch Doppler). Résultat: sur 120 environnements inédits avec perte programmée du DVL, AquaJEPA atteint son objectif dans 74 cas, contre 68 pour le modèle état seul et pour le modèle du monde récurrent, avec l'erreur finale moyenne la plus faible (0,906 m). Les réductions d'erreur par rapport au multimodal ordinaire, à la dynamique supervisée et au modèle récurrent sont respectivement de 0,273 m, 0,364 m et 0,106 m, toutes statistiquement significatives; l'avantage sur le modèle état seul reste en revanche non tranché statistiquement.

L'enjeu dépasse la simple performance en simulation: les robots sous-marins autonomes opèrent dans des conditions où la fiabilité des capteurs varie brutalement selon la turbidité, l'angle de vue ou les mouvements du véhicule, un problème classique de navigation dégradée que peu de modèles de monde traitent explicitement avec fusion multimodale conditionnée par capteur valide. Ce travail apporte une preuve empirique, avec intervalles de confiance et ablations sur la cible EMA, la marge d'action et le dropout de modalité, que l'architecture JEPA (joint-embedding prédictive architecture) tient face à des baselines établies en robotique sous-marine, un terrain où la littérature reste plus rare que pour les manipulateurs terrestres.

AquaJEPA s'inscrit dans la lignée des architectures JEPA popularisées par les travaux de Yann LeCun sur l'apprentissage de représentations prédictives sans reconstruction pixel par pixel, ici adaptées à un cas d'usage robotique concret et multimodal. L'étude reste cantonnée à la simulation Stonefish; la validation en conditions réelles, en mer ou en bassin, constitue l'étape suivante logique pour confirmer que les gains observés résistent au bruit et aux dérives physiques d'un déploiement effectif.

À lire aussi

1arXiv cs.RO

M2R2 : représentation robotique multimodale pour la segmentation temporelle des actions

Des chercheurs ont publié fin avril 2025 sur arXiv (2504.18662) un extracteur de représentations multimodal baptisé M2R2 (MultiModal Robotic Representation for Robotic TAS), conçu pour la segmentation temporelle d'actions (TAS) en robotique. L'approche combine des informations proprioceptives (encodeurs, capteurs force-couple, état des articulations) et extéroceptives (caméras RGB) dans un extracteur de features commun, accompagné d'une stratégie d'entraînement inédite permettant la réutilisation de ces représentations sur plusieurs architectures de segmentation indépendantes. Les résultats annoncés positionnent M2R2 à l'état de l'art sur trois jeux de données de référence en robotique : REASSEMBLE (assemblage de composants), (Im)PerfectPour (versage de liquide) et JIGSAWS (chirurgie robotique laparoscopique simulée). Une étude d'ablation extensive quantifie la contribution respective de chaque modalité. L'intérêt principal de M2R2 réside dans la modularité de son extracteur : les approches multimodales existantes en robotique fusionnaient les modalités directement à l'intérieur du modèle de segmentation, rendant les features non réutilisables entre architectures. Ici, le découplage extracteur/modèle de TAS ouvre la voie à une bibliothèque de représentations partageable, ce qui réduit le coût de réentraînement lors du changement de tâche ou de robot. Sur les scénarios à faible visibilité d'objet, les extracteurs purement visuels issus du computer vision chutent en performance, là où l'ajout de la proprioception maintient la robustesse. C'est un résultat concret sur la fragilité des approches vision-seule dans des environnements industriels ou chirurgicaux réels, où occlusions et éclairage variable sont la norme. La segmentation temporelle d'actions est un verrou historique pour l'autonomie des robots manipulateurs : sans identifier les frontières entre skills (saisir, aligner, visser...), il est impossible de planifier, corriger ou réutiliser des séquences de gestes. En chirurgie robotique, JIGSAWS est le benchmark de référence depuis 2016, utilisé notamment dans les travaux autour des plateformes da Vinci (Intuitive Surgical). En robotique industrielle, des acteurs comme Wandercraft ou les équipes de manipulation de Boston Dynamics s'appuient sur des approches similaires pour les transitions de phases motrices. M2R2 reste à ce stade une contribution de recherche académique sans déploiement industriel annoncé, mais son extracteur réutilisable représente un candidat sérieux pour des pipelines d'imitation learning dans lesquels labelliser chaque skill manuellement est le principal goulot d'étranglement.

UEL'extracteur modulaire M2R2 pourrait bénéficier aux équipes de manipulation françaises (notamment Wandercraft) en réduisant le coût de labellisation dans les pipelines d'imitation learning, mais reste une contribution académique sans déploiement industriel annoncé.

RecherchePaper

1 source

2arXiv cs.RO

Appariement de flux conditionné par l'historique pour la dynamique probabiliste des robots continus à tendons

Une équipe de recherche présente, dans un article publié sur arXiv (référence 2609.25658v1), un nouveau cadre de modélisation probabiliste pour les robots continuum actionnés par tendons, une famille de bras souples utilisés notamment en chirurgie mini-invasive et en inspection industrielle. La méthode, baptisée "history-conditioned flow matching", combine apprentissage et connaissances physiques pour prédire, à partir de l'historique des mouvements et des commandes d'actionnement, la distribution probable de la configuration articulaire complète du robot à l'instant suivant, plutôt qu'une trajectoire unique déterministe. Le modèle échantillonne ensuite ces prédictions de façon récursive pour projeter le mouvement du robot sur plusieurs secondes. En simulation, sur des trajectoires de cinq secondes, le score d'énergie obtenu (plus il est bas, meilleur c'est) atteint 12,05 mm face à des variations de friction interne et 9,29 mm face à des perturbations d'actionnement non observées à l'entraînement, des résultats supérieurs aux références comparées, un autoencodeur variationnel conditionnel et des modèles de diffusion. Sur un robot physique réel, testé avec deux profils de commandes exclus de l'entraînement, le score atteint 11,91 et 11,42 mm, avec un ratio d'écart entre prédiction et mesure de 1,65 et 1,22, une valeur proche de 1 signalant une bonne calibration. Cette avancée s'attaque à un problème récurrent en robotique souple: contrairement aux bras rigides, les robots continuum souffrent d'incertitudes mécaniques difficiles à modéliser (comportement des matériaux, transmission par tendons, friction, contacts) qui rendent leur comportement partiellement imprévisible même quand la commande et la configuration mesurée sont connues. En remplaçant une prédiction déterministe par une distribution de probabilité, l'approche permet d'anticiper le mouvement le plus probable tout en quantifiant l'incertitude associée, un point clé pour planifier des trajectoires sûres en contexte chirurgical ou industriel où une erreur de positionnement coûte cher. Pour les chercheurs travaillant sur des bras souples ou hyper-redondants, ces résultats indiquent que le flow matching, déjà répandu en génération d'images et de plus en plus utilisé dans le contrôle de robots via des politiques VLA, peut aussi améliorer la modélisation dynamique de systèmes mécaniquement complexes et faiblement instrumentés. Les auteurs comparent leur méthode à deux familles de modèles génératifs probabilistes concurrents, l'autoencodeur variationnel conditionnel et la diffusion, contre lesquelles le flow matching conditionné par l'historique obtient des scores d'énergie plus bas et une couverture de l'incertitude plus proche du niveau nominal attendu, dans les deux scénarios testés. Des études d'ablation confirment que le conditionnement par l'historique des mouvements et par la structure physique du robot contribuent tous deux à la précision des prédictions. L'article ne mentionne aucun partenariat industriel ni calendrier de déploiement: il s'agit d'une contribution de recherche validée en simulation et sur un prototype de laboratoire, dont l'étape suivante serait l'extension à des continuum robots multi-segments et à des tâches de manipulation en conditions réelles.

RecherchePaper

1 source

3arXiv cs.RO

EgoWalk : un jeu de données multimodal pour la navigation robotique en conditions réelles

Une équipe de chercheurs a publié EgoWalk, un dataset multimodal de 50 heures de navigation humaine destiné à entraîner des algorithmes de navigation robotique en conditions réelles. Les données ont été collectées dans une grande variété d'environnements intérieurs et extérieurs, sur plusieurs saisons et sites géographiques différents. Le dataset comprend les données brutes ainsi qu'un format prêt pour l'apprentissage par imitation (Imitation Learning), accompagné de pipelines automatisés générant deux types de sous-datasets dérivés : des annotations d'objectifs en langage naturel et des masques de segmentation de traversabilité. L'ensemble des pipelines de traitement et la description de la plateforme matérielle utilisée pour la collecte sont publiés en open source. L'intérêt principal d'EgoWalk réside dans la rareté des datasets de navigation en conditions non contrôlées, à grande échelle et couvrant plusieurs saisons. La majorité des systèmes de navigation robotique actuels souffrent d'un écart sim-to-real persistant, faute de données réelles suffisamment diversifiées. En proposant simultanément des annotations langage naturel et des masques de traversabilité générés automatiquement, EgoWalk vise à réduire le coût de labellisation manuelle qui freine le développement de modèles vision-langage-action (VLA) pour la navigation outdoor. La publication open source des pipelines permet aux équipes de réplication de reconstruire des datasets similaires sur leur propre plateforme, ce qui est un signal positif pour la reproductibilité dans le domaine. La navigation autonome en environnements non structurés reste l'un des défis centraux de la robotique mobile, que ce soit pour les robots de livraison, les plateformes de surveillance ou les assistants mobiles. EgoWalk s'inscrit dans un mouvement plus large de constitution de datasets ego-centriques, aux côtés d'initiatives comme SCAND (UT Austin) ou des travaux de Boston Dynamics et de Google DeepMind sur la navigation en extérieur. Le fait que les données soient collectées du point de vue humain, plutôt que depuis un robot, soulève la question du transfert de domaine, que les auteurs reconnaissent implicitement en proposant des benchmarks et études de diversité. Les prochaines étapes naturelles seraient la validation sur des plateformes robotiques réelles et l'intégration dans des architectures de type foundation model pour la navigation.

RechercheActu

1 source

4arXiv cs.RO

Slot-MPC : contrôle prédictif par modèle conditionné sur des objectifs avec représentations centrées sur les objets

Des chercheurs ont publié en mai 2025 Slot-MPC (arXiv:2605.14937), un cadre de modélisation du monde combinant représentations centrées sur les objets et contrôle prédictif par modèle (MPC). L'approche encode chaque objet de la scène dans un "slot" latent distinct, appris par un encodeur visuel, puis utilise ces représentations structurées pour apprendre un modèle de dynamique conditionné sur les actions. Au moment de l'inférence, ce modèle sert de simulateur interne : l'agent planifie ses actions sur un horizon temporel fini, réoptimise à chaque pas de temps, et peut ainsi s'adapter à des situations non rencontrées pendant l'entraînement. Les expériences sont menées sur des tâches de manipulation robotique simulées, dans un cadre hors-ligne (offline) avec couverture limitée des paires état-action. La contribution principale tient à la différentiabilité du modèle appris : contrairement aux approches MPC classiques qui échantillonnent des milliers de trajectoires candidates (méthodes sans gradient, type CEM ou MPPI), Slot-MPC optimise directement les actions par descente de gradient, ce qui est significativement plus efficace en termes de calcul. Dans le cadre offline étudié, cette planification par gradient surpasse les méthodes d'échantillonnage. Les résultats montrent également que les représentations structurées objet par objet constituent un biais inductif fort : les agents Slot-MPC généralisent mieux à des situations nouvelles que les baselines à représentations latentes monolithiques, ce qui est un enjeu central pour les applications robotiques réelles où l'environnement évolue de façon imprévisible. Ce travail s'inscrit dans la lignée des recherches sur les représentations centrées sur les objets (Slot Attention de Locatello et al., 2020 ; SLATE, Dinosaur), appliquées ici au contrôle plutôt qu'à la seule perception. Il entre en compétition directe avec des modèles de monde appris comme DreamerV3 (DeepMind) ou TD-MPC2, qui utilisent des représentations latentes denses non structurées. Limite notable : toutes les expériences restent en simulation, sans transfert sim-to-real ni validation sur robot physique, ce qui est un écart important avant toute application industrielle. Le code source et les résultats complémentaires sont disponibles sur slot-mpc.github.io.

RecherchePaper

1 source