RecherchearXiv cs.RO 22 septembre 2026

AquaOrbit : apprentissage par renforcement simulation-réel pour l'orbite autour d'une cible sous-marine avec retour visuel intermittent

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié le 22 septembre 2026 sur arXiv (2609.24054) une étude présentant AquaOrbit, un contrôleur par apprentissage par renforcement pour faire orbiter un robot sous-marin autour d'une cible malgré des pertes intermittentes de flux visuel. Un module de récupération exploite, lors d'une perte de détection, des références figées de ligne de visée, de roulis et de profondeur pour stabiliser le véhicule et retrouver la cible. Entraîné dans le simulateur Isaac Sim avec randomisation de la dynamique, des observations et des pertes de vision, le contrôleur a ensuite été évalué sans réentraînement dans Gazebo/ROS2, un moteur physique différent : 20 essais réussis sur 20 en cible statique comme en cible mobile, sur une trajectoire 3D à profondeur variable inédite. Face à une cible mobile, l'erreur moyenne de ligne de visée baisse d'environ 46% par rapport à un contrôleur PID de servovision équipé du même module, pour une précision de trajectoire comparable ; sans ce module, la réussite chute à 9 essais sur 20. Un déploiement physique zero-shot, perception et contrôle entièrement embarqués, a suivi des trajectoires elliptiques, en huit et circulaires à profondeur variable, avec stabilité maintenue lors d'occlusions manuelles jusqu'à 8 secondes et réacquisition de cible en 2,5 secondes.

Pour les intégrateurs de véhicules sous-marins autonomes et les opérateurs d'inspection offshore (pipelines, coques, aquaculture), ce travail cible un point de friction concret : la perte de suivi visuel en virage serré ou en eau trouble fait généralement échouer l'orbitage automatisé. Le transfert simulation-vers-réel démontré sans réentraînement, y compris sur un moteur physique distinct de celui de l'entraînement, soutient l'idée que des politiques de RL peuvent généraliser au-delà du simulateur d'origine, un point encore débattu en robotique sous-marine où bruit acoustique et optique diffèrent fortement du monde simulé. L'écart chiffré entre configurations avec et sans module de récupération (20/20 contre 9/20) quantifie l'apport réel du mécanisme plutôt que de s'appuyer sur une vidéo sélective.

Il s'agit d'une publication de recherche en preprint, sans entreprise ni produit commercial associé : un résultat scientifique, pas un déploiement industriel. Le travail se positionne face aux méthodes classiques de servovision visuelle par PID, utilisées comme référence de comparaison, et s'inscrit dans le mouvement plus large de transfert simulation-vers-réel déjà exploré pour des robots terrestres et aériens mais encore peu démontré pour l'orbitage sous-marin de cibles mobiles. Aucun acteur français ou européen n'apparaît dans cette étude. Les essais physiques réels, incluant des trajectoires absentes de l'entraînement, dépassent la simple démonstration en environnement contrôlé, mais aucun calendrier de transfert commercial ni volume de déploiement n'est communiqué à ce stade.

Dans nos dossiers

NVIDIA Isaac & Cosmos arXiv cs.RO

À lire aussi

1arXiv cs.RO

Fusion multimodale pour le transfert simulation-réel en apprentissage par renforcement visuel

Une équipe de recherche a soumis sur arXiv (identifiant 2507.09180, actuellement à la version 4) une architecture de fusion multimodale pour améliorer le transfert sim-to-real en apprentissage par renforcement visuel appliqué à la manipulation robotique. L'approche combine deux flux d'entrée, RGB et profondeur (depth), traités en parallèle par des réseaux convolutifs séparés (CNN stems), dont les représentations fusionnées sont transmises à un vision transformer (ViT) scalable. L'information de profondeur, naturellement robuste aux variations d'apparence de scène, fournit des détails spatiaux 3D absents des images RGB seules. Le pipeline intègre un schéma d'apprentissage contrastif à tokens masqués et non masqués pour améliorer l'efficacité d'échantillonnage, combiné à une randomisation de domaine progressive (curriculum-based domain randomization) pour stabiliser l'entraînement. En simulation, la méthode surpasse les baselines comparées. La validation clé se fait en transfert zéro-shot : sans ré-entraînement sur données réelles, le modèle réalise des tâches de manipulation physique. Le sim-to-real gap reste l'obstacle central en robotique d'apprentissage : les politiques entraînées en simulation échouent fréquemment face à la variabilité visuelle du monde réel. La fusion RGB + depth attaque directement ce problème en réduisant la dépendance aux indices visuels fragiles comme l'éclairage ou les textures. L'apprentissage contrastif à tokens partiels suggère une meilleure invariance aux perturbations apparentes sans nécessiter de volumes massifs de données réelles. Pour les intégrateurs industriels et les équipes de développement en manipulation, le transfert zéro-shot validé expérimentalement est un signal concret : la politique capture des abstractions géométriques suffisamment générales pour opérer hors simulation, ce qui est précisément la promesse que le secteur cherche à tenir depuis des années. Ce travail s'inscrit dans une compétition de représentations visuelles pour la robotique qui inclut la randomisation de domaine agressive popularisée par OpenAI dès 2017, les encodeurs préentraînés par masquage (MAE, R3M, DINOv2), et les politiques vision-langage-action (VLA) comme pi0 de Physical Intelligence ou OpenVLA. L'originalité revendiquée est la fusion RGB + depth au niveau du transformer plutôt qu'en aval, couplée au curriculum adaptatif. Le passage à la version 4 sur arXiv signale un travail en révision active, probablement vers une conférence type ICRA ou IROS. Les prochaines étapes attendues incluent une validation sur benchmarks standardisés (RLBench, MetaWorld) et des tests sur plateformes physiques plus complexes.

RecherchePaper

1 source

2arXiv cs.RO

Squint : apprentissage par renforcement visuel rapide pour la robotique, du simulateur au réel

Une équipe de recherche a publié une version mise à jour (v2) de son article sur arXiv, référencé 2602.21203, décrivant Squint, une méthode d'apprentissage par renforcement visuel fondée sur l'algorithme Soft Actor-Critic. Squint combine simulation parallèle, un critique distributionnel, une technique de réduction de résolution d'image baptisée "résolution squinting", une normalisation par couches, un ratio mise à jour/données optimisé et une implémentation logicielle accélérée. Les auteurs introduisent aussi le SO-101 Task Set, une nouvelle suite de huit tâches de manipulation construite dans le simulateur ManiSkill3, avec une randomisation de domaine poussée pour forcer la robustesse des politiques apprises. Résultat chiffré central : l'entraînement complet tient en 15 minutes sur un unique GPU RTX 3090, la majorité des huit tâches convergeant en moins de 6 minutes, et les politiques ainsi obtenues sont transférées avec succès à un bras robotique SO-101 réel, sans réentraînement supplémentaire signalé. L'enjeu dépasse la simple prouesse technique : le RL visuel est historiquement écarté en robotique car les méthodes off-policy, économes en données, restent lentes en temps réel, tandis que les méthodes on-policy se parallélisent facilement mais consomment beaucoup d'échantillons. Des travaux récents avaient déjà montré qu'une méthode off-policy pouvait battre l'on-policy en temps horloge pour du contrôle basé sur des états, mais l'extension à des entrées visuelles haute dimension restait un verrou, à cause du coût de stockage et d'encodage des images. En démontrant un cycle d'entraînement à l'échelle de la minute sur du matériel grand public, Squint réduit fortement la barrière à l'entrée pour prototyper des politiques visuomotrices en sim-to-real, un argument direct pour les laboratoires et intégrateurs qui cherchent à itérer vite sans cluster GPU dédié. Le SO-101 est un bras robotique peu coûteux popularisé dans l'écosystème open source de la robotique d'apprentissage, ce qui facilite la reproductibilité annoncée par les auteurs. L'article se positionne explicitly contre les approches on-policy et les méthodes off-policy visuelles antérieures jugées trop lentes en pratique. À ce stade, il s'agit d'un résultat de recherche publié sur arXiv, validé sur une suite de tâches maison et un seul robot réel, non d'un produit ou d'un déploiement industriel ; aucune feuille de route commerciale n'est mentionnée.

RecherchePaper

1 source

3arXiv cs.RO

FinsSim : une plateforme de simulation intégrée alignée sur le réel pour l'apprentissage des robots sous-marins

Une équipe de recherche présente FinsSim, une plateforme de simulation intégrée pour l'apprentissage robotique sous-marin, décrite dans un preprint publié fin septembre 2026 sur arXiv (2609.23943). FinsSim associe une simulation hydrodynamique haute fidélité à moteurs de calcul interchangeables, des lignes de base de contrôle standard et des flux de travail unifiés pour l'apprentissage robotique. Pour le transfert sim-to-real, elle intègre une fusion multi-capteurs pour une localisation précise à faible coût, des modèles calibrés reliant poussée des propulseurs et hydrodynamique, et un algorithme de répartition d'efforts sous contraintes, le tout relié via ROS 2 en un pipeline complet simulation-vers-réel. Les auteurs rapportent avoir validé ce transfert par des expériences appariées simulation/réel, complétées par des études d'ablation testant chaque module séparément. Pour l'industrie de la robotique sous-marine, marché restreint et bien moins médiatisé que celui des humanoïdes terrestres, ce travail cible un verrou concret : l'écart persistant entre simulation et réalité, aggravé sous l'eau par la difficulté à modéliser l'hydrodynamique et à localiser un robot sans GPS. En reliant simulateur calibré, capteurs fusionnés et allocation de commande sous contraintes dans un pipeline reproductible, FinsSim s'adresse aux laboratoires et intégrateurs développant des véhicules sous-marins autonomes pour l'inspection, l'intervention ou la cartographie. Contrairement aux annonces spectaculaires du secteur humanoïde, ce travail reste un outil de recherche : ni produit commercial ni déploiement en conditions réelles, mais une brique méthodologique destinée à être reprise par d'autres équipes. L'article s'inscrit dans une lignée de simulateurs sous-marins de recherche déjà existants, tels que UUV Simulator, Stonefish, HoloOcean ou DAVE, que FinsSim cherche à compléter en combinant fidélité hydrodynamique et pipeline de transfert prêt à l'emploi via ROS 2. Ce créneau reste à l'écart de la vague de financements qui entoure actuellement les robots humanoïdes terrestres et les modèles vision-langage-action, où des acteurs comme Figure AI, NVIDIA ou Physical Intelligence multiplient les annonces. Le preprint, mis en ligne fin septembre 2026, ne précise ni institution porteuse ni calendrier de publication du code source. Les auteurs indiquent vouloir réduire l'écart entre recherche théorique et applications pratiques en robotique sous-marine, sans annoncer de partenariat industriel ni de déploiement programmé à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage par renforcement sim-vers-réel pour véhicules de surface autonomes avec identification de système

Des chercheurs proposent un simulateur et une chaîne d'entraînement destinés aux navires de surface autonomes (ASV), publiés sur arXiv (2610.12202). Le travail vise à entraîner par apprentissage par renforcement (RL) des politiques de contrôle pour le suivi de trajectoire et le maintien de position (station keeping), en partant d'une dynamique de véhicule inconnue. La méthode n'exige qu'un modèle CAD et un court jeu de trajectoires relevées en eau libre. Ces données servent à approximer puis à affiner les paramètres hydrodynamiques et ceux des propulseurs, par identification de système (SysID). Les auteurs rapportent un transfert zéro-shot du simulateur vers le réel sur un ASV BlueBoat, sur les deux tâches, sans connaissance préalable de l'hydrodynamique ni des hélices. L'abstract ne donne ni taux de réussite, ni erreurs de suivi, ni durée des essais, ni nombre de trajectoires nécessaires à l'identification. L'intérêt tient à la barrière que ce travail cherche à lever. Les simulateurs d'ASV existants gèrent rarement les environnements parallèles, indispensables pour entraîner des politiques RL à grande échelle. Ils réclament aussi des paramètres hydrodynamiques précis, issus de solveurs de mécanique des fluides numérique (CFD) ou d'essais en bassin de traction, deux étapes coûteuses et longues. Si le résultat se confirme, un intégrateur pourrait déployer un contrôleur appris sur une coque nouvelle ou modifiée après quelques sorties en mer, sans campagne de caractérisation. Cela renforcerait l'idée que le sim-to-real passe par une identification légère plutôt que par une modélisation exacte. Les réserves sont nettes: la validation semble porter sur une seule plateforme, la BlueBoat, petite et de recherche, et l'abstract ne mentionne aucun test sous vent, vagues ou courants marqués. Ces conditions sont pourtant le cœur des « environnements marins dynamiques » invoqués. Sans métriques chiffrées ni comparaison annoncée avec un contrôleur classique de type PID, l'avantage du RL reste à démontrer. Ce travail s'inscrit dans la tendance du RL massivement parallèle, popularisée en robotique terrestre par des simulateurs GPU, qui a peu atteint le domaine maritime faute d'outils adaptés. La BlueBoat, plateforme compacte de Blue Robotics, est répandue dans la recherche et l'inspection, ce qui facilite la reproduction. L'approche rejoint les travaux de calibration de simulateurs à partir de données réelles, déjà courants pour les drones et les robots à pattes. La suite logique serait un test sur des coques plus grandes, en conditions de mer difficiles, et une publication du code ou du simulateur. L'abstract n'annonce ni pilote industriel ni calendrier. Il s'agit donc d'un résultat de recherche et non d'un produit disponible.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source