RecherchearXiv cs.RO 17 juin 2026

GASE : système automatisé basé sur le Gaussian Splatting pour la reconstruction d'environnements de simulation incarnée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié fin juin 2026 un système baptisé GASE (Gaussian Splatting-Based Automated System for Reconstructing Embodied-Simulation Environments), conçu pour automatiser la construction de scènes de simulation photoréalistes destinées à l'entraînement de robots. Le pipeline exploite des réseaux de caméras panoramiques multivues pour capturer l'environnement réel, extrait automatiquement les objets de premier plan via une stratégie basée sur les poses de caméras dans le domaine 2D, puis reconstruit séparément objets et arrière-plan statique par 3D Gaussian Splatting avant de les importer dans un simulateur physique avec inpainting haute-fidélité des zones manquantes. Sur des benchmarks de segmentation, GASE surpasse les méthodes 3DGS concurrentes de plus de 10 %. Surtout, lors de déploiements réels sur des tâches de manipulation et de navigation, les politiques entraînées en simulation n'affichent qu'un écart de performance inférieur à 10 % par rapport à celles entraînées sur données réelles, arXiv:2606.17520.

Ce résultat chiffré est l'argument central du papier. Le sim-to-real gap, soit la dégradation des performances lors du passage du simulateur au robot physique, reste l'un des obstacles majeurs au déploiement à grande échelle de l'apprentissage robotique. Un écart sous les 10 % suggère que la simulation générée automatiquement depuis des scans réels peut constituer un vecteur de data augmentation viable, réduisant la dépendance à des opérateurs qualifiés et à du matériel coûteux pour la collecte terrain. Pour les intégrateurs et les industriels engagés dans des projets de manipulation ou de navigation autonome, la promesse est de compresser significativement le coût des pipelines d'entraînement, à condition que la méthode tienne à l'échelle et sur des environnements plus complexes que ceux testés.

GASE s'inscrit dans la trajectoire tracée par l'émergence du 3D Gaussian Splatting en 2023 comme alternative temps-réel aux NeRF pour la reconstruction de scènes. Les approches concurrentes, notamment SplatSim, Gaussian Grouping et les pipelines d'assets manuels dans Isaac Sim ou MuJoCo, progressent en parallèle, mais l'automatisation complète de l'acquisition jusqu'à l'import simulateur reste un problème ouvert. Le preprint ne mentionne ni institution ni partenaires industriels, ce qui rend difficile l'évaluation des perspectives de transfert applicatif. Le code doit être publié ultérieurement mais n'est pas encore disponible au moment de la soumission. Le périmètre limité des tâches testées et l'absence de comparaison avec des environnements synthétiques construits manuellement laissent plusieurs questions ouvertes à la communauté.

Dans nos dossiers

NVIDIA Isaac & Cosmos arXiv cs.RO

À lire aussi

1arXiv cs.RO

NavArena : construction automatisée de bancs d'essai de navigation orientés objectifs à partir de reconstructions par 3D Gaussian Splatting

Une équipe de recherche publie sur arXiv (arXiv:2609.04602v1, septembre 2026) NavArena, un framework automatisé qui transforme des reconstructions figées en 3D Gaussian Splatting (3DGS) en bancs d'essai pour la navigation visuelle orientée objectif. Le système combine trois briques techniques : un modèle 3DGS gelé pour le rendu RGB-D en vue égocentrique, une carte d'occupation dérivée de la densité des gaussiennes et de statistiques de hauteur pour évaluer la franchissabilité du terrain et détecter les collisions, et des candidats d'objectifs sémantiques extraits de masques multi-vues en vocabulaire ouvert. Ces composants permettent de générer automatiquement des épisodes de navigation et de les évaluer selon un protocole unifié en boucle fermée. Sur plus de 2 000 scènes, NavArena a généré 22,2 millions de trajectoires expertes. Les auteurs annoncent la publication publique de tous les outils de génération de benchmarks, des protocoles d'évaluation et des jeux de données dérivés. Le problème que résout NavArena est concret : les reconstructions 3DGS offrent des vues nouvelles photoréalistes mais manquaient jusqu'ici des contraintes de franchissabilité, des objectifs valides et des protocoles en boucle fermée nécessaires pour évaluer réellement une politique de navigation. En automatisant la construction de ces bancs d'essai à grande échelle, le framework répond à un goulot d'étranglement classique de la recherche en navigation embarquée et en IA incarnée, où la création manuelle de benchmarks réalistes reste coûteuse et peu reproductible. Pour les laboratoires qui entraînent des politiques de navigation visuelle sur robots mobiles ou AMR, l'intérêt est double : un volume massif de trajectoires expertes pour l'apprentissage, et une capacité diagnostique, les auteurs précisant que les tests de politiques (rollouts) servent surtout à démontrer la valeur diagnostique du protocole d'évaluation, plutôt qu'à afficher des scores flatteurs. NavArena s'inscrit dans la généralisation du 3D Gaussian Splatting comme technique de rendu rapide et photoréaliste, de plus en plus utilisée pour construire des environnements de simulation à partir de captures du monde réel, en remplacement des maillages synthétiques des bancs d'essai historiques bâtis sur des jeux de données comme Matterport3D. Ces reconstructions 3DGS existantes manquaient jusqu'ici de la couche sémantique et physique nécessaire à une évaluation de navigation rigoureuse, se limitant à la synthèse de vues. Aucune date de disponibilité publique n'est communiquée pour l'instant : seule l'intention de publier les outils de génération, les protocoles d'évaluation et les données dérivées est annoncée, sans calendrier ni partenaire de déploiement précisé.

RecherchePaper

1 source

2arXiv cs.RO

De l'exécution passive à l'exploration active : la manipulation incarnée à base d'agents en environnements réalistes

Une équipe de recherche publie sur arXiv (référence 2609.29091, catégorie "new", soumission datée du 29 septembre 2026 selon le numéro d'article) un framework agentique de manipulation robotique baptisé approche d'exploration active, conçu pour dépasser les limites des systèmes actuels qui exécutent passivement des instructions prédéfinies. L'architecture repose sur trois modules collaboratifs : un module de planification pour le raisonnement de tâche à haut niveau, un module de perception pour la compréhension de la scène visuelle, et un module d'exécution pour la manipulation bas niveau. Les auteurs y ajoutent une stratégie d'entrelacement fin entre perception et exécution, qui couple étroitement le retour visuel à l'exécution des compétences motrices pour renforcer la robustesse de l'exploration. Le système est testé sur une tâche appelée Find-and-Place dans un environnement qualifié de réaliste, où l'objet cible n'est pas visible au départ et doit être activement localisé avant d'être saisi et déposé, en présence de distracteurs et d'indices sémantiques textuels. L'abstract ne fournit ni chiffres de performance, ni comparaison quantitative avec des méthodes concurrentes, ni détails matériels comme le payload ou les degrés de liberté du bras utilisé : il s'agit à ce stade d'une publication de recherche, pas d'un produit ou d'un déploiement commercial. L'intérêt pour l'industrie robotique tient au problème ciblé plus qu'aux résultats chiffrés. La plupart des architectures agentiques embarquées actuelles, y compris certains modèles vision-langage-action déployés en usine ou en entrepôt, restent conçues pour exécuter des instructions dans un environnement largement observable dès le départ. Ce travail pointe une limite réelle et documentée du secteur : dès qu'une cible est cachée, mélangée à des distracteurs ou seulement décrite par du texte, ces systèmes échouent faute de stratégie d'exploration active. Pour les intégrateurs qui visent des cas d'usage domestiques ou logistiques avec désordre et occlusions partielles, ce type de recherche indique que le sujet de l'autonomie perceptive sous observabilité partielle reste ouvert, contrairement à l'idée reçue que les pipelines VLA actuels suffiraient à généraliser à toute scène réelle. Ce papier s'inscrit dans la lignée des travaux récents sur les systèmes agentiques à long horizon pour la manipulation, un axe de recherche actif depuis l'essor des modèles vision-langage-action capables de planification multi-étapes. Il ne cite pas d'acteur industriel ni de robot commercial précis, se positionnant comme une contribution méthodologique plutôt qu'une annonce produit. Aucun calendrier de transfert vers un système déployé, ni partenariat industriel, n'est mentionné à ce stade ; les suites logiques attendues seraient une extension à d'autres tâches de manipulation et une évaluation comparative face aux frameworks agentiques existants.

RecherchePaper

1 source

3arXiv cs.RO

Habitat-GS : un simulateur de navigation haute fidélité basé sur le Gaussian Splatting dynamique

Des chercheurs du laboratoire ZJU3DV, rattaché à l'université du Zhejiang, ont publié Habitat-GS, un simulateur de navigation pour agents d'intelligence artificielle incarnée, construit comme extension du simulateur Habitat-Sim. Contrairement aux moteurs classiques qui reposent sur la rasterisation de maillages 3D, coûteux à produire de façon photoréaliste à grande échelle, Habitat-GS intègre un rendu par 3D Gaussian Splatting (3DGS) en temps réel ainsi qu'un import d'assets 3DGS compatible avec des sources variées. Le système ajoute des avatars humains gaussiens, dynamiques et pilotables, qui servent à la fois d'entités visuelles photoréalistes et d'obstacles de navigation actifs, tout en conservant la compatibilité complète avec l'écosystème logiciel Habitat. Les auteurs ont évalué le système sur des tâches de navigation point à point et sur des scénarios de navigation en présence d'avatars. Le code est publié sur GitHub (zju3dv/habitat-gs), sous la référence arXiv:2604.12626. Pour l'écosystème de la robotique incarnée, l'enjeu dépasse le rendu graphique: la fidélité visuelle d'un simulateur conditionne directement la capacité d'un agent entraîné virtuellement à généraliser au monde réel, un point de friction classique entre simulation et déploiement effectif. Les auteurs rapportent que des agents entraînés sur des scènes 3DGS généralisent mieux entre domaines que ceux entraînés sur des maillages classiques, et que les avatars gaussiens permettent d'apprendre des comportements de navigation dits "human-aware", capables d'anticiper des humains en mouvement plutôt que de les traiter comme des obstacles fixes. Pour les équipes développant des piles de navigation destinées à des robots mobiles ou humanoïdes opérant en entrepôt ou en environnement partagé avec des humains, cela ouvre une voie pour réduire le coût de création d'environnements d'entraînement réalistes. Habitat-GS s'inscrit dans la lignée de Habitat-Sim, simulateur open source développé par Meta AI Research et largement utilisé comme banc d'essai académique pour l'IA incarnée. Il capitalise sur le Gaussian Splatting, technique de rendu de champs de radiance devenue une alternative rapide aux NeRF pour la reconstruction photoréaliste de scènes. Le travail reste une brique de recherche plutôt qu'un produit commercial: aucun partenariat industriel, déploiement robotique réel ni calendrier de disponibilité n'est annoncé, et les résultats reposent sur des benchmarks internes. La publication du code laisse néanmoins la porte ouverte à une adoption par d'autres laboratoires travaillant sur des agents de navigation appelés à évoluer parmi des humains.

RecherchePaper

1 source

4arXiv cs.RO

Reconstruction simulation-réel pour environnements très encombrés via raisonnement physique inter-objets

Une équipe de recherche présente un pipeline Real-to-Sim capable de reconstruire des scènes 3D physiquement cohérentes à partir d'une seule image RGB-D, c'est-à-dire une capture combinant couleur et profondeur. L'approche, décrite dans un preprint arXiv (2602.12633, version 2), cible spécifiquement les environnements très encombrés où la manipulation robotique exige une compréhension précise des contacts entre objets. Le coeur du système repose sur un pipeline d'optimisation différentiable qui modélise les dépendances spatiales via un graphe de contact : chaque relation physique entre objets adjacents est représentée explicitement, puis les poses et propriétés physiques de chaque objet sont affinées conjointement par simulation de corps rigides différentiable. Les évaluations couvrent des scènes simulées et des environnements réels. Ce travail s'attaque à un problème concret qui bloque les déploiements de manipulation robotique en contexte industriel désorganisé : les pipelines de perception standard produisent régulièrement des états invalides, objets en lévitation ou interpénétrations géométriques, qui rendent la simulation en aval peu fiable et donc inutilisable pour planifier des saisies ou des déplacements. En forçant la cohérence physique dès la reconstruction, le pipeline permet d'obtenir des scènes simulées qui reproduisent fidèlement la dynamique de contact du monde réel. Pour les intégrateurs et les équipes de recherche en manipulation, c'est une brique clé pour réduire le fossé sim-to-real sans recourir à des setups multicaméras coûteux ou à des annotations manuelles. La reconstruction Real-to-Sim est un chantier actif dans la communauté robotique depuis l'essor des pipelines sim-to-real pour l'apprentissage par renforcement et l'imitation. Des approches concurrentes s'appuient sur des reconstructions NeRF ou des méthodes basées Gaussian Splatting pour obtenir la fidélité géométrique, mais elles n'intègrent pas nécessairement de contraintes physiques explicites. Ce pipeline différentiable se distingue en traitant le raisonnement inter-objets comme une contrainte d'optimisation, pas comme une post-correction. Les prochaines étapes naturelles incluent l'intégration dans des pipelines de planification de manipulation contact-rich et le test sur des scènes industrielles réelles, où le désordre et les occlusions partielles sont la norme plutôt que l'exception.

RecherchePaper

1 source