RecherchearXiv cs.RO 14 juillet 2026

Can we Trust Unreliable Voxels ? Exploration de la prédiction d'occupation sémantique 3D face au bruit d'étiquetage

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente OccNL, le premier benchmark dédié à l'évaluation de la prédiction d'occupation sémantique 3D sous bruit d'annotation asymétrique et sous "traînées dynamiques", ainsi que DPR-Occ, une méthode conçue pour rester robuste face à ces défauts. Le papier, publié sur arXiv (2603.06279v2, version corrigée d'un texte déjà soumis), part d'un constat concret: dans les jeux de données réels de perception 3D par voxels, les annotations sont souvent corrompues par des artefacts structurels et par des effets de traînée liés aux objets en mouvement, ce qui fausse l'entraînement des modèles de perception. Les auteurs montrent que les techniques de gestion du bruit d'étiquetage qui fonctionnent bien en 2D s'effondrent totalement une fois transposées aux espaces voxels 3D, beaucoup plus épars. DPR-Occ répond à ce problème par un raisonnement à partir d'étiquettes partielles double source, combinant la mémoire temporelle du modèle et une mesure d'affinité structurelle au niveau des représentations, pour étendre puis élaguer dynamiquement les ensembles de labels candidats. Sur le benchmark SemanticKITTI, la méthode maintient des performances stables même à 90% de bruit d'étiquetage, avec des gains allant jusqu'à 2,57 points de mIoU et 13,91 points d'IoU par rapport aux méthodes de référence adaptées depuis la 2D. Code et benchmark seront publiés sur GitHub (mylwx/OccNL).

L'enjeu dépasse l'exercice académique: la prédiction d'occupation 3D est un composant central de la perception embarquée, aussi bien pour les véhicules autonomes que pour les robots mobiles (AMR) et, de plus en plus, pour la navigation des robots humanoïdes en environnement dynamique. Or les annotations 3D de terrain sont coûteuses et intrinsèquement imparfaites, notamment autour des objets mobiles. Démontrer qu'un système de perception peut rester fiable malgré un bruit d'étiquetage massif renforce la viabilité de pipelines d'entraînement moins dépendants d'annotations manuelles parfaites, un enjeu direct pour les intégrateurs qui doivent déployer ces systèmes en sécurité.

SemanticKITTI, dérivé du jeu de données KITTI de l'université de Karlsruhe, reste la référence pour la segmentation sémantique LiDAR en conduite autonome, ce qui inscrit ce travail dans la lignée des efforts de robustesse en perception embarquée plutôt que dans une logique de produit commercial. Les auteurs positionnent explicitement leur approche comme un pont entre les recherches en apprentissage sous bruit d'étiquetage, jusqu'ici centrées sur la 2D, et les besoins spécifiques de la perception 3D pour la robotique en environnement dynamique et safety-critical.

Impact France/UE

Le benchmark SemanticKITTI utilise provient de l'Institut de technologie de Karlsruhe en Allemagne, mais aucune entreprise ou réglementation française/européenne n'est directement impliquée dans cette étude.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Cartographie prédictive sémantique pour l'exploration et la navigation

Une équipe de chercheurs publie sur arXiv (2610.10382) une étude sur la cartographie prédictive sémantique pour l'exploration et la navigation robotique. Leur point de départ : les cartes d'occupation seules, qui estiment les zones non observées à partir d'observations partielles, ne distinguent pas des structures sémantiquement différentes mais géométriquement proches. Une porte intérieure apparaît ainsi comme une cellule occupée, au même titre qu'un mur, alors qu'elle signale une pièce ou un couloir au-delà de la zone observée. Pour tester l'effet d'un indice sémantique, les auteurs modifient un sous-ensemble du jeu de données CogniPlan en insérant des ambiguïtés liées aux portes dans les cartes d'occupation partielles, sans toucher aux cartes de référence. Ils comparent deux modèles entraînés sur ces mêmes données : un modèle témoin purement géométrique et un modèle à indice sémantique, qui reçoit un canal supplémentaire dédié aux portes. L'évaluation repose sur l'erreur L1, le score F1 et l'intersection sur union (IoU), mesurés sur la carte entière puis sur un masque de 10 pixels autour des portes. Sur la carte entière, les deux modèles restent proches. Dans la zone des portes, l'erreur L1 passe de 0,004342 à 0,000025, tandis que le F1 et l'IoU passent de 0,031311 et 0,015905 à 1,000000 chacun. Pour les intégrateurs et les équipes qui déploient des robots mobiles en intérieur (bâtiments, entrepôts, hôpitaux), le résultat va dans le sens d'une intuition répandue : la géométrie seule laisse des angles morts exploitables, et un signal sémantique léger suffit à les combler localement. Un robot qui sait qu'une cellule occupée est une porte peut anticiper ce qui se trouve derrière et planifier son exploration en conséquence, ce qui compte pour la cartographie autonome et la recherche de cibles. Il faut cependant lire les chiffres avec prudence. Un F1 et un IoU de 1,0 sur le masque des portes indiquent que la tâche est ici quasi triviale : les ambiguïtés ont été injectées artificiellement dans des cartes simulées, et le modèle reçoit en entrée la position exacte des portes. Le gain est donc une borne haute obtenue en conditions idéales. Il ne dit rien de la robustesse face à des portes détectées par perception réelle, avec bruit, faux positifs et portes fermées ou entrouvertes. L'absence d'amélioration sur la carte entière montre aussi que l'effet reste très localisé. Ce travail s'appuie sur CogniPlan, un cadre de planification d'exploration reposant sur la prédiction de cartes, dont il reprend les données. Il s'inscrit dans un courant plus large qui cherche à intégrer des cartes sémantiques et des modèles de perception dans la planification de trajectoire, en concurrence avec des approches fondées sur de grands modèles de vision et langage pour le raisonnement spatial. Les prochaines étapes logiques sont de remplacer l'indice de porte fourni par un détecteur appris, de tester sur des environnements réels et d'étendre l'approche à d'autres classes sémantiques (escaliers, ascenseurs, vitres). Aucun déploiement ni calendrier n'est annoncé : il s'agit à ce stade d'une preuve de concept de recherche, sans produit associé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Prédiction d'occupation sémantique multimodale panoramique pour robots quadrupèdes

Des chercheurs présentent PanoMMOcc, premier jeu de données réel d'occupation sémantique multimodale panoramique conçu pour des robots quadrupèdes, réunissant quatre modalités de capteurs collectées dans des scènes variées. A partir de ce jeu de données, l'équipe propose VoxelHound, un framework de perception d'occupation adapte a la locomotion sur pattes et a l'imagerie sphérique a 360 degrés. Il repose sur deux modules : Vertical Jitter Compensation (VJC), qui corrige les perturbations de point de vue provoquées par le tangage et le roulis du corps pendant la marche, et Multimodal Information Prompt Fusion (MIPF), qui fusionne les indices visuels panoramiques avec les modalités auxiliaires pour affiner la prédiction volumétrique. Sur le benchmark établi a partir de PanoMMOcc, VoxelHound revendique des résultats état de l'art avec un gain de +4.16 points de mIoU par rapport aux méthodes existantes. Le jeu de données et le code source doivent être publies sur le dépôt GitHub SXDR/PanoMMOcc, référençant le papier sous l'identifiant arXiv 2603.13108, dans une version révisée. L'enjeu tient au fait que les méthodes de prédiction d'occupation actuelles ont été conçues pour des véhicules a roues et reposent lourdement sur des indices RGB, une approche mal adaptee aux robots a pattes dont le corps oscille verticalement a chaque cycle de marche, dégradant la cohérence spatiale des modèles existants. En fournissant le premier jeu de données réel et un benchmark spécifiques a ce cas d'usage, ce travail comble un manque concret pour les intégrateurs qui cherchent a déployer des quadrupèdes dans des environnements dynamiques comme des entrepôts ou des chantiers extérieurs. Le gain de +4.16 en mIoU reste toutefois une mesure interne, évaluée sur le benchmark propre des auteurs, sans comparaison indépendante tierce a ce stade. La prédiction d'occupation 3D s'est surtout développée dans le contexte de la conduite autonome, avec des architectures pensées pour des plateformes a roues stables et des rigs multi-cameras fixes. L'essor de plateformes quadrupèdes commerciales, capables de franchir des terrains irréguliers, a mis en évidence l'absence d'outils de perception robustes a ce type de mouvement non rigide. La publication conjointe du dataset et du code vise a faciliter les recherches futures sur la perception 3D multimodale panoramique pour les systèmes robotiques incarnes. Il s'agit pour l'instant d'un travail de recherche académique, sans annonce de déploiement industriel ni de partenaire commercial associe.

RecherchePaper

1 source

3arXiv cs.RO

MobileOcc : un jeu de données d'occupation sémantique sensible à l'humain pour robots mobiles

Une équipe de recherche publie MobileOcc, un jeu de données d'occupation sémantique 3D pour robots mobiles opérant en environnements piétons denses, un scénario peu couvert comparativement à la conduite autonome. L'article, référencé arXiv 2511.16949, décrit un pipeline d'annotation combinant occupation d'objets statiques et un nouveau cadre d'optimisation de maillage pour les humains : leur géométrie déformable est reconstruite à partir d'images 2D puis affinée avec des points LiDAR associés. Le jeu de données alimente deux benchmarks, la prédiction d'occupation et la prédiction de vitesse des piétons, testés avec des méthodes monoculaires, stéréo et panoptiques dotées de métriques et d'implémentations de référence reproductibles. La méthode d'annotation est aussi validée sur des jeux de données d'estimation de pose humaine 3D, avec des résultats jugés robustes ; le code et les données sont publiés sur autonomousrobots.nl. La perception d'occupation dense est une brique critique pour la navigation sécurisée des robots mobiles au contact d'humains, en entrepôt, en hôpital ou en espace public, où anticiper position et mouvement d'un piéton conditionne l'évitement de collision. La plupart des jeux de données d'occupation 3D existants visaient l'automobile, avec des scènes routières peu représentatives des couloirs et halls parcourus par les robots de service. Modéliser les humains comme des objets déformables plutôt que comme de simples boîtes englobantes, et publier des baselines multi-capteurs reproductibles, comble un manque de standardisation qui facilitera la comparaison des systèmes de perception chez les intégrateurs. Ce travail s'inscrit dans une tendance de transfert des techniques de perception nées pour la conduite autonome vers la robotique mobile et humanoïde, à mesure que LiDAR et architectures d'occupation 3D se banalisent. MobileOcc reste un jeu de données et un protocole d'évaluation académiques, sans déploiement industriel annoncé, et il s'agit d'une version corrigée de la publication initiale sur arXiv. L'ouverture du code et des données vise à établir une référence que d'autres laboratoires pourront reprendre pour comparer leurs modèles de perception en environnement piéton, chantier ouvert tant pour la recherche que pour de futurs usages commerciaux en robotique de service.

RecherchePaper

1 source

4arXiv cs.RO

GEM-Occ : de l'évidence géométrique visuelle à la mémoire d'occupation sémantique incarnée

Résumé rédigé pour l'article scientifique arXiv 2607.05543 (GEM-Occ / HIOcc) : Une équipe de recherche publie GEM-Occ, un nouveau système de mémoire spatiale pour agents robotiques évoluant en intérieur, accompagné de HIOcc, un benchmark qui unifie trois jeux de données de référence : ScanNet, ScanNet++ et Matterport3D, sous un format commun d'occupation sémantique creuse. Contrairement aux approches existantes limitées à la prédiction sur une seule vue ou à la perception au niveau d'une pièce, HIOcc évalue la cartographie sémantique sur trois échelles : locale, au niveau de la pièce en temps réel, et au niveau du bâtiment entier à partir de vues panoramiques connectées. GEM-Occ, de son côté, traite les prédictions de géométrie visuelle comme des preuves transitoires plutôt que comme un état de carte persistant : il les convertit en évidence d'occupation gaussienne sémantique et en évidence de rayons d'espace libre, puis les fusionne dans une mémoire hiérarchique via des mises à jour causales tenant compte de la visibilité et de l'incertitude. Cette mémoire s'organise en caches locaux, sous-cartes par pièce et graphe à l'échelle du bâtiment, interrogeable à tout moment par splatting gaussien vers occupation. Cette publication s'attaque à un angle mort réel de la navigation robotique en intérieur : la plupart des méthodes actuelles de cartographie sémantique tiennent bien sur une pièce isolée mais se dégradent sur des environnements connectés de grande taille, typiquement les bâtiments à plusieurs étages qu'un robot de service ou un agent domestique doit mémoriser durablement. En démontrant une amélioration mesurable sur la stabilité de carte en ligne, la cohérence lors de revisites de lieux déjà explorés, et le raisonnement sur l'espace libre, GEM-Occ répond directement à un écart connu entre démonstrations en laboratoire sur environnement unique et déploiement réel multi-pièces. Pour les équipes qui conçoivent des piles de perception pour robots mobiles autonomes (AMR) ou humanoïdes destinés à des environnements industriels ou domestiques complexes, ce travail suggère qu'une mémoire hiérarchique explicite pourrait remplacer avantageusement les représentations par nuage de points classiques, plus coûteuses à maintenir sur le long terme. Le travail s'inscrit dans la lignée des recherches sur l'occupation sémantique, un champ qui a longtemps privilégié la prédiction ponctuelle à partir d'une image RGB-D unique, sans traiter la question de la mémoire persistante à l'échelle d'un bâtiment. GEM-Occ se positionne face aux méthodes de cartographie basées sur des représentations gaussiennes ainsi qu'aux baselines d'occupation indoor existantes, qu'il dépasse selon les auteurs sur l'ensemble des régimes d'évaluation de HIOcc. La publication de ce benchmark unifié, s'appuyant sur trois jeux de données déjà largement utilisés par la communauté (ScanNet, ScanNet++, Matterport3D), devrait faciliter les comparaisons futures entre approches de cartographie sémantique et accélérer les travaux sur la navigation longue durée des agents incarnés, un prérequis pour tout déploiement robotique au-delà du prototype de laboratoire.

RecherchePaper

1 source