RecherchearXiv cs.RO 18 mai 2026

Graphes de scène 3D fonctionnels, hiérarchiques et holistiques, à vocabulaire ouvert pour espaces intérieurs

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié en mai 2026 sur arXiv (référence 2605.15753) une méthode pour construire des graphes de scènes 3D fonctionnels et hiérarchiques dans des espaces intérieurs, à vocabulaire ouvert. Ces graphes représentent l'environnement sous forme de noeuds objets, d'éléments interactifs et d'arêtes de relations fonctionnelles, permettant à un robot de comprendre non seulement ce qui est présent dans une pièce, mais comment les objets peuvent interagir entre eux. La contribution principale est l'extension des benchmarks existants en y intégrant des objets denses posés sur des surfaces planes (tabletop), ainsi que des relations fonctionnelles multi-niveaux explicites. Le pipeline proposé repose sur un ancrage visuel 2D (visual grounding) couplé à une optimisation de graphes 3D, combinant accumulation d'évidence, régularisation par entropie et lissage temporel pour résoudre l'association entre instances et déterminer les connexions fonctionnelles de chaque noeud. Une étape finale de structuration hiérarchique globale permet de récupérer la structure en niveaux du graphe complet.

L'intérêt de cette approche pour la manipulation robotique est concret. Les travaux antérieurs sur les graphes de scènes se concentraient sur les meubles de grande taille, laissant de côté la granularité fine nécessaire pour les tâches impliquant des objets de bureau ou de cuisine. Introduire des objets petits, denses et visuellement similaires (tasses, stylos, boîtes) crée trois défis techniques distincts: confusion entre instances lors de la fusion inter-images, incertitude d'attribution sous des points de vue dynamiques, et absence d'ancrage visuel dans le raisonnement relationnel. Le pipeline open-vocabulary présenté aborde ces trois points sans catégories prédéfinies, ce qui représente un avantage pratique pour des déploiements en environnements variés. Les expériences reportées montrent une inférence fiable sur des scènes réelles exigeantes, bien que le résumé soumis ne détaille pas de métriques quantitatives précises, ce qui rend difficile toute comparaison directe avec l'état de l'art.

Les graphes de scènes sémantiques pour la robotique sont étudiés depuis une dizaine d'années, mais leur adoption pratique a été freinée par des benchmarks limités aux grandes structures, peu représentatifs des scénarios de manipulation réelle. Ce travail s'inscrit dans une tendance plus large vers la perception embodied à vocabulaire ouvert, en concurrence directe avec les approches basées sur les champs de radiance neuronaux (NeRF, 3DGS) ou la segmentation 3D ouverte comme OpenMask3D et ConceptFusion. Ce type de représentation est fondamental pour les systèmes de planification de tâches et les robots de service opérant en environnement non structuré. Aucune timeline de déploiement industriel n'est mentionnée: il s'agit d'un preprint de recherche académique, pas d'un produit commercialisé ni d'un partenariat industriel annoncé.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

T-FunS3D : segmentation fonctionnelle 3D hiérarchique à vocabulaire ouvert guidée par les tâches

Une équipe de recherche présente sur arXiv (identifiant 2606.05975, juin 2026) T-FunS3D, une méthode de segmentation 3D fonctionnelle à vocabulaire ouvert, pilotée par la tâche. Le système prend en entrée un nuage de points 3D et des images RGB-D posées d'une scène intérieure, à partir desquels il construit un graphe de scène à vocabulaire ouvert en extrayant les instances visuelles et leurs embeddings. Lorsqu'une description de tâche en langage naturel est fournie (par exemple "ouvrir le tiroir"), T-FunS3D interroge ce graphe pour identifier les instances pertinentes, puis localise leurs composants fonctionnels précis (poignée, loquet, bouton) via un modèle vision-langage (VLM). Évalué sur le jeu de données de référence SceneFun3D, le système affiche des performances comparables à l'état de l'art en segmentation fonctionnelle 3D, tout en réduisant le temps d'exécution et la consommation mémoire par rapport aux approches exhaustives. L'enjeu est structurant pour la perception robotique en manipulation. Les méthodes existantes de segmentation 3D à vocabulaire ouvert s'arrêtent généralement au niveau objet : elles savent qu'une tasse est présente, pas où se trouve l'anse. Les approches de segmentation scénique exhaustive, elles, traitent l'intégralité de la scène indépendamment de la tâche, ce qui les rend prohibitives en temps de calcul et en mémoire pour un déploiement embarqué. T-FunS3D adopte une logique hiérarchique et sélective, seuls les objets pertinents pour la tâche courante étant analysés au niveau partie, un compromis plus réaliste pour une exécution temps réel sur un robot physique. Ce type de perception "actionnnable" est un prérequis non résolu à l'échelle pour les architectures vision-langage-action (VLA) aujourd'hui au coeur de la robotique de manipulation. La méthode s'inscrit dans un effort plus large autour de la représentation sémantique des scènes pour la robotique, dont SceneFun3D constitue le banc d'essai de référence. La tendance à intégrer des VLMs comme raisonneurs sémantiques dans la boucle de perception, plutôt que comme générateurs d'actions directs, gagne du terrain dans des travaux concurrents tels que RoboPoint ou les approches fondées sur ConceptGraphs. T-FunS3D se différencie par son architecture en graphe de scène et sa focalisation explicite sur les composants fonctionnels plutôt que sur les objets entiers. Il s'agit d'une contribution académique sans annonce de déploiement industriel. Les suites naturelles incluent l'extension à des scènes dynamiques, des objets articulés complexes et l'intégration directe dans des pipelines VLA de bout en bout.

RecherchePaper

1 source

2arXiv cs.RO

Segmentation de pièces fondée sur l'occupation pour les graphes de scène 3D hiérarchiques

Une équipe de recherche a publié sur arXiv (réf. 2606.13727, juin 2026) un pipeline baptisé OccuSG, conçu pour construire des graphes de scènes 3D hiérarchiques (3DSG) pour robots d'intérieur en ancrant la couche « pièce » à des régions de libre espace extraites d'une décomposition d'occupancy. Contrairement aux approches existantes qui s'appuient sur des clusters de lieux, des plans de murs ou des sorties de segmentation directe (sans critère géométrique commun permettant de comparer leurs résultats), OccuSG attribue à chaque nœud-pièce un contour polygonal explicite. Le pipeline a été évalué sur 12 scènes du jeu de données Matterport3D, en faisant correspondre les polygones prédits aux instances de pièces annotées, et comparé à Hydra, méthode de référence fondée sur la connectivité par lieux. Les graphes de scènes 3D hiérarchiques constituent une couche d'abstraction critique pour les robots naviguant en environnement résidentiel ou tertiaire : ils relient la perception au niveau objet (détection, segmentation) au raisonnement à l'échelle d'une pièce (navigation sémantique, planification de tâches). OccuSG affiche un rappel nettement supérieur à Hydra (davantage d'instances de pièces correctement retrouvées), mais au prix d'une précision plus faible, se traduisant en pratique par des pièces fantômes ou mal délimitées. Pour un intégrateur robotique ou un développeur AMR, le compromis est net : meilleure couverture sémantique, fidélité géométrique moindre. Les deux méthodes échouent par ailleurs à restituer des frontières de pièces précises au niveau des murs, un problème ouvert que les auteurs reconnaissent explicitement. La recherche sur les 3DSG pour robots d'intérieur est dominée depuis plusieurs années par Kimera et Hydra, développés au MIT dans le groupe de Luca Carlone, références académiques incontournables du domaine. OccuSG adopte une voie différente en privilégiant la géométrie d'occupancy plutôt que la topologie de connectivité pour représenter la pièce. Il s'agit d'un preprint arXiv et non d'un produit déployé : les expériences sont limitées à Matterport3D, un corpus de scans intérieurs statiques qui ne reflète pas les conditions dynamiques d'un robot réel. Le code est publié sur GitHub (crcz25/OccuSG), facilitant la reproduction indépendante. Les prolongements naturels incluent des évaluations sur flux temps réel et l'intégration dans des pipelines robotiques complets comme Hydra ou Kimera.

RecherchePaper

1 source

3arXiv cs.RO

FUS3DMaps : cartographie sémantique à vocabulaire ouvert par fusion 3D de couches voxel et instance

Une équipe de recherche a publié le 6 mai 2026 sur arXiv (référence 2605.03669) FUS3DMaps, une méthode de cartographie sémantique 3D à vocabulaire ouvert conçue pour permettre à des robots de localiser spatialement des concepts arbitraires sans ensemble de classes prédéfini. Le système fonctionne en ligne et maintient simultanément deux couches sémantiques dans une même carte de voxels partagée : une couche dense, qui projette directement les embeddings de pixels sur la carte 3D, et une couche instance-level, qui segmente les vues, encode les régions correspondant à des objets distincts, puis les associe en 3D. Les expériences menées sur des benchmarks établis de segmentation sémantique 3D montrent que FUS3DMaps atteint une précision compétitive à l'échelle de bâtiments multi-étages, un niveau de scalabilité rarement démontré pour ce type d'approche sans entraînement supervisé. Le code et les données complémentaires sont annoncés en accès ouvert. Ce qui distingue FUS3DMaps des méthodes existantes est la fusion sémantique inter-couches (cross-layer fusion), qui combine les forces complémentaires des deux représentations : la couche dense couvre l'intégralité du champ visuel sans nécessiter de segmentation préalable, mais souffre d'un manque de précision à l'échelle ; la couche instance-level est précise sur les objets individuels mais dépend de l'association 2D-3D. En fusionnant les embeddings des deux couches au niveau voxel, la méthode améliore la qualité de chacune. Pour garantir la scalabilité, la fusion dense et inter-couches est restreinte à une fenêtre spatiale glissante, évitant l'explosion mémoire dans les grands environnements. Pour les intégrateurs de robotique mobile ou les développeurs de systèmes de navigation en environnement ouvert, c'est une piste concrète vers des robots capables de répondre à des requêtes en langage naturel sur des espaces non balisés. La cartographie sémantique à vocabulaire ouvert est un champ en plein essor depuis l'émergence des vision-language models (VLM) comme CLIP. Les approches actuelles se divisent en deux familles : les méthodes instance-level (LSeg, OpenScene, EmbodiedScan) et les méthodes dense (ConceptFusion, OpenFusion), chacune avec ses compromis entre précision et scalabilité. FUS3DMaps tente de réconcilier les deux dans un pipeline unifié, sans fine-tuning. À noter que l'article est une prépublication arXiv, sans validation par les pairs à ce stade, et que les démonstrations vidéo et le code sont encore annoncés comme "à venir". Aucune entreprise industrielle ou partenaire de déploiement n'est mentionné : il s'agit d'une contribution de recherche académique, pas d'un produit commercialisé.

RechercheActu

1 source

4arXiv cs.RO

SAP-Nav : représentation sémantique spatiale et perception active pour la navigation hiérarchique à vocabulaire ouvert

Des chercheurs ont publié sur arXiv (2608.12707v1) SAP-Nav, un framework de navigation robotique zero-shot conçu pour suivre des instructions en langage libre désignant une cible à l'échelle de la scène, de la pièce, de la région ou de l'instance, dans des environnements inconnus (navigation hiérarchique vers des objets à vocabulaire ouvert, ou OVON). Sans entraînement dédié à la tâche ni carte préconstruite, le système bâtit en continu une représentation spatiale sémantique interrogeable à partir des vues de pièces acquises activement par l'agent, et s'appuie sur un module de vérification active du point de vue : si l'observation courante ne fournit pas assez d'indices, l'agent se repositionne vers un emplacement plus informatif avant de confronter les candidats aux contraintes de catégorie et d'attributs. Évalué sur les benchmarks LangMap et HM3D-OVON, SAP-Nav obtient les meilleurs scores globaux, avec un gain de 12,2 points de taux de réussite sur la navigation au niveau région par rapport aux méthodes entraînées spécifiquement. Des tests sur robot réel confirment la faisabilité pratique de l'approche ; le code source ne sera publié qu'après acceptation de l'article. Ce travail répond à une tension classique de la navigation robotique sous observation partielle : l'ancrage spatial exige une mémoire persistante de l'environnement, tandis que la vérification de la cible exige des vues nettes et discriminantes, deux besoins difficiles à concilier simultanément. En misant sur la perception active plutôt que sur un entraînement lourd ou des cartes précalculées, SAP-Nav généralise directement à de nouveaux lieux, un atout pour les robots de service ou les AMR devant exécuter des instructions en langage naturel sans reconfiguration site par site. Le gain annoncé reste toutefois mesuré sur des benchmarks simulés, et la démonstration sur robot réel atteste avant tout une faisabilité technique, pas un déploiement en conditions industrielles. SAP-Nav prolonge LangMap, un travail antérieur qui a formalisé ce cadre hiérarchique en distinguant indices de scène, de pièce, de région et d'instance. Il se positionne comme alternative zero-shot aux méthodes dites "training-based", qui nécessitent un apprentissage spécifique ou des cartes de scène précalculées, tout en restant compatible avec la navigation classique par catégorie. Aucune entreprise ni laboratoire n'est cité dans le résumé, ce qui indique une contribution académique sans partenariat industriel annoncé à ce stade. Les auteurs précisent que le code source sera rendu public uniquement après acceptation de l'article, signe que la publication est encore en cours d'évaluation par les pairs et que la reproduction complète des résultats n'est pas encore possible.

RecherchePaper

1 source