RecherchearXiv cs.RO 5 mai 2026

VoxAfford : fusion multi-échelle voxel-token pour la détection d'affordances 3D à vocabulaire ouvert

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie VoxAfford (Voxel-enhanced Affordance Detection), une méthode de détection d'affordance 3D en vocabulaire ouvert, disponible en preprint sur arXiv (identifiant 2605.01365, mai 2025). L'affordance 3D désigne la localisation automatique des zones d'interaction sur un objet - où saisir, pousser, verser - à partir d'une description textuelle libre et non prédéfinie. Sur les benchmarks de référence, VoxAfford affiche une amélioration d'environ 8% en mIoU (mean Intersection over Union) par rapport aux meilleures méthodes existantes. Des expériences sur robot réel valident un transfert zero-shot vers des objets inédits, c'est-à-dire non présents dans les données d'entraînement.

Le problème central adressé touche directement la robotique de manipulation : les grands modèles de langage multimodaux (MLLMs) utilisés pour générer des masques de segmentation produisent des tokens sémantiquement riches mais spatialement appauvris, parce que leur génération autorégressive modélise des dépendances séquentielles plutôt que des relations de voisinage géométrique dans l'espace 3D. VoxAfford contourne ce goulot d'étranglement en injectant des caractéristiques géométriques multi-échelles issues d'un encodeur 3D VQVAE (Vector Quantized Variational AutoEncoder) pré-entraîné et figé, directement dans les tokens de sortie après génération. Un mécanisme de cross-attention interroge les motifs géométriques à chaque échelle de voxel en utilisant la sémantique d'affordance comme requête, tandis qu'une porte de compatibilité apprise dose l'injection. Les tokens enrichis sont ensuite agrégés en un prompt d'affordance spatialement cohérent, propagé avec les features par point pour produire le masque final. Les 8% de gain en mIoU sont présentés sans détail sur les conditions exactes de benchmark, un point à nuancer avant toute comparaison directe avec d'autres travaux.

La détection d'affordance en vocabulaire ouvert constitue un verrou central pour les robots manipulateurs devant opérer en langage naturel dans des environnements non structurés, problématique partagée par les plateformes humanoïdes (Figure, Unitree, Boston Dynamics) comme par les bras industriels programmés via instruction vocale. Les approches précédentes, notamment celles étendant les MLLMs avec des tokens de sortie spéciaux, butaient précisément sur cette dichotomie sémantique-géométrique que VoxAfford tente de combler. L'architecture s'inscrit dans la tendance des modèles VLA (Vision-Language-Action) qui cherchent à réconcilier compréhension linguistique et précision spatiale - un défi que des acteurs comme Physical Intelligence (pi0), Google DeepMind (GR00T N2) et 1X affrontent également dans leurs pipelines de manipulation. La validation en robot réel avec transfert zero-shot, et non uniquement en simulation, renforce la crédibilité des résultats face au sim-to-real gap fréquemment reproché aux méthodes d'IA incarnée. Aucun acteur français ou européen n'est mentionné dans cette publication ; les suites naturelles incluent l'intégration dans des pipelines de manipulation sur des plateformes comme les bras Franka Robotics ou Universal Robots.

Impact France/UE

Impact indirect à terme : intégration possible sur des plateformes européennes (Franka Robotics DE, Universal Robots DK), mais aucune contribution ou institution FR/UE impliquée dans la publication.

Dans nos dossiers

Boston Dynamics Unitree IA physique & VLA NVIDIA GR00T

À lire aussi

1arXiv cs.RO

FUS3DMaps : cartographie sémantique à vocabulaire ouvert par fusion 3D de couches voxel et instance

Une équipe de recherche a publié le 6 mai 2026 sur arXiv (référence 2605.03669) FUS3DMaps, une méthode de cartographie sémantique 3D à vocabulaire ouvert conçue pour permettre à des robots de localiser spatialement des concepts arbitraires sans ensemble de classes prédéfini. Le système fonctionne en ligne et maintient simultanément deux couches sémantiques dans une même carte de voxels partagée : une couche dense, qui projette directement les embeddings de pixels sur la carte 3D, et une couche instance-level, qui segmente les vues, encode les régions correspondant à des objets distincts, puis les associe en 3D. Les expériences menées sur des benchmarks établis de segmentation sémantique 3D montrent que FUS3DMaps atteint une précision compétitive à l'échelle de bâtiments multi-étages, un niveau de scalabilité rarement démontré pour ce type d'approche sans entraînement supervisé. Le code et les données complémentaires sont annoncés en accès ouvert. Ce qui distingue FUS3DMaps des méthodes existantes est la fusion sémantique inter-couches (cross-layer fusion), qui combine les forces complémentaires des deux représentations : la couche dense couvre l'intégralité du champ visuel sans nécessiter de segmentation préalable, mais souffre d'un manque de précision à l'échelle ; la couche instance-level est précise sur les objets individuels mais dépend de l'association 2D-3D. En fusionnant les embeddings des deux couches au niveau voxel, la méthode améliore la qualité de chacune. Pour garantir la scalabilité, la fusion dense et inter-couches est restreinte à une fenêtre spatiale glissante, évitant l'explosion mémoire dans les grands environnements. Pour les intégrateurs de robotique mobile ou les développeurs de systèmes de navigation en environnement ouvert, c'est une piste concrète vers des robots capables de répondre à des requêtes en langage naturel sur des espaces non balisés. La cartographie sémantique à vocabulaire ouvert est un champ en plein essor depuis l'émergence des vision-language models (VLM) comme CLIP. Les approches actuelles se divisent en deux familles : les méthodes instance-level (LSeg, OpenScene, EmbodiedScan) et les méthodes dense (ConceptFusion, OpenFusion), chacune avec ses compromis entre précision et scalabilité. FUS3DMaps tente de réconcilier les deux dans un pipeline unifié, sans fine-tuning. À noter que l'article est une prépublication arXiv, sans validation par les pairs à ce stade, et que les démonstrations vidéo et le code sont encore annoncés comme "à venir". Aucune entreprise industrielle ou partenaire de déploiement n'est mentionné : il s'agit d'une contribution de recherche académique, pas d'un produit commercialisé.

RechercheActu

1 source

2arXiv cs.RO

AFUN : vers un modèle fondation d'affordances pour la compréhension fonctionnelle

Une équipe de recherche a publié le 2 juin 2026 sur arXiv (réf. 2606.02551) un modèle baptisé AFUN, conçu pour la compréhension fonctionnelle des affordances en robotique. À partir d'une unique observation RGB-D et d'une instruction en langage naturel, AFUN produit simultanément deux sorties : un masque fonctionnel conditionné par la tâche (où interagir) et une courbe de mouvement 3D post-contact (comment interagir). Les auteurs ont construit un pipeline de données standardisé à grande échelle, fusionnant des sources hétérogènes : données robotiques, humaines, issues de simulations et de scans réels, converties en un schéma d'affordance commun incluant des labels de langue, des masques et des mouvements 3D centrés sur les objets. Sur 8 jeux de test issus de 4 benchmarks, AFUN surpasse tous les modèles de référence avec un gain de +23,9 / +26,3 en gIoU/cIoU moyen pour la segmentation d'affordances, une amélioration du hit-rate de 12,7 à 61,3 % pour la prédiction du point de contact, et les meilleures performances sur les trois jeux de test pour la prédiction de mouvement 3D. L'enjeu dépasse la performance brute. Le verrou historique en manipulation robotique n'est pas le bras mais la décision : savoir où poser la pince et comment la déplacer ensuite dans un environnement non structuré. Les approches existantes traitent ces deux problèmes séparément, soit en localisant une région d'intérêt sans spécifier le geste, soit en prédisant un mouvement avec une généralisation limitée. AFUN adresse les deux en une seule passe, et surtout le fait sans finetuning spécifique à l'embodiment cible, ce qui constitue un argument fort pour des intégrateurs cherchant à déployer sur plusieurs plateformes matérielles. Le déploiement zero-shot en environnement réel démontré dans le papier soulage une contrainte d'adaptation qui représente souvent plusieurs semaines d'ingénierie. Le problème de l'affordance est étudié depuis les années 1980 (Gibson), mais sa formalisation computationnelle pour la robotique reste un chantier ouvert. Dans l'écosystème actuel, des modèles comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) intègrent des capacités d'affordance dans des pipelines VLA (Vision-Language-Action) plus larges, tandis que des travaux académiques comme AnyGrasp ou UniDexGrasp 3.0 ciblent la préhension spécifiquement. AFUN se positionne comme fondation explicable et modulaire, avec une page projet publique, mais reste à ce stade un preprint non encore évalué par les pairs : les métriques annoncées devront être validées sur des plateformes robotiques variées et en conditions industrielles avant de conclure à une percée opérationnelle.

UELes équipes R&D et intégrateurs européens travaillant sur des déploiements multi-plateformes pourraient bénéficier de la capacité zero-shot d'AFUN, mais aucun acteur français ou européen n'est impliqué.

RechercheOpinion

1 source

3arXiv cs.RO

Grounding multimodal incarné pour la manipulation mobile à vocabulaire ouvert via Gaussian Splatting sémantique 3D

Une équipe de recherche présente, dans un preprint publié sur arXiv (2608.10756v1) début août 2026, un nouveau système de manipulation mobile robotique combinant vision, langage et géométrie 3D. Baptisé Semantic-3DGS, le framework s'appuie sur du Gaussian Splatting sémantique multi-vues actif, un positionnement du socle du robot conditionné par l'atteignabilité de la cible, et une politique vision-langage-action (VLA) basée sur la diffusion. Les indices sémantiques 3D ne sont injectés que dans les derniers blocs de l'expert d'action, afin de préserver les a priori du modèle pré-entraîné. Testé sur 50 essais réels par tâche dans des espaces domestiques, le système complet atteint 60% de réussite sur des tâches longues, contre 40% pour PointVLA et 28% pour DexVLA, deux approches VLA de référence. En environnement fortement encombré, il grimpe à 74% de réussite, contre 52% pour une variante mono-vue et 46% pour PointVLA. Le système conserve 75% de réussite même après un décalage de hauteur de caméra de 75 cm, et supprime les erreurs de préhension déclenchées par des photos d'objets plutôt que les objets réels. Ces résultats ciblent un point faible connu des politiques VLA actuelles: leur dépendance à des représentations 2D ou implicites qui s'effondrent dès que la scène change de point de vue, se charge d'objets ou présente des leurres visuels comme une photo d'objet. En montrant qu'un ancrage 3D sémantique explicite et réactualisable améliore la robustesse de 20 à 30 points de réussite selon les scénarios, l'étude nuance l'idée que les grands modèles VLA généralistes suffiraient seuls à garantir une manipulation fiable hors laboratoire. Pour les intégrateurs et les équipes R&D en robotique domestique et industrielle, le signal est clair: l'écart entre démonstrations soignées et déploiement en environnement encombré reste largement une question de perception 3D, pas seulement de politique d'action. Cela conforte une tendance plus large à hybrider les architectures VLA avec des représentations spatiales explicites plutôt que de tout confier à l'apprentissage bout en bout. Le travail s'inscrit dans la lignée des méthodes de rendu par Gaussian Splatting, popularisées pour la reconstruction de scènes 3D, ici détournées vers l'ancrage sémantique en robotique. Il se positionne explicitement contre PointVLA et DexVLA, deux approches représentatives de l'état de l'art en VLA pour la manipulation, utilisées comme lignes de base dans les tests. Contrairement aux annonces commerciales du secteur, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, il s'agit ici d'une contribution académique publiée en preprint, sans robot commercial ni calendrier de déploiement associé. Aucun acteur français ou européen n'est cité dans l'étude. Les auteurs présentent leurs résultats comme une preuve de concept en laboratoire, sur des tâches de manipulation en espace domestique restreint et en few-shot, plutôt qu'un système prêt pour un déploiement à grande échelle.

RechercheActu

1 source

4arXiv cs.RO

Mémoire rétrospective à vocabulaire ouvert pour la recherche d'objets sur le long terme

Une équipe de chercheurs publie sur arXiv (2610.00330) ECROM, une méthode de mémoire à vocabulaire ouvert pour la recherche d'objets sur de longues durées par un robot mobile. Le système estime la prévalence à long terme d'un concept, spécifié uniquement au moment de la requête, et convertit cette croyance directement en prior de recherche active. Les auteurs ont aussi construit un benchmark contrôlé de dix habitats HM3D, où le placement des objets et les opportunités d'observation varient indépendamment au fil de passages répétés. Sur des requêtes jamais vues, ECROM gagne 4,5 points d'average precision (AP) au niveau du support et 4,2 points de SPL (Success weighted by Path Length, métrique de recherche d'objet) par rapport à la meilleure mémoire concurrente, mesurée séparément pour chaque métrique. Benchmark, jeu de données et code seront publiés en open source. Il s'agit d'un préprint, sans déploiement sur robot réel annoncé. L'idée centrale est de traiter les observations comme des données censurées. Une détection ou une non-détection ne pèse sur la croyance qu'en proportion de l'opportunité qu'avait le robot d'observer l'endroit concerné. Un objet « absent » d'une pièce que le robot n'a fait que traverser ne dit presque rien, alors qu'une pièce inspectée de près à de nombreuses reprises est une preuve solide. Beaucoup de mémoires sémantiques existantes accumulent détections et absences sans pondérer cette exposition, ce qui biaise l'apprentissage vers les zones les plus visitées. Pour un intégrateur ou un exploitant de robots de service, d'entrepôt ou d'assistance à domicile, c'est un problème concret, car les trajectoires réelles sont inégales par construction. Les gains restent modestes et mesurés en simulation, sur dix scènes. Ces travaux s'inscrivent dans la lignée des cartes sémantiques à vocabulaire ouvert, construites sur des modèles vision-langage, et de la navigation par objectif (ObjectNav), qui a longtemps supposé des environnements statiques ou une mémoire d'un seul épisode. La mémoire à long terme dans des environnements changeants reste moins évaluée, faute de benchmarks qui séparent l'effet du placement de celui de l'observation. C'est cette lacune que le jeu de données veut combler. Les auteurs ne comparent leur méthode qu'à d'autres mémoires, sans validation en conditions réelles. Les suites probables sont la publication du code et un test sur plateforme physique, étape qui dira si le gain tient face au bruit de perception et au changement réel des environnements.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source