Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
VLEM : cartographie 3D vision-langage par embeddings en temps réel
RecherchearXiv cs.RO 

VLEM : cartographie 3D vision-langage par embeddings en temps réel

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié une version révisée (v2) de l'article arXiv 2508.06291 présentant VLEM (Vision-Language Embedding Mapping), un système de cartographie sémantique 3D en temps réel qui fonctionne à partir d'un simple flux RGB-D brut, sans poses de caméra vérité terrain. Le framework fusionne des embeddings vision-langage 2D alignés au pixel, issus de différents modèles vision-langage, dans une représentation 3D globalement cohérente et métriquement précise. Comparé à trois systèmes existants, ConceptFusion, Open-Fusion et RayFronts, VLEM affiche de meilleures performances en segmentation en vocabulaire ouvert et une représentation plus compacte en mémoire. Les auteurs démontrent aussi son usage sur des tâches de manipulation robotique interactive en temps réel et sur des scénarios de cartographie mobile.

La compréhension sémantique de scène en robotique exige des représentations à la fois précises au sens métrique et interrogeables en langage naturel en temps réel, combinaison que les modèles vision-langage peinent à tenir une fois intégrés à un pipeline 3D, freinés par le coût de calcul, les contraintes mémoire et la dépendance habituelle à des poses caméra vérité terrain rarement disponibles hors laboratoire. En s'appuyant uniquement sur un flux RGB-D brut, VLEM lève ce verrou et rapproche cette cartographie sémantique d'un déploiement robotique réel, hors environnement instrumenté. Pour les équipes de recherche en manipulation ou en navigation mobile, cela ouvre la voie à des robots interrogeables en langage naturel directement sur une carte 3D construite à la volée. La comparaison à ConceptFusion, Open-Fusion et RayFronts reste un benchmark choisi par les auteurs, à confirmer par des évaluations indépendantes.

VLEM s'inscrit dans la lignée des travaux combinant modèles vision-langage type CLIP et pipelines de SLAM pour doter les robots d'une compréhension du monde interrogeable en langage naturel, citant explicitement ConceptFusion, Open-Fusion et RayFronts comme repères directs plutôt qu'une rupture inédite. Il s'agit à ce stade d'une publication de recherche en preprint sur arXiv, sans produit, partenariat industriel ni calendrier de déploiement annoncés ; la mention "replace" signale une révision d'une soumission initiale. La suite attendue pour ce type de travail est la publication du code et une évaluation communautaire sur des jeux de données standardisés, avant une éventuelle reprise par des acteurs commerciaux de la robotique.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

GaussLite : cartographie robotique en temps réel par 3D Gaussian Splatting conditionnée par tâche
1arXiv cs.RO 

GaussLite : cartographie robotique en temps réel par 3D Gaussian Splatting conditionnée par tâche

Des chercheurs présentent GaussLite, un système de cartographie 3D par Gaussian Splatting (3DGS) conditionné par la tâche, décrit dans un article publié sur arXiv (arXiv:2606.30809v1). Contrairement aux systèmes 3DGS classiques qui répartissent uniformément leur capacité de représentation sur toute une scène, GaussLite concentre le calcul embarqué sur les zones pertinentes pour une tâche donnée, exprimée en langage naturel comme "se préparer à saisir l'objet sur le bureau". Le système combine un parseur LLM en une passe pour extraire les objets cibles et de référence, un détecteur en vocabulaire ouvert pour les localiser image par image, et une segmentation produisant des masques de pertinence par pixel en temps réel. La densité de semis des gaussiennes, le flux de gradient et la mise à l'échelle sont ensuite alloués selon cette pertinence. À budget de gaussiennes équivalent et en cartographie temps réel à 4 Hz sur du matériel aux ressources limitées, GaussLite surpasse les méthodes de référence de 2,72 dB en moyenne sur le PSNR de la région d'intérêt (ROI) sur le jeu de données Replica, et de 2,23 dB lors de démonstrations sur matériel réel en intérieur et extérieur. Cette approche répond à un goulot d'étranglement concret pour la robotique embarquée : les plateformes mobiles ou manipulateurs disposent d'une puissance de calcul limitée, et gaspiller des cycles à reconstruire finement des murs ou du mobilier hors sujet pénalise directement la précision là où elle compte, sur l'objet à saisir ou l'obstacle à éviter. En priorisant explicitement la scène par la tâche plutôt que par la géométrie brute, GaussLite s'attaque à un problème récurrent des pipelines de perception pour la manipulation et la navigation autonome : l'écart entre fidélité de reconstruction globale et utilité réelle pour la décision robotique. L'équipe démontre aussi qu'il est possible de fusionner en temps réel les cartes de deux agents spécialisés sur des tâches différentes, via un vote par voxel sur le nombre d'optimisations actives, avec un gain de 3,42 dB par rapport à une simple concaténation, tout en ne partageant que 7,08% de la carte en moyenne, un résultat qui intéresse directement les scénarios multi-robots ou essaims. GaussLite s'inscrit dans la lignée des travaux récents combinant 3D Gaussian Splatting et robotique, un domaine en forte expansion depuis l'adoption de cette technique de rendu comme alternative aux NeRF pour la cartographie en temps réel. La contribution se distingue des systèmes 3DGS génériques en intégrant directement un module de compréhension du langage et de détection ouverte pour piloter l'allocation de ressources, plutôt que de traiter la sémantique comme une étape séparée en aval. Les auteurs ne précisent pas de plan de déploiement industriel ni de partenariat commercial ; il s'agit à ce stade d'un travail de recherche évalué sur Replica et sur un banc de test matériel propre à l'équipe, sans comparaison publiée face à des architectures commerciales de cartographie temps réel.

RecherchePaper
1 source
COLIP-2 : embeddings olfaction-vision-langage
2arXiv cs.RO 

COLIP-2 : embeddings olfaction-vision-langage

COLIP-2, pour Contrastive Olfaction-Language-Image Pre-training 2, est un modèle d'embeddings multimodal présenté dans un article arXiv (2607.17559v1) qui intègre l'olfaction comme modalité à part entière aux côtés de la vision et du langage. Le système projette dans un espace de représentation partagé quatre types de données : structure moléculaire, lectures de capteurs de gaz, descripteurs textuels d'odeurs et images, ce qui permet à un robot d'associer de façon probabiliste une odeur détectée à un objet visible dans une scène. Les auteurs pointent l'absence de tout jeu de données image-odeur à l'échelle d'ImageNet, un manque qu'ils identifient comme le principal frein du domaine et qui justifie, selon eux, la collecte de nouvelles données. L'équipe rapporte des résultats de tests internes sur l'architecture et décrit des optimisations pour faire tourner le modèle en edge computing, en vue d'applications robotiques temps réel. L'enjeu dépasse la curiosité académique. La perception robotique repose aujourd'hui presque exclusivement sur la vision et, de plus en plus, le langage via les modèles VLA, laissant l'odorat quasi inexploité malgré son utilité pour la détection de fuites de gaz, le contrôle qualité alimentaire, la recherche et sauvetage ou la maintenance industrielle. En montrant qu'un espace d'embeddings unifié olfaction-vision-langage est réalisable et déployable en edge, COLIP-2 ouvre une piste pour les intégrateurs souhaitant ajouter une modalité sensorielle sans repartir de zéro. Mais les auteurs cadrent eux-mêmes leur travail comme une démonstration des limites atteignables avec les données olfactives ouvertes actuelles, plutôt qu'un système prêt à l'emploi : l'article ne publie aucun benchmark chiffré vérifiable, ni précision, ni taille de corpus, ni comparaison à l'état de l'art, ce qui invite à la prudence sur la maturité réelle de l'approche. COLIP-2 s'inscrit dans la lignée des modèles de type CLIP, qui ont déjà étendu le principe d'espace d'embeddings partagé à la vision, au langage, puis à l'audio et à la profondeur ; l'olfaction restait jusqu'ici largement absente de cette convergence, faute de capteurs standardisés et de corpus annotés. Le suffixe "2" du nom suggère une itération sur une première version non détaillée dans ce papier. Les auteurs, issus de la robotique mais nourris par des experts de plusieurs disciplines académiques et industrielles, positionnent explicitement COLIP-2 comme un point de départ argumentatif : justifier auprès de la communauté le besoin de financer et construire de nouvelles méthodologies et jeux de données olfactifs, plus qu'un livrable fini. Les prochaines étapes attendues sont la publication de ces corpus et des évaluations comparatives plus rigoureuses.

RecherchePaper
1 source
OREN-X : réseau octree résiduel pour la cartographie multimodale en temps réel
3arXiv cs.RO 

OREN-X : réseau octree résiduel pour la cartographie multimodale en temps réel

Publié en septembre 2026 sur arXiv (2609.29157), OREN-X est un système de cartographie 3D temps réel pour robots qui réunit dans un même octree trois informations traitées jusque-là séparément : la géométrie pour la planification, la radiance pour le rendu et la relocalisation, et des features vision-langage pour la reconnaissance d'objets en vocabulaire ouvert. Un apprentissage de dictionnaire en ligne comprime ces features jusqu'à 3,7 fois tout en améliorant la précision des requêtes. Sur le benchmark Replica, OREN-X cartographie à plus de 80 images par seconde pour le SDF (distance signée) seul et plus de 30 images par seconde pour les quatre modalités combinées, avec une précision SDF améliorée de 33% et un score mIoU en vocabulaire ouvert en hausse de 71% par rapport à la meilleure méthode antérieure. L'intérêt tient à la mutualisation : plutôt que de faire tourner des pipelines séparés pour la géométrie, le rendu et la compréhension sémantique, ce qui multiplie mémoire et calcul embarqués, OREN-X fait cohabiter ces représentations et en tire une synergie mesurée, les estimations SDF étant affinées par les données d'occupation et de radiance. Pour l'autonomie longue durée des robots mobiles, cela répond à un frein concret à la mise en production : exécuter navigation, rendu visuel et compréhension de scène en langage naturel sans faire exploser la charge de calcul embarquée. Les gains en vocabulaire ouvert suggèrent un ancrage sémantique plus fiable sans sacrifier la vitesse, même si ces résultats restent obtenus en simulation sur Replica et non sur un robot physique en conditions réelles. Ce travail s'inscrit dans une recherche où la cartographie robotique traitait jusqu'ici séparément les représentations SDF/TSDF pour la géométrie, les champs de radiance neuronaux ou le splatting gaussien pour le rendu, et des embeddings type CLIP pour l'ancrage sémantique, chacun avec son propre coût mémoire. OREN-X se positionne comme une alternative unifiée, appuyée sur un octree partagé et un parcours de rayons accéléré par GPU pour le rendu temps réel. Publié en preprint sur arXiv sans évaluation par les pairs à ce stade, l'article ne précise ni les auteurs ni de calendrier de tests sur robot réel ; il reste, pour l'instant, une contribution validée en simulation plutôt qu'un système prêt à l'intégration industrielle.

RecherchePaper
1 source
Capteur cutané conforme pour la cartographie en temps réel de la forme
4arXiv cs.RO 

Capteur cutané conforme pour la cartographie en temps réel de la forme

Des chercheurs ont présenté sur arXiv (preprint 2605.01170, mai 2025) un capteur souple et conforme capable de reconstruire en temps réel la déformation tridimensionnelle d'une surface flexible, sans recourir à la vision. Le dispositif intègre un réseau 2D de jauges de contrainte imprimées à base d'indium-gallium eutectique oxydé (o-EGaIn), emboîtées en miroir dans un film élastomère. Un réseau de 5x5 capteurs espacés de 12 mm mesure les contraintes hors axe neutre, et un modèle d'observation informé par la mécanique des matériaux, couplé à une routine d'optimisation rapide, estime simultanément la courbure locale, l'élongation, le décalage et l'orientation. Le système atteint une erreur moyenne de reconstruction de surface de 0,62 mm avec une latence de 100 ms, testée sur des scénarios combinant étirement, flexion et indentation. Les démonstrations incluent le suivi de gestes de la paume, l'indentation par un doigt, et la déformation d'un ballon sous contact. Ce résultat est notable parce qu'il adresse une limitation structurelle des approches visuelles existantes : la nécessité d'une ligne de visée et d'une instrumentation complexe, incompatibles avec les environnements occultés ou à espace contraint, notamment la chirurgie mini-invasive, les prothèses ou les doigts de préhension robotique. La précision sub-millimétrique à 10 Hz ouvre un espace d'utilisation pour le suivi épidermique du mouvement, l'interaction haptique à retour de forme, et la surveillance peropératoire en temps réel, sans nécessiter de marqueurs externes ni de caméras. Il s'agit cependant d'un preprint académique : aucun produit n'est annoncé ni commercialisé. Les capteurs à base d'EGaIn liquide-métal sont étudiés depuis une décennie pour leur déformabilité et leur conductivité, mais la reconstruction 3D continue à partir de mesures de contraintes distribuées reste un problème ouvert. Les approches concurrentes incluent les capteurs à fibre optique (FBG), plus précis mais rigides et coûteux, et les peaux tactiles matricielles à base de matériaux piézorésistifs ou capacitifs. Ce travail se distingue par la combinaison d'une fabrication par impression, d'un modèle mécanique intégré et d'une latence compatible avec le contrôle en boucle fermée. Les prochaines étapes naturelles sont l'intégration sur un effecteur robotique souple ou un instrument chirurgical, et la tenue à l'autoclave pour la stérilisation.

RecherchePaper
1 source