RecherchearXiv cs.RO 18 septembre 2026

Incertitude spatiale et sémantique dans la recherche de cible par VLM : équilibrer exploration et identification

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche a publié en septembre 2026 sur arXiv (arXiv:2609.20443) une formulation qui distingue deux sources d'incertitude jusqu'ici souvent confondues dans les systèmes de recherche de cibles pilotés par des modèles vision-langage (VLM) : l'incertitude spatiale, sur la localisation des candidats observés, et l'incertitude sémantique, sur la correspondance entre un candidat et la description en langage naturel de la cible. La méthode maintient des croyances probabilistes séparées pour chacune, intégrées dans une distribution globale sur l'identité de la cible incluant une masse de probabilité réservée aux cibles non encore découvertes. Un planificateur fondé sur la théorie de l'information arbitre ensuite entre explorer davantage et statuer plus tôt, via deux mesures de gain d'information attendu (EIG), l'une spatiale, l'autre sémantique. Testée sur six interfaces d'estimation d'incertitude par VLM et 500 cibles synthétiques, l'étude montre que des taux de reconnaissance similaires peuvent masquer des écarts importants de calibration et de fausse confiance. En conditions d'observation dégradée, les planificateurs basés sur l'EIG atteignent une décision fiable dans 75,0% à 92,5% des essais, contre seulement 20,0% pour une recherche aléatoire.

Pour les concepteurs de piles vision-langage-action, qu'elles s'inspirent de Pi-0, GR00T N2 ou Helix, ce travail pointe une faiblesse rarement traitée explicitement : mêler incertitude de localisation et incertitude d'identification dans un score de confiance unique pousse un robot soit à explorer inutilement, soit à valider trop vite un mauvais candidat. En séparant les deux signaux, l'étude réduit le nombre de requêtes au VLM et le temps d'exploration sans perte de précision, un enjeu concret dès qu'un appel à un modèle vision-langage a un coût de calcul et de latence en environnement embarqué. Elle rappelle aussi qu'une accuracy identique entre deux systèmes peut cacher des comportements de décision très différents selon leur calibration, un point que les intégrateurs évaluant des modèles de perception devraient garder en tête plutôt que de se fier au seul chiffre de précision annoncé.

Ce travail s'inscrit dans la recherche plus large sur l'ancrage du langage naturel dans les tâches robotiques, portée ces dernières années par la multiplication des modèles VLA généralistes censés interpréter des instructions humaines en environnement réel. Il reste un preprint arXiv non encore revu par les pairs, évalué sur des scènes synthétiques et un jeu de cibles simulées plutôt que sur un robot physique en conditions réelles, sans calendrier de validation matérielle annoncé par les auteurs. Aucun acteur industriel n'est cité dans l'étude : il s'agit d'une contribution méthodologique, à surveiller par les équipes qui cherchent à fiabiliser la recherche et l'identification d'objets par des robots dotés de modèles de perception au langage.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

ActiveLang : cartographie 3D active à vocabulaire ouvert, avec exploration guidée par l'incertitude sémantique

ActiveLang est un système autonome de cartographie 3D active à vocabulaire ouvert, décrit dans un preprint arXiv (2610.09518). Il construit des cartes 3D annotées en langage naturel pendant que le robot explore, et choisit lui-même où regarder ensuite en fonction de l'incertitude sémantique. Techniquement, le système adapte en ligne des descripteurs de langage sur une représentation compacte à double jeu de gaussiennes (variante du Gaussian Splatting). Cette représentation reconstruit conjointement la géométrie, l'apparence et la sémantique, avec un surcoût mémoire que les auteurs qualifient de modeste, sans le chiffrer dans le résumé. Le planificateur sélectionne les points de vue les plus informatifs, ce qui permet de cartographier avec moins d'observations et un coût de calcul réduit. Les tests portent sur deux jeux de données, Replica et ScanNet++. Ils montrent des gains « substantiels » en segmentation à vocabulaire ouvert, en 2D comme en 3D, face à des méthodes en ligne et hors ligne. Le résumé ne donne ni pourcentages de mIoU, ni temps de calcul, ni nombre de vues économisées. L'enjeu est de savoir quoi regarder, pas seulement comment représenter ce qu'on a vu. La plupart des cartes sémantiques à vocabulaire ouvert supposent un parcours de capture déjà fait, puis traité hors ligne. Un robot déployé dans un entrepôt, un hôpital ou un domicile ne connaît ni l'environnement ni les concepts utiles à l'avance. Il doit donc cartographier et interpréter en même temps. Si l'approche tient ses promesses, elle réduit le temps d'exploration et le calcul embarqué, deux postes qui pèsent sur la viabilité d'un déploiement. Elle permettrait aussi d'interroger la carte en langage libre (« où est le chariot rouge ? ») sans réentraîner de classifieur. Les réserves sont nettes. Replica et ScanNet++ sont des scènes d'intérieur statiques et propres, et aucune validation sur robot réel, avec bruit de capteur, dynamique ou grandes surfaces, n'est mentionnée dans le résumé. C'est un résultat de recherche, pas un produit. Le travail s'inscrit dans la convergence entre le Gaussian Splatting et les modèles vision-langage, avec des approches comme LangSplat ou Feature 3DGS pour la distillation de caractéristiques CLIP dans des scènes 3D. Ces méthodes restent souvent hors ligne et passives. À l'inverse, la cartographie active, historiquement fondée sur l'information géométrique (exploration par frontières, prochaine meilleure vue), n'intégrait pas l'incertitude sémantique. ActiveLang comble cet écart. Les prochaines étapes à surveiller sont un passage sur plateforme mobile réelle, des mesures de latence embarquée et une intégration avec des planificateurs de tâches pilotés par modèles de langage. Aucun partenaire industriel ni calendrier n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Identification et exploitation de la structure dans la co-conception de robots

Une équipe de recherche publie une nouvelle analyse du co-design robotique, c'est-à-dire l'optimisation conjointe de la morphologie d'un robot et de son système de contrôle, un problème de recherche en haute dimension particulièrement coûteux à résoudre. Les auteurs ont étudié les paysages de co-design de quatre tâches, deux de locomotion en robotique souple et deux de manipulation, et ont identifié trois régularités communes à ces espaces de recherche. D'abord, au sein d'une même région, la qualité des solutions varie principalement le long d'une variété de faible dimension, avec très peu de variation dans les directions orthogonales, ce qui réduit de fait la dimensionnalité effective à explorer. Ensuite, dans les régions de meilleure qualité, cette variance se répartit sur davantage de dimensions, ce qui oblige la recherche à élargir progressivement son périmètre à mesure que la qualité progresse. Enfin, dans ces mêmes régions de haute qualité, les variations dépendent de dimensions conjointes morphologie-contrôle, imposant une exploration couplée des deux paramètres plutôt que séparée. À partir de ces observations, les chercheurs ont conçu un algorithme de co-design qui exploite explicitement cette structure. Les résultats mesurés sont significatifs pour le secteur : l'algorithme proposé produit des co-designs 36 % meilleurs que ceux des méthodes de référence actuelles, et ces méthodes concurrentes nécessitent environ dix fois plus d'évaluations de fonction pour atteindre une qualité comparable. Pour les équipes qui conçoivent des robots souples ou des systèmes de manipulation, cela représente un gain direct en coût de calcul et en temps d'itération, un facteur souvent limitant quand chaque évaluation implique une simulation physique coûteuse. Le travail apporte surtout une preuve que la performance des algorithmes de co-design ne tient pas qu'à la puissance de calcul brute, mais à la capacité à repérer et exploiter la géométrie sous-jacente du problème, un point utile face à l'hypothèse répandue que plus d'évaluations suffit à compenser une recherche non structurée. Le co-design morphologie-contrôle reste un domaine de recherche actif, car les approches historiques traitent souvent la forme du robot et sa commande comme deux problèmes séparés, optimisés en alternance ou séquentiellement, ce qui ignore leurs interactions. Les auteurs situent leur contribution par rapport aux algorithmes de recherche évolutionnaire et bayésienne existants, qu'ils utilisent comme lignes de base, et valident leur approche par une étude d'ablation qui isole l'apport de chacun des trois principes identifiés. La publication, une version révisée déposée sur arXiv, ouvre la voie à des méthodes de co-design applicables à des plateformes robotiques réelles, où la réduction du nombre de simulations nécessaires pourrait accélérer sensiblement les cycles de conception.

RecherchePaper

1 source

3arXiv cs.RO

MUSE : quantification multimodale de l'incertitude dans l'estimation d'état

Une équipe de chercheurs a déposé sur arXiv (référence 2605.17421, mai 2026) un cadre d'apprentissage automatique baptisé MUSE (Multimodal Uncertainty Quantification of State Estimation), conçu pour quantifier en temps réel l'incertitude dans l'estimation d'état visuel. La contribution centrale porte sur l'odométrie visuelle-inertielle (VIO), technique qui fusionne données de caméra et unité de mesure inertielle (IMU) pour localiser un robot sans GPS. MUSE exploite l'architecture Mamba, modèle séquentiel à état discret proposé en 2023 comme alternative efficace aux Transformers, pour traiter plusieurs flux de capteurs asynchrones simultanément. Les expériences ont été conduites sur des jeux de données publics et des données propriétaires ; les auteurs rapportent une fiabilité et une robustesse supérieures aux méthodes existantes, sans fournir dans l'abstract de métriques chiffrées précises permettant une comparaison directe avec l'état de l'art. L'enjeu dépasse la simple précision de localisation : savoir quand ne pas faire confiance à une estimation est aussi critique que l'estimation elle-même. En navigation autonome, en conduite sans conducteur et en vol autonome, une erreur non détectée peut provoquer une collision ou un abandon de mission. Le problème est particulièrement difficile en VIO car la distribution des erreurs est hétéroscédastique (la variance évolue selon les conditions lumineuses, les textures, la vitesse) et multimodale (plusieurs hypothèses de pose simultanément plausibles). Une quantification d'incertitude fiable ouvre la voie à des mécanismes embarqués de détection de défaillance et de dégradation gracieuse, deux capacités très recherchées par les intégrateurs de systèmes autonomes en industrie. L'estimation d'état visuel est un domaine très actif, où filtres de Kalman étendus, graphes de facteurs (GTSAM, g2o) et méthodes neuronales récentes (DPVO, DROID-SLAM) se concurrencent sur des benchmarks standard comme EuRoC ou TUM-VI. Mamba gagne du terrain dans les tâches de séquences longues, et MUSE s'inscrit dans cette tendance en l'appliquant à la fusion sensorielle multi-modale. Aucune affiliation institutionnelle ni partenariat industriel n'est mentionné dans l'abstract, et le papier n'a pas encore été soumis à une revue à comité de lecture confirmée. Les performances annoncées restent donc à valider indépendamment avant toute intégration dans un pipeline de production.

RecherchePaper

1 source

4arXiv cs.RO

Le bruit d'exploration modulé par l'incertitude empêche l'effondrement des tâches dans le fine-tuning RL en ligne d'une politique VLA à flow matching

Une équipe de recherche publie le 25 septembre 2026 sur arXiv (2609.28838) une étude sur le fine-tuning par apprentissage par renforcement en ligne de politiques vision-langage-action (VLA) à flow-matching, la piste privilégiée pour des robots qui continuent d'apprendre après déploiement. Les auteurs testent SmolVLA, modèle compact de 450 millions de paramètres développé par Hugging Face, entraîné avec l'algorithme PPO et un échantillonnage stochastique (SDE) sur le benchmark de manipulation LIBERO-10, à budget de calcul identique et volontairement restreint. Trois stratégies de bruit d'exploration sont comparées: un bruit à échelle fixe, un réseau de bruit appris façon ReinFlow, et un contrôleur dit "uncertainty-gated" qui redistribue l'exploration entre les tâches à partir de signaux de nouveauté et de compétence, sans étiquette de tâche ni découpage en épisodes. Résultat mesuré: le bruit fixe fait s'effondrer des tâches individuelles ("task collapse") sur deux graines aléatoires sur trois, le bruit appris s'effondre sur les trois graines avant l'itération 200, alors que le contrôleur ne s'effondre sur aucune des trois. Aucun des trois réglages ne dépasse la simple baseline de clonage comportemental dans ce budget. Fait technique annexe: en entraînement bfloat16 sans copie maîtresse fp32, 96,02% des poids du réseau d'action restent identiques bit à bit sur trois itérations consécutives, tandis qu'une copie fp32 au même taux d'apprentissage fait s'effondrer les deux bras testés, sur une seule graine observée. L'intérêt pour l'industrie tient au problème qu'elle documente plutôt qu'à une solution livrée: le fine-tuning RL en continu, promis comme moyen de faire progresser des robots VLA une fois sur le terrain, peut détruire silencieusement la compétence sur des tâches précises alors que les métriques agrégées restent rassurantes, un piège pour tout intégrateur qui déploierait une boucle d'apprentissage continu en production sans suivi tâche par tâche. L'étude tempère aussi l'hypothèse selon laquelle le RL en ligne améliorerait mécaniquement des politiques VLA préentraînées: dans ce budget de calcul, aucune variante ne bat le clonage comportemental initial. C'est un signal de prudence pour les décideurs B2B face aux discours sur l'apprentissage continu des robots humanoïdes ou manipulateurs, à valider par des mesures par tâche et non par des courbes de récompense globales. Le travail s'inscrit dans la lignée des politiques VLA à flow-matching type Pi-0 ou GR00T N2, en s'appuyant sur SmolVLA, la politique VLA compacte et ouverte publiée par Hugging Face, et sur LIBERO, benchmark standard d'évaluation de politiques de manipulation. Il prend pour référence directe ReinFlow, approche antérieure de bruit appris pour les politiques de flux, utilisée ici comme point de comparaison plutôt que comme solution retenue. Il s'agit d'un article de recherche, pas d'un produit livré ni d'un pilote industriel: les auteurs mettent à disposition leurs outils de mesure du collapse par tâche selon quatre définitions, ainsi que leurs méthodes de recalcul du bruit et d'étalonnage instrumental, sans calendrier de déploiement annoncé.

UEAucun acteur ni déploiement français ou européen mentionné dans l'étude, seul le modèle SmolVLA (Hugging Face, société d'origine française) sert de testbed de recherche.

RecherchePaper

1 source