Gaussian Splatting anticipatif pour la…

1arXiv cs.RO

VistaVLA : modèle vision-langage-action fondé sur du 3D gaussian splatting conscient de la géométrie et de la sémantique, pour la manipulation robotique

VistaVLA, présenté dans un article arXiv publié le 15 juillet 2026, est un nouveau framework de manipulation robotique combinant vision, langage et action (VLA) qui construit une représentation 3D explicite de la scène à partir de primitives de Gaussiennes 3D. Contrairement aux modèles VLA classiques qui projettent directement instructions textuelles et images 2D vers des actions, VistaVLA fonctionne en deux étapes : il élève des caractéristiques vision-langage multi-vues en primitives gaussiennes 3D, créant des tokens sémantiques ancrés géométriquement, puis les compresse via un mécanisme baptisé Merge-then-Query (MtQ). Ce module réduit de 99% le nombre de tokens nécessaires tout en préservant les informations spatiales et sémantiques utiles à l'action. Les auteurs rapportent des gains de 22,8% du taux de réussite sur sept tâches réelles, et de 30% par rapport à la baseline VLA-Adapter sur des tâches hors distribution (out-of-distribution), en environnement simulé comme réel. Pour l'industrie robotique, ce travail cible un point faible connu des modèles VLA actuels : leur absence de représentation 3D persistante et invariante au point de vue, qui limite leur capacité à raisonner sur des contraintes géométriques et des layouts spatiaux complexes. La plupart des VLA en production s'appuient sur des flux caméra 2D bruts ou des cartes de profondeur peu structurées ; VistaVLA propose une carte cognitive 3D sémantique inspirée de la cognition humaine, un argument qui, s'il se confirme à plus grande échelle, pourrait influencer la conception des prochaines générations de politiques d'action pour bras manipulateurs et robots mobiles. Ce travail s'inscrit dans une vague de recherche académique cherchant à combler l'écart entre modèles VLA à succès commercial, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, et leurs limites documentées en generalisation spatiale. Les résultats restent pour l'instant issus d'évaluations contrôlées en laboratoire, sans déploiement industriel annoncé ; la validation sur des tâches de manipulation plus variées et à plus grande échelle reste la prochaine étape naturelle pour ce type d'approche.

RechercheActu

1 source

2arXiv cs.RO

$S^3$-Nav : prise de décision spatiale et sémantique structurée pour la navigation de robots guidée par le langage

S³-Nav, publié sur arXiv (2610.19431), est un cadre de décision structuré spatio-sémantique pour la navigation de robots guidée par le langage en observabilité partielle. Les auteurs ne supposent pas qu'une représentation complète de l'environnement est disponible d'emblée. Le système construit de manière incrémentale un état spatio-sémantique persistant, puis n'expose à la politique de haut niveau qu'une vue de capacité contrôlée, conditionnée par la tâche. Les sorties de cette politique sont traitées comme provisoires. Avant toute exécution physique ou clôture de la tâche, elles sont ancrées et validées séparément, à la fois contre les preuves sémantiques persistantes et contre les observations géométriques courantes. Les évaluations couvrent plusieurs environnements et deux familles de tâches, avec des objectifs d'objet et des objectifs de relation. Le résumé annonce une meilleure fiabilité en boucle fermée et un coût de raisonnement réduit pour la politique. Il ne donne ni chiffres, ni noms de modèles, ni précisions sur les plateformes testées. L'intérêt tient à une séparation que beaucoup de systèmes de navigation par modèles de langage ou VLA (vision-langage-action) ne font pas. Ce que le robot doit mémoriser, ce que la politique doit examiner et ce qui autorise l'action sont trois choses distinctes. Dans de nombreuses architectures, un grand modèle reçoit un contexte qui grossit à chaque pas et sa sortie déclenche directement le mouvement. Cela alourdit le raisonnement et rend les hallucinations coûteuses. Ici, la vue exposée a une taille bornée et un module de validation garde l'autorité d'exécution. Pour un intégrateur, c'est un schéma de sécurité et de maîtrise des coûts d'inférence. Il touche deux points bloquants du passage du démonstrateur à l'exploitation : la dérive en environnement réel et la facture de calcul embarqué. Les gains restent à confirmer. Un résumé sans valeurs chiffrées, sans comparaison nommée avec des méthodes existantes et sans mention d'essais sur robot réel ne permet pas de dire si l'amélioration est marginale ou structurelle. Le travail s'inscrit dans la lignée de la navigation sémantique à vocabulaire ouvert, qui associe cartes persistantes, graphes de scène et grands modèles de langage pour des objectifs formulés en langage naturel. Les limites de ces approches sont connues : contexte qui enfle, décisions peu vérifiables, échecs en boucle fermée. S³-Nav répond à ces trois problèmes par la structure plutôt que par un modèle plus gros. C'est un papier de recherche, pas un produit. Aucun déploiement, aucun partenaire industriel et aucun calendrier de pilote ne sont annoncés. Les prochaines étapes à surveiller sont la publication du code et des benchmarks, des tests sur plateformes physiques et une comparaison directe avec les approches fondées sur des graphes de scène et des VLA de bout en bout.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Anticipation sans rendu pour la vision active guidée par les questions

Des chercheurs proposent Rendering-Free Lookahead (RFL), une politique de sélection de point de vue pour la vision active robotique, décrite dans l'étude arXiv 2610.11039. Le problème visé est celui des questions dont la réponse dépend de l'angle de caméra. Pour savoir ce que contient une boîte, par exemple, il faut lever la caméra et regarder à l'intérieur. Les modèles vision-langage (VLM) savent interpréter une image déjà captée, mais pas anticiper l'utilité d'une vue qu'ils n'ont pas encore. Les auteurs définissent donc une grandeur, l'« answerability » : l'estimation par un VLM qu'une vue suffit pour répondre à la question. RFL classe les mouvements de caméra candidats selon l'answerability qu'ils devraient produire. La méthode déplace le calcul d'anticipation du déploiement vers l'entraînement. Un enseignant « privilégié » rend les vues futures candidates dans des scènes 3D Gaussian Splatting (3DGS). Un VLM gelé en déduit des cibles d'answerability à un et deux pas. Une distillation en deux étapes apprend ensuite à un modèle élève à prédire la valeur de chaque action à partir de la question, des observations récentes et du mouvement candidat. Au déploiement, l'élève choisit le mouvement sans rendre aucune vue future. Sur 377 épisodes de test du benchmark E3VS-Bench, dans des environnements inédits, RFL améliore de 43 % le score moyen d'un juge par rapport à une base de référence à action directe qui utilise le même VLM. L'intérêt pratique tient à ce qu'on évite de rendre ou de simuler des vues candidates en ligne, ce qui coûterait en latence et en calcul sur un robot réel. Le résultat soutient aussi l'idée qu'une information disponible seulement en simulation (les scènes 3DGS complètes) peut être transférée à une politique qui ne verra jamais ces scènes. Les limites sont claires. Le gain est mesuré sur un benchmark et contre une seule base de référence, avec un score attribué par un juge, donc un modèle. Rien n'indique de test sur un robot physique, ni de chiffres de latence ou de taux de réussite absolus. Il s'agit d'un résultat de recherche, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans la vision active, où l'agent choisit ses observations au lieu de subir un flux d'images fixe. Il se rapproche des approches de questions-réponses incarnées, qui exigent d'explorer pour répondre. Il profite aussi de la généralisation du 3D Gaussian Splatting pour reconstruire des scènes rendables à bas coût. La suite logique serait une validation sur matériel réel, avec des bras ou des têtes mobiles, et avec des questions plus ouvertes que celles du benchmark. Le papier, de type « cross-list » sur arXiv, ne mentionne ni entreprise ni calendrier de commercialisation.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Où rejoindre un groupe ? Prédiction d'objectif guidée par le langage pour l'agrégation de robots

Une équipe de recherche publie sur arXiv (2609.28467v1, mis en ligne le 24 septembre 2026) une méthode baptisée "language-grounded robot group joining", qui répond à une question absente de la navigation sociale classique : non pas comment rejoindre un point fixe, mais où et comment s'intégrer à un groupe humain dont l'activité et la formation évoluent en temps réel. Le système part d'une observation visuelle et d'une description en langage naturel du groupe cible pour identifier les bonnes personnes, puis calcule des poses de jonction socialement acceptables. La chaîne technique combine un partitionnement spectral récursif, qui génère des sous-ensembles candidats de personnes dans la scène, avec un modèle language-conditioned combinant image et géométrie pour classer ces sous-ensembles selon la description fournie. Une fois le groupe identifié, un module de prédiction d'objectif s'appuie sur des a priori de formations humaines (conversations, files d'attente, publics) pour produire une carte multimodale energy-orientation couvrant l'ensemble des poses robotiques envisageables. Les auteurs rapportent une inférence en moins d'une seconde, une précision d'identification du groupe comparable aux meilleures approches existantes, et des performances supérieures à toutes les méthodes de référence testées pour la prédiction de pose de jonction, validées à la fois en simulation et sur robot réel, y compris dans des interactions dynamiques. L'intérêt pratique dépasse la simple curiosité académique : les applications visées, chiens-guides robotiques et scooters de mobilité autonomes, ciblent l'assistance aux personnes à mobilité réduite ou malvoyantes dans des environnements sociaux denses, un cas d'usage largement sous-traité par la littérature en navigation robotique, historiquement focalisée sur l'évitement d'obstacles vers un but déjà connu. En prouvant qu'un robot peut interpréter une instruction en langage naturel pour localiser un groupe spécifique parmi plusieurs, puis calculer sa position d'intégration sans base de données pré-cartographiée, les auteurs adressent un maillon manquant pour les intégrateurs travaillant sur des AMR (robots mobiles autonomes) déployés en environnement humain ouvert, plutôt qu'en entrepôt structuré. Le travail s'inscrit dans la lignée des modèles vision-langage appliqués à la robotique mobile, où la formulation de tâches sémantiques complexes via instructions textuelles gagne du terrain face aux approches purement géométriques. Le papier ne mentionne ni partenariat industriel ni déploiement commercial : il s'agit d'un résultat de recherche fondamentale, testé sur trois types de configurations sociales (conversations, files d'attente, audiences) avec tailles de groupe, densités de foule et ambiguïtés visuelles variables. Aucune suite commerciale ni calendrier de transfert vers un produit n'est annoncé à ce stade.

RecherchePaper

1 source

Gaussian Splatting anticipatif pour la représentation 3D prédictive en prise-et-dépose guidée par le langage

À lire aussi

VistaVLA : modèle vision-langage-action fondé sur du 3D gaussian splatting conscient de la géométrie et de la sémantique, pour la manipulation robotique

$S^3$-Nav : prise de décision spatiale et sémantique structurée pour la navigation de robots guidée par le langage

Anticipation sans rendu pour la vision active guidée par les questions

Où rejoindre un groupe ? Prédiction d'objectif guidée par le langage pour l'agrégation de robots