RecherchearXiv cs.RO 21 mai 2026

Perception active et contrôle tenant compte des conflits dans les champs de Gaussian Splatting 3D via des fonctions barrière de contrôle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (référence 2605.20566) un cadre algorithmique baptisé "conflict-aware active perception and control" pour robots évoluant dans des environnements modélisés par 3D Gaussian Splatting (3DGS). L'approche repose sur un programme quadratique unifié qui traite simultanément deux objectifs antagonistes : la sécurité, imposée comme contrainte dure via une Control Barrier Function (CBF), et l'acquisition d'information, traitée comme contrainte souple assouplie par des variables de relâchement (slack variables). La CBF est dérivée d'une métrique de risque de collision dite Average Value-at-Risk (AV@R), qui intègre l'incertitude géométrique de la carte et garantit mathématiquement l'invariance avant d'un ensemble sûr. Pour maximiser la perception, le système sélectionne la prochaine meilleure vue (next-best-view) via une formulation risk-aware de l'Expected Information Gain (EIG), et oriente la caméra vers la direction de montée d'information locale grâce à des "perception barrier functions". Les résultats présentés sont issus de simulations uniquement, sans validation sur plateforme physique.

Le problème central que ce travail adresse est structurel : dans un environnement partiellement inconnu, les vues les plus informatives se trouvent précisément dans les zones les moins cartographiées, donc les plus à risque de collision. Les approches existantes basées sur 3DGS traitaient ces deux objectifs séparément ou par simple pondération, sans garanties formelles. Formuler la sécurité comme contrainte inviolable tout en relaxant la perception permet aux décideurs B2B et aux intégrateurs robotiques d'envisager des robots d'exploration actifs qui cartographient des environnements industriels non balisés sans compromis ad hoc entre productivité et sécurité. L'amélioration simultanée de la sécurité et du gain d'information, comparée aux méthodes 3DGS concurrentes, constitue un signal technique intéressant, même si l'absence d'expériences réelles limite pour l'instant la portée de la validation.

Le 3DGS s'est imposé comme représentation de référence pour les champs de radiance neuronaux depuis 2023, supplantant progressivement le NeRF grâce à sa vitesse de rendu et sa différentiabilité. Les CBF sont un outil établi en commande sûre, mais leur intégration dans des champs neuronaux pour la perception active reste un axe de recherche émergent. Aucune institution ni entreprise n'est explicitement nommée dans l'abstract, et aucun déploiement industriel n'est annoncé. Les concurrents directs sont les méthodes d'exploration active basées NeRF et les planificateurs next-best-view classiques. Les prochaines étapes naturelles seraient une validation sim-to-real sur plateforme physique et des tests dans des scènes plus complexes.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

SplatCtrl : couplage perception-action via représentations de scène gaussiennes et contrôle robotique réactif

Des chercheurs présentent SplatCtrl, un système qui combine reconstruction 3D en temps réel et contrôle réactif de bras robotique pour éviter les collisions dans des environnements inconnus et changeants. Le framework s'appuie sur le 3D Gaussian Splatting, une technique de représentation de scène par nuages de gaussiennes 3D, et introduit une méthode hybride de filtrage voxel combinée à une relocalisation dynamique des gaussiennes, permettant de reconstruire la scène à partir de flux RGB-D tout en s'adaptant aux changements de l'environnement en continu. Pour le contrôle, les auteurs dérivent des fonctions de distance signée continues directement depuis les gaussiennes isotropes, ce qui fournit des estimations de probabilité de collision stables et différentiables, faisant le pont entre les champs de distance classiques et les représentations implicites modernes. Ces métriques sont ensuite injectées dans des fonctions de barrière de contrôle (control barrier functions), aboutissant à un couplage perception-action unifié capable de générer des mouvements fluides en réaction aux changements de scène. Le système a été validé en simulation, sur un robot physique réel, et dans un espace de travail partagé humain-robot. L'intérêt pour l'industrie tient à la promesse centrale du papier: rendre les bras manipulateurs, aujourd'hui performants surtout en environnement structuré et statique, capables d'opérer en sécurité dans des contextes dynamiques et partagés avec des humains, sans reprogrammation manuelle des trajectoires. Si les résultats se confirment à plus grande échelle, cela toucherait directement les intégrateurs industriels et logistiques confrontés à des cellules de travail non figées, ainsi que les applications de cobotique où la coexistence humain-robot impose une réactivité aux obstacles imprévus. C'est aussi un signal supplémentaire que le 3D Gaussian Splatting, initialement pensé pour le rendu photoréaliste, s'impose progressivement comme brique de perception robotique. Le travail s'inscrit dans une lignée de recherches récentes cherchant à exploiter le 3D-GS pour la robotique, au-delà de son usage d'origine en vision par ordinateur et rendu de scènes. L'article ne précise pas d'affiliation industrielle ni de partenaire de déploiement identifié: il s'agit d'une contribution de recherche académique publiée sur arXiv, sans indication de commercialisation ni de calendrier de transfert vers un produit. Les prochaines étapes attendues concernent le passage à l'échelle sur des scènes plus complexes et des tests prolongés en conditions réelles d'usine ou d'entrepôt.

RecherchePaper

1 source

2arXiv cs.RO

D-SafeMPC : commande prédictive sûre par diffusion avec fonctions barrières de contrôle en temps discret

Traduction et résumé en cours pour cet article de recherche sur D-SafeMPC. Des chercheurs présentent D-SafeMPC, une méthode qui combine modèles de diffusion et commande prédictive (MPC) pour générer des trajectoires robotiques à la fois sûres et faisables physiquement. Le problème de départ est connu : les modèles de diffusion, très utilisés en planification de mouvement, ne garantissent intrinsèquement ni la sécurité ni le respect des contraintes dynamiques, ce qui produit parfois des trajectoires irréalisables. Coupler diffusion et MPC existait déjà, mais l'approche restait instable, car une mauvaise initialisation de trajectoire par le modèle de diffusion empêchait le MPC de converger vers une solution correcte. D-SafeMPC guide le processus de diffusion inverse à l'aide de fonctions barrières de contrôle (CBF) et de fonctions de Lyapunov de contrôle (CLF), avec un schéma de projection itératif où le MPC affine la trajectoire à chaque étape de débruitage. Les tests ont porté sur un bras manipulateur Franka, en simulation sur quatre scénarios (un obstacle statique, trois configurations à obstacles dynamiques), puis en conditions réelles sur un robot Franka physique via une expérience de transfert sim-to-real. Le code source et les configurations expérimentales sont publiés sur GitHub (erdiphd/D-SafeMPC). L'intérêt de ces travaux dépasse le cas d'usage du bras manipulateur : ils s'attaquent directement à un point de friction connu entre planification générative et robotique déployable. Les modèles de diffusion produisent des trajectoires plausibles statistiquement, mais rien ne garantit qu'elles respectent les contraintes physiques d'un robot réel ou évitent des obstacles mobiles, un écart classique entre démonstration et fiabilité opérationnelle. En stabilisant l'interaction diffusion-MPC dès la phase de débruitage plutôt qu'en post-traitement, D-SafeMPC vise à fournir des points de démarrage fiables ("warm starts") au contrôleur, ce qui améliore selon les auteurs le taux de succès des tâches et l'efficacité de planification par rapport aux méthodes de référence de l'état de l'art. Pour les équipes travaillant sur la manipulation en environnement partagé avec des humains ou des obstacles mobiles, c'est un signal que les architectures hybrides génératif-contrôle progressent sur la sécurité formelle, un enjeu central pour toute certification industrielle. Ce travail s'inscrit dans une lignée de recherches cherchant à réconcilier planification par apprentissage profond et garanties de sécurité issues du contrôle classique, un axe actif depuis l'essor des politiques de diffusion en robotique (type Diffusion Policy). Les CBF et CLF sont des outils établis en commande sûre, mais leur intégration fine dans une boucle de diffusion itérative reste un domaine ouvert. La validation sim-to-real sur Franka, bras couramment utilisé en recherche académique, reste un test de complexité modérée comparé à des déploiements industriels ou humanoïdes ; la suite logique serait une extension à des plateformes à plus haute dimensionnalité ou à des tâches multi-obstacles plus denses.

RecherchePaper

1 source

3arXiv cs.RO

VistaVLA : modèle vision-langage-action fondé sur du 3D gaussian splatting conscient de la géométrie et de la sémantique, pour la manipulation robotique

VistaVLA, présenté dans un article arXiv publié le 15 juillet 2026, est un nouveau framework de manipulation robotique combinant vision, langage et action (VLA) qui construit une représentation 3D explicite de la scène à partir de primitives de Gaussiennes 3D. Contrairement aux modèles VLA classiques qui projettent directement instructions textuelles et images 2D vers des actions, VistaVLA fonctionne en deux étapes : il élève des caractéristiques vision-langage multi-vues en primitives gaussiennes 3D, créant des tokens sémantiques ancrés géométriquement, puis les compresse via un mécanisme baptisé Merge-then-Query (MtQ). Ce module réduit de 99% le nombre de tokens nécessaires tout en préservant les informations spatiales et sémantiques utiles à l'action. Les auteurs rapportent des gains de 22,8% du taux de réussite sur sept tâches réelles, et de 30% par rapport à la baseline VLA-Adapter sur des tâches hors distribution (out-of-distribution), en environnement simulé comme réel. Pour l'industrie robotique, ce travail cible un point faible connu des modèles VLA actuels : leur absence de représentation 3D persistante et invariante au point de vue, qui limite leur capacité à raisonner sur des contraintes géométriques et des layouts spatiaux complexes. La plupart des VLA en production s'appuient sur des flux caméra 2D bruts ou des cartes de profondeur peu structurées ; VistaVLA propose une carte cognitive 3D sémantique inspirée de la cognition humaine, un argument qui, s'il se confirme à plus grande échelle, pourrait influencer la conception des prochaines générations de politiques d'action pour bras manipulateurs et robots mobiles. Ce travail s'inscrit dans une vague de recherche académique cherchant à combler l'écart entre modèles VLA à succès commercial, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, et leurs limites documentées en generalisation spatiale. Les résultats restent pour l'instant issus d'évaluations contrôlées en laboratoire, sans déploiement industriel annoncé ; la validation sur des tâches de manipulation plus variées et à plus grande échelle reste la prochaine étape naturelle pour ce type d'approche.

RechercheActu

1 source

4arXiv cs.RO

Apprentissage de modèles du monde par Gaussian Splatting centrés sur les objets et conditionnés par les actions pour objets rigides

Une équipe de chercheurs publie MRO-GWM (Multi Rigid Object Gaussian World Model), un modèle de monde action-conditionnel capable de prédire en 3D les effets des actions d'un robot sur des objets rigides. Déposé sur arXiv (réf. 2606.01950), le travail combine Gaussian splatting et apprentissage de dynamique : chaque objet de la scène est décrit par un ensemble de gaussiennes dans un référentiel canonique propre, son mouvement étant modélisé comme une transformation de corps rigide (rotation et translation). Un transformateur spatio-temporel prédit la trajectoire future des objets à partir de leur historique gaussien et des actions planifiées par le robot. L'architecture gère les occlusions partielles grâce à un entraînement sur reconstructions multi-vues. Les évaluations portent sur des datasets synthétiques d'objets ménagers en interaction avec un effecteur robot, et sur des tâches de manipulation non préhensile (pousser un objet sans le saisir) dans le cadre d'un contrôle prédictif par modèle (MPC), le tout exclusivement en simulation. L'association de modèles de monde action-conditionnels et de Gaussian splatting est pertinente : les premiers permettent de planifier sans essai-erreur coûteux, le second offre une représentation 3D différentiable adaptée à des géométries complexes sans maillage explicite. La décomposition objet-centrique améliore en théorie la généralisation à de nouvelles configurations de scène, contrairement aux encodages holistes. La validation sur manipulation non préhensile est notable car pousser un objet vers une cible est considéré comme un benchmark difficile : les contacts sont instables et mal modélisés par la plupart des simulateurs physiques. Ces résultats restent toutefois entièrement simulés et limités aux objets strictement rigides, sans aucun transfert sim-to-real documenté. Le Gaussian splatting connaît une adoption rapide en robotique depuis la publication de 3DGS (Kerbl et al., 2023), avec des travaux concurrents comme SplatSim, GaussianWorld ou des approches combinant NeRF et planification. MRO-GWM se distingue par son traitement explicite de la dynamique multi-objets avec interactions physiques, un axe moins couvert que la navigation ou la préhension isolée. Le gap sim-to-real demeure le verrou principal : une validation sur bras réel (type Franka ou UR5) constituerait l'étape naturelle, tout comme une extension aux objets articulés ou semi-rigides, aujourd'hui hors périmètre du modèle.

RecherchePaper

1 source