RecherchearXiv cs.RO 2 juin 2026

URDF-Anything+ : génération bout-en-bout d'actifs articulés prêts pour la simulation

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié sur arXiv en mars 2026 URDF-Anything+, un modèle de diffusion autorégressive générant des fichiers URDF (Unified Robot Description Format) à partir d'une seule image RGB. Le URDF est le format standard dans l'écosystème ROS et les simulateurs physiques (MuJoCo, Isaac Sim, Gazebo) pour décrire la géométrie et la cinématique des objets articulés. Le système opère dans un espace latent structuré et prédit séquentiellement chaque partie de l'objet avec ses paramètres de joint (type, axe, limites de mouvement), un token de terminaison déterminant dynamiquement le nombre de segments à générer. Évalué sur des benchmarks à grande échelle d'objets articulés, il surpasse les méthodes existantes en reconstruction géométrique, en précision des paramètres de joints et en "physical executability", soit la capacité des URDF produits à s'exécuter directement dans un simulateur sans post-traitement manuel.

L'enjeu pour les roboticiens et ingénieurs de simulation est direct : produire des digital twins d'objets articulés réels (tiroirs, portes, vannes, équipements industriels) reste un goulot d'étranglement dans les pipelines de sim-to-real. Les approches classiques imposent segmentation manuelle, retrieval depuis des bibliothèques 3D (PartNet, ShapeNet) ou des pipelines multi-étapes coûteux à maintenir. URDF-Anything+ compresse ce processus en une passe unique, sans retrieval ni post-traitement externe. Le résultat le plus significatif est le transfert zero-shot : des politiques de manipulation entraînées exclusivement en simulation sur des URDF générés ont été transférées dans des environnements réels sans fine-tuning supplémentaire, ce qui constitue une validation directe que le sim-to-real gap sur les objets articulés peut être partiellement absorbé par la fidélité du jumeau numérique.

La reconstruction d'objets articulés depuis des observations visuelles est un problème ouvert depuis plus d'une décennie. Des travaux antérieurs comme PARIS, ArticulatedFormer et NSM avaient progressé sur la segmentation et l'estimation cinématique, mais butaient sur la généralisation et l'utilisabilité directe en simulateur. URDF-Anything+ s'inscrit dans la tendance des modèles génératifs 3D orientés simulation, aux côtés des Gaussian Splattings dynamiques et des NeRF articulés. La recherche (arXiv:2603.14010) ne mentionne pas d'affiliation industrielle ni de plan de commercialisation : il s'agit d'un résultat purement académique. L'intégration naturelle serait dans les pipelines de génération de données synthétiques pour la manipulation robotique, domaine où Physical Intelligence, le Boston Dynamics AI Institute et les équipes Nvidia Isaac Lab investissent massivement en ce moment.

Impact France/UE

Les équipes académiques européennes en manipulation robotique (INRIA, DLR, TU Munich) pourraient intégrer cet outil dans leurs pipelines de données synthétiques, mais aucun acteur français ou européen n'est directement impliqué.

Dans nos dossiers

Boston Dynamics NVIDIA Isaac & Cosmos Physical Intelligence — π0 Manipulation robotique

À lire aussi

1arXiv cs.RO

USDCraft : modélisation programmatique d'actifs 3D articulés, ancrée géométriquement, pour la simulation

Des chercheurs présentent USDCraft, un cadre logiciel où un grand modèle de langage (LLM) préentraîné, sans entraînement spécifique à la tâche, écrit et révise des programmes exécutables qui génèrent des objets 3D articulés prêts pour la simulation. Les sorties sont des actifs au format USD avec des propriétés physiques explicites, chargés dans Isaac Sim sans réglage manuel. Le système repose sur deux mécanismes. L'analyse de la géométrie source convertit le maillage d'origine en une description textuelle métrique, qui distingue la surface observée de l'espace inconnu. Le recontrôle géométrique itératif ré-encode chaque candidat dans la même représentation, de sorte que les écarts indiquent directement les modifications à apporter au programme. Un retour visuel et des consignes d'écriture physique complètent la boucle. Les auteurs annoncent une récupération de l'articulation supérieure à l'état de l'art sur deux benchmarks, et une validation sur des tâches de manipulation robotique « real-to-sim-to-real ». Le résumé ne chiffre ni les scores, ni les temps de génération, ni le coût en appels au modèle. Pour les équipes qui entraînent des politiques de manipulation en simulation, le goulot d'étranglement est souvent l'acquisition d'objets articulés fidèles : portes, tiroirs, charnières, avec des limites de joint et des paramètres physiques corrects. Les méthodes actuelles à base de maillages apprennent à inférer l'articulation à partir d'actifs 3D annotés, mais elles se dégradent dès que l'objet réel sort de la distribution d'entraînement ou que son maillage est incomplet ou corrompu, ce qui est fréquent après un scan. En traitant la reconstruction comme une modélisation programmatique, avec des régions non observées laissées ouvertes à la complétion plutôt que devinées, USDCraft déplace le problème vers un LLM généraliste piloté par des vérifications géométriques. Si les résultats tiennent à l'échelle, cela réduirait le travail manuel d'authoring d'actifs chez les intégrateurs et les laboratoires. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs, sans chiffres publics dans le résumé, et la preuve de transfert réel repose sur un nombre d'expériences non précisé. Le travail s'inscrit dans la course à la génération d'actifs de simulation, où les approches par apprentissage sur jeux de données annotés (reconstruction d'articulations à partir de maillages) rencontrent des limites de généralisation. L'écosystème OpenUSD et Isaac Sim de NVIDIA s'impose comme cible commune pour la simulation robotique, ce qui explique le choix du format. L'approche rejoint la tendance à utiliser les LLM comme générateurs de code pour la scène et l'objet, par opposition aux modèles de génération 3D entraînés de bout en bout. Les suites logiques seraient une publication du code et des actifs, des comparaisons directes avec les méthodes mesh-based sur des scans réels bruités, et une évaluation sur des objets plus complexes à plusieurs articulations. Aucun acteur européen n'est mentionné dans le résumé, et aucun calendrier de déploiement industriel n'est annoncé.

RecherchePaper

1 source

2arXiv cs.RO

Awomo-SimDataEngine : génération de mondes prêts pour la simulation à base d'agents

Awomo-SimDataEngine, un système agentique décrit dans un preprint arXiv (2610.02274), relie la génération d'actifs et de scènes 3D à la synthèse de démonstrations robotiques. Il s'appuie sur des services d'actifs partagés fournissant des objets rigides et articulés, dont des pièces et articulations générées via ISArt. Deux voies de génération de scènes coexistent : Unravel reconstruit des scènes éditables à partir d'images, tandis que SimForge construit des environnements d'une ou plusieurs pièces à partir de texte. Un « harnais » en graphe orchestre construction, validation et réparation bornée : une défaillance est routée vers le module fautif sans perdre l'état des éléments intacts. PolicyForge associe ensuite les mondes validés à des tâches et à des morphologies de robot pour produire des démonstrations rejouables. Sur le benchmark LIBERO-Plus, basé sur MuJoCo, le co-entraînement avec des démonstrations générées sous Isaac Sim fait passer le taux de réussite global d'un World-Action Model (WAM) de 77,17 % à 89,43 %. Les gains atteignent 31,66 points sur les tâches de type « goal » et 6,25 points sur les tâches « spatial ». Les auteurs reconnaissent des progrès plus limités sur les tâches à long horizon. L'intérêt tient moins au modèle qu'à la chaîne de production de données. Le goulot d'étranglement du apprentissage par imitation est de plus en plus la qualité des scènes : une image plausible ne suffit pas, il faut des objets manipulables, des placements physiquement valides et des tâches reproductibles. En intégrant validation et réparation automatiques, le système traite ce problème en amont plutôt que par filtrage manuel. Le résultat est aussi un signal pour le transfert inter-simulateurs : des données créées sous Isaac Sim améliorent une politique évaluée sous MuJoCo, ce qui suggère que le gain ne vient pas d'un simple recouvrement entre moteurs. Il faut toutefois relativiser : il s'agit d'un seul benchmark simulé, sans transfert vers un robot réel, et le faible gain sur les horizons longs montre que l'enchaînement de sous-tâches reste un point dur. Le chiffre global de 12,3 points est aussi à lire à la lumière d'une base WAM déjà élevée, et les auteurs ne détaillent pas dans le résumé le volume de données ajouté. Ce travail s'inscrit dans la course à la génération de données synthétiques pour les modèles vision-langage-action (VLA) et les modèles de monde. Des approches comme la génération procédurale de scènes, les pipelines de type Isaac Sim/Omniverse de NVIDIA ou les jeux de données issus de la téléopération visent le même objectif : réduire la dépendance à la collecte coûteuse sur robot réel. Aucune entreprise, aucun produit commercial ni calendrier de déploiement n'est annoncé, et aucun acteur européen n'est cité dans ce résumé. Les prochaines étapes logiques seraient une validation sur matériel réel, une évaluation sur d'autres benchmarks et une amélioration de la génération de tâches longues, aujourd'hui le maillon faible.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

SceneSmith : génération à base d'agents de scènes intérieures prêtes pour la simulation

SceneSmith est un framework agentique hiérarchique, présenté dans un preprint arXiv (2602.09153v2), qui génère des environnements intérieurs prêts pour la simulation robotique à partir de prompts en langage naturel. Le pipeline décompose la génération en trois étapes successives : layout architectural, placement de meubles, peuplement d'objets de petite taille. Chaque étape est pilotée par un trio d'agents VLM (vision-language model) jouant les rôles de designer, critique et orchestrateur. Pour les objets statiques, SceneSmith utilise la synthèse texte-vers-3D ; pour les objets articulés (portes, tiroirs, armoires), il interroge des bases de données d'assets existantes et estime automatiquement les propriétés physiques. Les résultats mesurés : 3 à 6 fois plus d'objets que les méthodes concurrentes, moins de 2 % de collisions inter-objets, 96 % des objets stables sous simulation physique. Une étude utilisateur conduite auprès de 205 participants donne à SceneSmith 92 % de taux de victoire sur le réalisme et 91 % sur la fidélité aux prompts face aux baselines -- des chiffres à interpréter avec prudence, les études perceptuelles restant par nature subjectives. L'enjeu central est le sim-to-real gap : les environnements synthétiques actuels sont trop épars et trop ordonnés pour que les politiques apprises soient transférables dans un foyer réel. SceneSmith cible directement ce problème en générant des scènes denses et encombrées, avec des objets articulés et des propriétés physiques cohérentes. Si les métriques annoncées résistent à une évaluation indépendante, cela réduit significativement le coût de constitution de jeux de données de simulation pour l'entraînement de politiques de manipulation, qu'il s'agisse de VLA ou de diffusion policies -- un besoin direct d'équipes comme Physical Intelligence ou Skild AI. Les auteurs démontrent que le pipeline s'intègre dans une boucle d'évaluation automatique de politiques robotiques, ce qui est précisément l'étape manquante pour industrialiser le cycle entraînement-évaluation en simulation. La génération automatique d'environnements intérieurs pour la robotique repose depuis des années sur des datasets à annotation manuelle coûteuse comme AI2-THOR, iGibson ou BEHAVIOR-1K, ou sur la génération procédurale (ProcTHOR), dont les scènes manquent de réalisme et de densité. SceneSmith s'inscrit dans une tendance plus large d'orchestration par LLM et VLM pour la génération 3D, une voie également explorée par Holodeck (Allen Institute for AI) et RoomDreamer. Aucun partenariat industriel ni timeline de déploiement n'est mentionné dans le papier, ce qui en fait pour l'instant une contribution de recherche, sans acteur français ou européen identifiable dans l'écosystème décrit. La connexion directe à l'évaluation de politiques signale néanmoins une ambition claire d'intégration dans des pipelines d'entraînement réels, à mesure que la course aux robots domestiques s'intensifie.

RecherchePaper

1 source

4arXiv cs.RO

GSAM : un cadre robotique sûr et généralisable pour la manipulation d'objets articulés

Des chercheurs ont publié sur arXiv (référence 2605.30740) GSAM, un framework conçu pour la manipulation d'objets articulés (tiroirs, portes, robinets) par des robots de service. Le système combine quatre modules : un percepteur visuel qui extrait les paramètres cinématiques (axe de rotation, amplitude de mouvement), un raffineur basé sur un VLM fine-tuné utilisant le raisonnement par chaîne-de-pensée (CoT) pour corriger les estimations brutes, un générateur de contraintes d'interaction qui encode la géométrie de l'objet et l'évitement d'obstacles, et un planificateur cinématique qui vérifie l'atteignabilité avant exécution. Sur 50 tâches de type charnière réparties en 5 catégories d'objets et 50 configurations initiales aléatoires de l'effecteur, GSAM améliore le taux de succès de 36,0 % par rapport à la meilleure baseline existante, avec une réduction de l'écart-type de 3,1 % indiquant une meilleure consistance comportementale. Ce résultat s'attaque directement au fossé démo-réalité sur une sous-tâche souvent ignorée : les interactions avec des objets mécaniquement contraints impliquent des trajectoires curvilignes et une compréhension de la géométrie interne que ni les politiques end-to-end entraînées en simulation ni les planificateurs purement visuels ne gèrent correctement. L'usage du raisonnement CoT pour corriger des estimations cinématiques erronées plutôt que pour générer un plan de haut niveau constitue un usage pragmatique et inhabituel des VLM en robotique. Pour les intégrateurs sur des robots de service industriels ou hospitaliers, la réduction des collisions destructrices a une valeur opérationnelle directe : forcer mécaniquement un joint en production est un incident matériel, pas une métrique abstraite. Le problème de manipulation articulée est étudié depuis plusieurs années dans des équipes comme Stanford (projet Where2Act, 2021), ETH Zurich et CMU. Les approches concurrentes comprennent les frameworks VLA tels que pi0 (Physical Intelligence) ou OpenVLA, ainsi que les méthodes de perception articulée comme PARIS ou CatGrasp. GSAM se distingue en combinant explicitement un LLM pour la génération de contraintes et un VLM pour la perception raffinée, plutôt qu'une politique implicite entraînée bout-en-bout. Le travail reste un preprint arXiv non soumis à une conférence majeure (ICRA, IROS, CoRL) : les gains annoncés sont encourageants mais nécessitent une validation sur robot physique en conditions non contrôlées.

RecherchePaper

1 source