Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
R2S-EGO : raffinement à double proxy pour la reconstruction réel-vers-simulation à capture éparse
RecherchearXiv cs.RO 

R2S-EGO : raffinement à double proxy pour la reconstruction réel-vers-simulation à capture éparse

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Payload de 6 vues pour R2S-EGO, 19,062 dB de PSNR contre 14,226 dB pour la meilleure référence R2S existante, et un taux de réussite de 82,5% (±6,8%) sur une tâche réelle de position assise avec un robot humanoïde Unitree G1, contre seulement 10,0% (±10,5%) pour la méthode concurrente GaussGym : c'est ce que rapporte un article publié le 6 août 2026 sur arXiv (2608.06827v1), présentant une nouvelle méthode nommée R2S-EGO pour la reconstruction de scènes en robotique. Le système combine deux "proxys" : l'un dérivé d'un simulateur qui modélise le domaine de requêtes exécutables propres au comportement du robot, l'autre ancré sur une capture réelle qui fournit les contraintes géométriques de la scène. Les tests ont été menés sur 48 vues égocentriques figées du G1, réparties sur trois environnements de la base de données Replica, avec un budget fixe de sélection de vues à générer.

Ce travail répond à un problème concret pour les équipes qui entraînent des politiques de contrôle en simulation avant déploiement réel (le fameux "sim-to-real") : la capture dense multi-vues d'un environnement réel est coûteuse et lente, alors qu'une capture humaine parcimonieuse laisse des angles de vue mal couverts pour les trajectoires spécifiques du robot. En générant des vues synthétiques ciblées sur les déficits de couverture réels plutôt qu'en capturant plus de données terrain, R2S-EGO réduit potentiellement le temps et le coût de mise en place de scènes d'entraînement pour les robots humanoïdes, un enjeu direct pour tout intégrateur ou laboratoire qui veut multiplier les scènes d'entraînement sans multiplier les tournages. Le gain de performance rapporté sur la tâche de position assise, s'il se confirme sur des tâches plus variées, suggérerait que l'écart simulation-réalité reste largement conditionné par la qualité de la représentation visuelle de la scène plutôt que par la seule dynamique du robot.

Le contexte est celui de la course actuelle autour du "real-to-sim" pour l'entraînement de politiques VLA appliquées aux robots humanoïdes, domaine où des acteurs comme GaussGym (cité ici comme référence comparative) développent des approches de rendu par Gaussian Splatting. L'étude ne précise pas d'affiliation institutionnelle ni de calendrier de déploiement industriel ; il s'agit à ce stade d'une contribution de recherche évaluée sur un robot Unitree G1 en environnement contrôlé, sans indication de pilote commercial ou d'intégration annoncée chez un fournisseur de robots humanoïdes.

Dans nos dossiers

UnitreearXiv cs.RO

À lire aussi

Reconstruction couture-vers-graphe pour l'alignement de configuration de vêtements
1arXiv cs.RO 

Reconstruction couture-vers-graphe pour l'alignement de configuration de vêtements

Un réseau de neurones dédié à la détection des coutures de vêtements vient d'être proposé dans un preprint arXiv (référence 2606.15171, juin 2026), avec pour application directe le chargement automatisé de vêtements sur une platine de sérigraphie. Le système, baptisé Seam-to-Graph, s'appuie sur des réseaux de neurones à graphes (GNN) couplés à des mécanismes d'attention pour transformer des observations partielles de coutures en un graphe squelette encodant la topologie du vêtement. Ce graphe alimente en temps réel un estimateur d'état, même lorsque les coutures ne sont que partiellement visibles, condition fréquente en manipulation robotique. À partir de cette estimation, un contrôleur d'asservissement visuel hiérarchique, sensible aux déformations du tissu, aligne le vêtement sur la configuration cible. Des expériences sur un robot bimanuel réel démontrent une précision comparable au niveau humain, avec une variance d'erreur réduite, et une robustesse confirmée sur plusieurs types de vêtements. Ce travail s'attaque à l'une des problématiques les plus résistantes de la robotique industrielle : les objets déformables non rigides. Les coutures constituent des primitives structurelles physiquement stables, présentes sur quasiment tout vêtement, et leur topologie reflète l'architecture globale de la pièce, là où une estimation de pose classique échoue. La démonstration sur une tâche industrielle concrète, la sérigraphie, est un signal positif. Toutefois, l'abstract ne publie aucun chiffre absolu sur les taux de réussite ni sur les temps de cycle, ce qui rend la comparaison avec les benchmarks industriels existants difficile. La manipulation de vêtements par robot est un domaine actif depuis plus d'une décennie, avec des travaux notables à UC Berkeley, ETH Zurich et Imperial College, mais peu de déploiements industriels réels faute d'estimateurs d'état fiables sur objets déformables. Parmi les acteurs positionnés sur la manipulation textile automatisée, la startup allemande Sewts (linge industriel) et le britannique Dextrous Robotics explorent des approches vision, mais aucun n'a publié d'approche graphe de coutures à ce stade. Les suites naturelles seraient une validation sur un parc de vêtements plus large, des tests à cadence industrielle, et une évaluation sur occultations sévères.

UELa startup allemande Sewts, active sur la manipulation de linge industriel, est la concurrente européenne la plus directement concernée par cette avancée en estimation d'état sur objets textiles déformables.

RecherchePaper
1 source
Reconstruction simulation-réel pour environnements très encombrés via raisonnement physique inter-objets
2arXiv cs.RO 

Reconstruction simulation-réel pour environnements très encombrés via raisonnement physique inter-objets

Une équipe de recherche présente un pipeline Real-to-Sim capable de reconstruire des scènes 3D physiquement cohérentes à partir d'une seule image RGB-D, c'est-à-dire une capture combinant couleur et profondeur. L'approche, décrite dans un preprint arXiv (2602.12633, version 2), cible spécifiquement les environnements très encombrés où la manipulation robotique exige une compréhension précise des contacts entre objets. Le coeur du système repose sur un pipeline d'optimisation différentiable qui modélise les dépendances spatiales via un graphe de contact : chaque relation physique entre objets adjacents est représentée explicitement, puis les poses et propriétés physiques de chaque objet sont affinées conjointement par simulation de corps rigides différentiable. Les évaluations couvrent des scènes simulées et des environnements réels. Ce travail s'attaque à un problème concret qui bloque les déploiements de manipulation robotique en contexte industriel désorganisé : les pipelines de perception standard produisent régulièrement des états invalides, objets en lévitation ou interpénétrations géométriques, qui rendent la simulation en aval peu fiable et donc inutilisable pour planifier des saisies ou des déplacements. En forçant la cohérence physique dès la reconstruction, le pipeline permet d'obtenir des scènes simulées qui reproduisent fidèlement la dynamique de contact du monde réel. Pour les intégrateurs et les équipes de recherche en manipulation, c'est une brique clé pour réduire le fossé sim-to-real sans recourir à des setups multicaméras coûteux ou à des annotations manuelles. La reconstruction Real-to-Sim est un chantier actif dans la communauté robotique depuis l'essor des pipelines sim-to-real pour l'apprentissage par renforcement et l'imitation. Des approches concurrentes s'appuient sur des reconstructions NeRF ou des méthodes basées Gaussian Splatting pour obtenir la fidélité géométrique, mais elles n'intègrent pas nécessairement de contraintes physiques explicites. Ce pipeline différentiable se distingue en traitant le raisonnement inter-objets comme une contrainte d'optimisation, pas comme une post-correction. Les prochaines étapes naturelles incluent l'intégration dans des pipelines de planification de manipulation contact-rich et le test sur des scènes industrielles réelles, où le désordre et les occlusions partielles sont la norme plutôt que l'exception.

RecherchePaper
1 source
SimuScene : reconstruction compositionnelle de scènes 3D prêtes pour la simulation à partir d'une seule image
3arXiv cs.RO 

SimuScene : reconstruction compositionnelle de scènes 3D prêtes pour la simulation à partir d'une seule image

Une équipe de chercheurs a présenté SimuScene (arXiv:2606.03994, juin 2026), un pipeline de reconstruction 3D compositionnelle capable de produire, à partir d'une seule image, des scènes directement exploitables dans un simulateur physique. Le verrou technique adressé est précis : les méthodes existantes de reconstruction mono-image génèrent des géométries par objet plausibles visuellement, mais dès qu'on les compose dans une scène et qu'on lance la simulation, les objets s'interpénètrent, flottent ou s'enfoncent dans le sol, rendant la scène inutilisable pour l'entraînement robotique. SimuScene résout ce problème en intégrant le moteur physique non pas comme une étape de correction a posteriori, mais comme un outil de diagnostic pendant le processus de reconstruction lui-même. Concrètement, les objets reconstruits sont soumis à une simulation gravitationnelle ; les échecs de pénétration ou de support sont convertis en signaux de correction quantitatifs qui pilotent deux mécanismes : un étirement de la géométrie selon l'axe vertical ("gravity-axis stretching") et un rééchantillonnage de la forme amodale pour les parties non visibles. Les auteurs rapportent des résultats état de l'art sur des benchmarks de stabilité physique et d'alignement géométrique, et valident l'utilité de la pipeline sur des tâches de manipulation bras robotique et de contrôle humanoïde. Pour l'industrie robotique et la recherche en manipulation, l'enjeu est direct : l'un des goulots d'étranglement majeurs dans la génération de données simulées est la constitution d'environnements 3D physiquement cohérents. Si une seule image suffit à produire une scène immédiatement utilisable dans un simulateur comme Isaac Sim ou MuJoCo, le coût de création de données d'entraînement pour les VLA (Vision-Language-Action models) et les politiques de manipulation chute drastiquement. L'approche "physics-in-the-loop" pendant la génération, plutôt qu'en correction post-hoc, est une distinction architecturale importante : elle corrige les erreurs géométriques à la source plutôt que de les masquer par un réarrangement de layout, ce qui limite les artefacts cumulatifs. Cela dit, le papier étant un preprint, les benchmarks présentés restent à valider par la communauté, et les métriques de performance sur les tâches robotiques aval (taux de succès de saisie, généralisation hors distribution) ne sont pas détaillées dans l'abstract. SimuScene s'inscrit dans un axe de recherche actif depuis 2022 environ, alimenté par la convergence entre les reconstructeurs 3D génératifs (Zero-1-to-3, One-2-3-45, LRM) et le besoin croissant de données synthétiques pour l'entraînement de robots physiques. Les concurrents directs incluent les méthodes de layout correction physique comme PhyScene ou les pipelines de génération de scènes pour la simulation (GENESIS, RoboVerse), qui opèrent eux aussi sur ce créneau sim-to-real mais partent généralement de descriptions textuelles ou de scans multi-vues. La force revendiquée de SimuScene est la contrainte d'entrée minimale (une image) combinée à la validité physique en sortie. Les applications démontrées sur le contrôle humanoïde suggèrent un intérêt pour les labos travaillant sur des plateformes comme Figure 03, Unitree H1 ou Agility Digit, où la génération rapide d'environnements d'entraînement en simulation reste un facteur limitant. Aucun partenariat industriel ni timeline de déploiement n'est mentionné ; il s'agit pour l'instant d'un résultat de recherche académique.

RecherchePaper
1 source
PhysX-CoT : raisonnement physique structuré, d'une image unique à des actifs 3D prêts pour la simulation
4arXiv cs.RO 

PhysX-CoT : raisonnement physique structuré, d'une image unique à des actifs 3D prêts pour la simulation

Des chercheurs ont publié le 11 août 2026 sur arXiv (référence 2608.08053v1) une méthode baptisée PhysX-CoT, conçue pour générer des actifs 3D prêts pour la simulation directement à partir d'une seule image. Contrairement aux approches actuelles, qui confient cette tâche à un modèle vision-langage produisant un flux de tokens unique et global ensuite décodé en géométrie et en champs physiques, PhysX-CoT décompose le processus en une trajectoire explicite et structurée d'états par partie : décomposition, ancrage 2D et 3D, relations entre parties, géométrie grossière et indices de surface, chaque étape étant supervisée séparément. La géométrie est factorisée de sorte que des boîtes englobantes 3D encodent le placement tandis que des codes locaux encodent la forme, et un entraînement par renforcement de type GRPO aligné sur cette chaîne de raisonnement optimise la validité du parsing, l'ancrage, la géométrie, le placement et la cohérence physique. Testée selon un protocole unifié, avec les mêmes backbone, données et décodeur figé que les méthodes concurrentes, PhysX-CoT dépasse la meilleure référence existante sur les métriques de géométrie, d'échelle et d'attributs physiques, et les actifs générés se chargent, entrent en collision et s'articulent correctement dans Unreal Engine 5. Pour l'industrie robotique et l'IA incarnée, ce travail s'attaque à un goulot d'étranglement réel : la production à grande échelle d'environnements simulés physiquement crédibles, nécessaires à l'entraînement de politiques VLA comme celles utilisées par GR00T N2, Pi-0 ou Helix. En rendant les étapes intermédiaires de génération vérifiables plutôt qu'implicites, la méthode ouvre la voie à un diagnostic plus fin des erreurs de géométrie ou de physique qui pénalisent aujourd'hui les pipelines automatisés. Les auteurs appuient leur démonstration sur des contrôles rigoureux (oracle, comparaisons à budget de tokens équivalent, permutation de l'ordre des états), montrant que ce raisonnement structuré est fonctionnel et non cosmétique, un point de méthode qui renforce la crédibilité des gains annoncés malgré leur origine auto-rapportée. Ce travail s'inscrit dans la lignée des recherches en chaîne de raisonnement appliquées au-delà du texte, transposées ici à la génération d'actifs 3D physiques pour la robotique simulée. Il reste à ce stade une contribution académique, sans déploiement commercial annoncé ; les prochaines étapes attendues concernent l'intégration à des pipelines d'entraînement de robots et l'extension à des actifs plus complexes.

RecherchePaper
1 source