BladeMaster : simulation de découpe robotique en…

1arXiv cs.RO

Re³Sim : générer des données de simulation photoréalistes en 3D par transfert réel-vers-simulation pour la manipulation robotique

Cette annonce arrive du côté recherche académique plutôt que de l'industrie commerciale : une équipe présente RE³SIM, un système de simulation photoréaliste en 3D destiné à combler l'écart entre entraînement simulé et déploiement réel en robotique manipulatrice. Publié sur arXiv (version 4, remplaçant une précédente), le papier décrit un pipeline qui reconstruit fidèlement des scènes réelles grâce à des techniques avancées de reconstruction 3D et de rendu neuronal, permettant un rendu en temps réel de caméras virtuelles multi-angles au sein d'un simulateur physique. En s'appuyant sur des informations privilégiées pour générer efficacement des démonstrations expertes en simulation, puis en entraînant des politiques robotiques par apprentissage par imitation, les chercheurs rapportent un taux de réussite moyen supérieur à 58% en transfert "zero-shot" vers le réel, c'est-à-dire sans aucune donnée réelle utilisée pour l'entraînement, uniquement des données simulées. Ils ont aussi constitué un jeu de données de simulation à grande échelle pour tester la généralisation des politiques apprises sur des objets variés. Le résultat compte parce qu'il s'attaque directement à l'un des goulots d'étranglement les plus coûteux du secteur : la collecte de données réelles pour entraîner des robots manipulateurs, qui exige des opérateurs qualifiés et du matériel onéreux. Si le fossé sim-to-real (géométrique et visuel) peut être réduit de manière fiable grâce à des reconstructions photoréalistes plutôt qu'à des environnements simulés génériques, cela change la donne pour les intégrateurs et les équipes de R&D qui cherchent à multiplier les scénarios d'entraînement sans multiplier les essais physiques. Un taux de 58% en zero-shot reste toutefois modeste comparé aux standards de fiabilité industrielle, et mérite d'être lu comme une preuve de concept académique plutôt qu'une solution prête à l'emploi pour la production. RE³SIM s'inscrit dans la lignée des travaux récents sur les politiques vision-langage-action (VLA) et les pipelines d'apprentissage par imitation, un axe de recherche également poursuivi par des acteurs comme Physical Intelligence (Pi-0) ou NVIDIA (GR00T). La démarche real-to-sim-to-real, où l'on capture d'abord le monde réel avant de simuler dessus, distingue cette approche des simulateurs purement synthétiques et pourrait influencer les futurs outils de génération de données pour l'entraînement de robots. Le code et des démonstrations sont disponibles sur le site du projet (re3sim.github.io), signe que l'équipe cherche une adoption élargie par la communauté robotique plutôt qu'une simple publication isolée.

RecherchePaper

1 source

2arXiv cs.RO

Un cadre en boucle réel-simulation-réel (RSR) pour le transfert de politiques robotiques généralisables

Des chercheurs proposent un cadre « Real-to-Sim-to-Real » (RSR), publié sur arXiv dans sa troisième version (2503.10118v3), qui vise à réduire l'écart entre simulation et monde réel lors du transfert de politiques de contrôle robotique. Sa contribution centrale est une fonction de coût d'inspiration théorique de l'information. Elle pèse deux objectifs : accomplir la tâche, et orienter la politique vers la collecte d'échantillons réels les plus informatifs possible pour améliorer le transfert. Cette fonction s'intègre dans des algorithmes d'apprentissage par renforcement existants, comme PPO ou SAC, et vise une exploration équilibrée des zones critiques du domaine réel. Le cadre a été implémenté avec la plateforme MuJoCo MJX et testé sur deux familles de tâches : de la manipulation avec un bras robotique à 6 DOF, et de la locomotion avec un robot à pattes. Les auteurs annoncent une acquisition de données plus efficace et une nette amélioration des performances en conditions réelles. Le résumé ne chiffre ni les gains ni le nombre d'essais, et ne nomme ni robots ni laboratoires. L'intérêt est de traiter le sim-to-real comme un problème de choix des données réelles à collecter, et non seulement de réglage de la simulation. Les échantillons réels coûtent cher, surtout sur des robots à pattes ou des bras industriels où chaque essai use le matériel et mobilise des opérateurs. Une politique qui cherche activement l'information manquante sur l'écart de dynamique pourrait réduire le nombre d'itérations réel-simulation nécessaires avant déploiement. Le simulateur différentiable est facultatif. Quand il existe, les données servent aussi à calibrer ses paramètres. Sinon, le cadre reste utilisable, ce qui élargit son champ d'application aux équipes sans pipeline différentiable. Il faut toutefois rester prudent : il s'agit d'un travail académique évalué sur deux plateformes, sans comparaison chiffrée visible dans le résumé, et loin d'une validation à l'échelle industrielle ou sur des tâches longues et variées. Ce travail s'inscrit dans l'effort général pour fermer l'écart sim-to-real, qui freine le passage de l'entraînement massif en simulation aux robots déployés. La randomisation de domaine, l'identification de paramètres et les simulateurs différentiables en sont les approches classiques. Le choix de MuJoCo MJX, version accélérée sur GPU via JAX, reflète la place de ces outils dans la recherche actuelle. Les grands acteurs de l'humanoïde et des modèles de fondation robotiques s'appuient eux aussi fortement sur la simulation, ce qui rend ces méthodes d'exploration guidée potentiellement pertinentes pour eux. La suite dépendra de la publication du code, de l'évaluation sur des systèmes plus complexes et de comparaisons directes avec les méthodes existantes.

RecherchePaper

1 source

3arXiv cs.RO

OGPO : optimisation de politique générative en une étape pour le contrôle de robots en temps réel

Des chercheurs publient OGPO (One-Step Generative Policy Optimization), un cadre d'apprentissage pour le contrôle robotique en temps réel, dont la version 2 vient d'être diffusée sur arXiv (2601.20701). Il vise un problème précis : les politiques de contrôle fondées sur la diffusion ou le flow matching génèrent les actions en plusieurs étapes d'échantillonnage, ce qui limite leur usage dès que la latence compte. Réduire ce nombre d'étapes à un seul dégrade d'ordinaire la qualité de représentation et la performance sur la tâche. Les auteurs décrivent un compromis à trois pôles entre vitesse, fidélité et performance. OGPO associe une architecture légère au principe d'« interval velocity » pour une inférence en une étape sans distillation, tandis qu'une technique de « représentation spreading » évite la dégradation des représentations. Une phase d'apprentissage par renforcement (RL) on-policy affine ensuite cette politique rapide et stable. Sur les benchmarks RoboMimic et OpenAI Gym, la méthode égale ou dépasse des références multi-étapes, avec une inférence 5 à 20 fois plus rapide et une fréquence de contrôle supérieure à 120 Hz. Un déploiement physique sur un bras Franka Emika Panda est présenté comme validation. L'intérêt tient à la place des politiques génératives dans la robotique actuelle. Diffusion et flow matching sont devenus des choix courants pour représenter des comportements multimodaux, y compris dans plusieurs architectures VLA (vision-langage-action). Leur coût d'inférence impose pourtant des compromis : fréquences de contrôle basses, découpage des actions en blocs (chunking), ou matériel de calcul embarqué plus lourd. Une politique à plus de 120 Hz sans distillation, si les résultats tiennent, rapprocherait ces méthodes des boucles de contrôle réactives, utiles pour la manipulation fine ou le contact. L'ajout du RL on-policy répond à une limite connue de l'apprentissage par imitation, dont la performance reste bornée par la qualité des démonstrations. Les réserves sont claires : RoboMimic et Gym sont des benchmarks académiques, la validation réelle se limite à un seul bras et le résumé ne détaille ni les tâches physiques, ni le taux de réussite, ni le matériel de calcul. Le gain de 5 à 20 fois dépend des références choisies. Ce travail s'inscrit dans une course à l'accélération des politiques génératives. Diffusion Policy a imposé le paradigme, les approches de flow matching comme Pi-0 l'ont repris à plus grande échelle, et plusieurs équipes explorent la distillation en peu d'étapes ou le fine-tuning par RL de ces politiques. OGPO prend une voie sans distillation, en combinant vitesse et amélioration par renforcement. Il s'agit ici d'une publication de recherche, sans produit ni déploiement industriel annoncé. La suite dépendra des preuves sur des tâches plus variées, sur des robots différents et, surtout, de son intégration dans de grands modèles VLA. Une page de projet accompagne l'article.

RecherchePaper

1 source

4arXiv cs.RO

CRISP : plateforme de simulation robotique riche en contacts, avec géométries étendues et solveurs de contact

Des chercheurs du laboratoire INRoL publient CRISP (Contact-RIch Simulation Platform), un nouveau moteur physique dédié a la simulation haute fidélité des interactions multi-contacts, pense en particulier pour la manipulation robotique a tolérances serrées. Le papier, mis en ligne sur arXiv sous la référence 2609.21761v1 en septembre 2026, décrit un moteur combinant une détection de collision fondée sur l'optimisation, compatible avec des représentations géométriques variées, et des solveurs de contact bases sur le lagrangien augmente, présentes comme plus robustes que les approches classiques. Les auteurs affirment résoudre les contraintes multi-contacts sans recourir aux relaxations numériques qui dégradent habituellement la précision des simulateurs existants. Le code est disponible publiquement sur GitHub a l'adresse github.com/INRoL/crisp. La fidélité physique de CRISP est validée par comparaison avec des plateformes de simulation de référence, puis illustrée sur des scenarios de manipulation robotique complexes, sans que le résume ne publie de chiffres précis de performance comme le temps de calcul ou le nombre de contacts simultanés gérés. La simulation reste le principal goulot d'étranglement pour l'entrainement de politiques de manipulation fine, insertion, assemblage, prise en tolérance serrée, une étape jugée critique pour transférer des compétences du simulateur vers le robot réel. Les moteurs généralistes utilises aujourd'hui pour entrainer des politiques de type VLA ou par renforcement, tels que MuJoCo, PhysX dans Isaac Sim ou Bullet, arbitrent généralement entre richesse géométrique et stabilité numérique du solveur de contact, ce qui limite leur fidélité sur les taches d'assemblage fin. En ciblant simultanément ces deux axes, CRISP s'attaque a un angle mort souvent cite par les intégrateurs et laboratoires travaillant sur la manipulation dexterisee humanoïde ou industrielle, celui de l'écart entre une démonstration en simulation et un comportement fiable en conditions réelles. Un moteur plus fidèle sur les contacts intensifs pourrait améliorer la qualité des données synthétiques servant a entrainer des modèles de manipulation, un enjeu direct pour réduire le volume de démonstrations réelles nécessaires. CRISP s'inscrit dans une vague de nouveaux moteurs physiques conçus spécifiquement pour la robotique et l'entrainement de politiques d'IA, aux cotes d'outils établis comme MuJoCo et sa variante accélérée MJX, NVIDIA Isaac Sim base sur PhysX, Drake du MIT, ou des projets plus récents comme Genesis et SAPIEN. Contrairement aux annonces de robots humanoïdes commerciaux, CRISP est publie comme un travail de recherche académique, classe "new" sur arXiv et non encore revu par les pairs, plutôt que comme un produit commercial: aucune entreprise, aucun client industriel ni feuille de route de déploiement n'est mentionne. Sa mise en open source vise avant tout l'adoption par la communauté robotique comme brique de recherche reproductible, dans un contexte ou la fidélité des simulateurs devient centrale face a la multiplication des politiques de manipulation entraînées en simulation. Les prochaines étapes attendues concernent l'intégration a des pipelines d'entrainement plus larges et des comparaisons sur des benchmarks de manipulation standardises, sans calendrier précise dans l'article.

RecherchePaper

1 source

BladeMaster : simulation de découpe robotique en temps réel avec discontinuités persistantes générées en ligne

À lire aussi

Re³Sim : générer des données de simulation photoréalistes en 3D par transfert réel-vers-simulation pour la manipulation robotique

Un cadre en boucle réel-simulation-réel (RSR) pour le transfert de politiques robotiques généralisables

OGPO : optimisation de politique générative en une étape pour le contrôle de robots en temps réel

CRISP : plateforme de simulation robotique riche en contacts, avec géométries étendues et solveurs de contact