RecherchearXiv cs.RO 15 octobre 2026

AutoRSR : génération automatisée de données réel-simulation-réel pour un apprentissage robotique à grande échelle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

AutoRSR, un framework publié sur arXiv (2610.20336) par une équipe de recherche, automatise la conversion d'un espace de travail réel en environnement de simulation prêt pour l'apprentissage robotique, puis en données de manipulation à grande échelle. À partir d'observations multi-vues, des états du robot et de requêtes sémantiques en vocabulaire ouvert, le système reconstruit la scène, extrait chaque objet sous forme d'actif 3D individuel et recale automatiquement la scène dans le repère de la base du robot, à l'échelle métrique. Quelques mouvements de référence suffisent ensuite pour générer des trajectoires exécutables, démultipliées par interpolation et randomisation de domaine. Sur trois tâches de manipulation réelles, des politiques entraînées sur 1 000 épisodes générés automatiquement par tâche atteignent 73,3 à 86,7 % de réussite sur robot réel. Ce niveau est comparable à celui de pi 0.5 entraîné sur 150 démonstrations téléopérées, avec un temps humain de production de données divisé environ par dix.

L'enjeu est le goulot d'étranglement le plus coûteux de l'apprentissage par imitation : la collecte de démonstrations par téléopération, qui mobilise des opérateurs et immobilise des robots. Après le scan de l'espace et les requêtes sémantiques, le pipeline ne demande plus ni annotation manuelle des objets, ni calibration scène-robot, ni téléopération. Pour un intégrateur, cela rapproche l'idée de « scanner la cellule du client, puis entraîner » d'un flux de travail reproductible. Il faut toutefois rester prudent : trois tâches, un seul article préliminaire (v1), et une comparaison avec un seul modèle de référence. Les travaux ne précisent pas, dans ce résumé, la complexité des tâches ni leur robustesse face à des objets déformables, articulés ou à des variations d'éclairage importantes. Le chiffre de 73,3 à 86,7 % reste aussi inférieur à ce qu'exige une exploitation industrielle, où l'on vise plutôt le haut des 90 %.

Le travail s'inscrit dans la lignée des approches real-to-sim-to-real, qui cherchent à réduire l'écart entre simulation et réalité sans repartir de zéro à chaque nouvelle scène. Il s'oppose à la stratégie dominante des grands acteurs de l'humanoïde et des modèles vision-langage-action (VLA), qui misent sur de vastes corpus de téléopération, et complète les pipelines de génération synthétique comme ceux popularisés autour de l'écosystème NVIDIA. Il fait aussi écho aux méthodes d'augmentation de démonstrations à partir de peu d'exemples. La suite logique serait une validation sur des tâches plus longues, des manipulateurs variés et des scènes industrielles, ainsi qu'une comparaison avec d'autres VLA. Aucun déploiement commercial ni calendrier de pilote n'est annoncé, et aucun acteur français ou européen n'est mentionné.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Seed2Scale : un moteur de données auto-évolutif à expansion de mondes parallèles pour l'apprentissage robotique à grande échelle

Des chercheurs proposent Seed2Scale, un moteur de génération de données auto-évolutif pour l'apprentissage robotique, décrit dans un préprint arXiv (2603.08260, version 2). Le système part d'à peine quatre démonstrations initiales. Il fonctionne selon un principe de synergie hétérogène : « petit modèle qui collecte, grand modèle qui évalue, modèle cible qui apprend ». Le collecteur est SuperTiny, un modèle Vision-Language-Action (VLA, qui traduit images et instructions en actions) très léger, chargé d'explorer l'espace des comportements. Un modèle vision-langage (VLM) pré-entraîné joue le rôle de vérificateur : il note et filtre automatiquement les trajectoires produites. Une seconde étape, dite « parallel worlds », reprend les trajectoires auto-évoluées et les projette dans d'autres environnements de la même tâche, afin de diversifier les données. Les auteurs indiquent que le taux de succès du modèle cible progresse de façon régulière au fil des itérations et dépasse nettement la référence entraînée sur les seules démonstrations initiales. En évaluation réelle sans adaptation (zero-shot), Seed2Scale atteint 75,38 % de réussite, là où les méthodes de comparaison tombent à 0 %. L'intérêt tient à l'objet traité : le goulot d'étranglement des politiques VLA reste la collecte de démonstrations, coûteuse en téléopération et en heures opérateur. Si une boucle de données peut partir de quatre exemples et s'améliorer sans intervention humaine, le coût marginal des données chute, ce qui intéresse les intégrateurs qui doivent adapter une politique à chaque site client. Le résultat vise aussi un défaut connu des boucles d'auto-amélioration : l'effondrement des performances quand le système s'entraîne sur ses propres sorties bruitées. Ici, le filtrage par VLM est présenté comme le garde-fou. Il faut toutefois lire le chiffre de 75,38 % avec prudence. Le résumé ne précise ni la tâche, ni le robot, ni le nombre d'essais réels, ni la nature des méthodes de référence qui échouent totalement. Un 0 % chez les concurrents suggère une configuration de test très défavorable à ces baselines, et un écart aussi net demande une validation sur davantage de tâches et d'embodiments avant de parler de passage à l'échelle démontré. Le travail s'inscrit dans la course aux données synthétiques et auto-générées pour la robotique, où se côtoient les approches par simulation massive, par génération vidéo ou par modèles du monde, et les grands modèles de fondation de type Pi-0 ou GR00T, qui misent plutôt sur des corpus de téléopération toujours plus vastes. Seed2Scale joue l'inverse : très peu de données humaines, beaucoup d'itérations autonomes. Il s'agit d'une publication académique, avec une page projet associée, et non d'un produit ni d'un déploiement industriel. Les suites probables sont une validation sur des tâches plus longues et plus variées, des comparaisons directes avec les pipelines de données des grands acteurs, et un test de robustesse du vérificateur VLM, dont la fiabilité conditionne toute la boucle.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Auto-apprentissage à partir de démonstrations générées automatiquement pour la manipulation robotique visuelle

Un preprint publie sur arXiv le 11 aout 2026 (2608.07553) décrit une méthode d'apprentissage auto-supervise pour la manipulation robotique visuelle, dans laquelle le robot génère lui-même ses démonstrations autour d'une pose cible au lieu de dépendre d'une téléopération humaine ou d'un enseignement kinesthésique. Le pipeline, base sur ROS 2 et le simulateur Isaac Sim, produit des paires image-pose étiquetées sans calibration extrinsèque explicite entre camera et robot, avec deux jeux de données distincts, l'un pour l'affinage planaire, l'autre pour l'approche grossière en trois dimensions. Un réseau convolutif régressé la translation et la rotation relatives a partir d'une seule image RGB montee au poignet, et pilote un contrôleur grossier-vers-fin qui approche d'abord l'objet puis affine l'alignement final. Teste en simulation et sur un bras collaboratif réel UR5e équipe d'une pince et d'une camera monoculaire, le système réduit la dispersion planaire finale de 9,69 mm a 5,38 mm en simulation, et atteint en conditions réelles des taux de réussite de préhension de 66,6% et 63,6% sur deux des trois objets testes sans rotation, avec une robustesse partielle en cas de rotation. Cette approche cible un goulot d'étranglement connu de l'industrie: la plupart des pipelines de manipulation exigent une programmation spécifique a l'objet, une annotation manuelle ou une calibration camera-robot précise, ce qui freine le déploiement chez les intégrateurs. En générant ses propres démonstrations en simulation avant transfert vers le réel, la méthode réduit l'effort de mise en place, un argument qui parle directement aux intégrateurs voulant éviter des phases de téléopération couteuses. Les résultats restent toutefois modestes, avec des taux de réussite de 63 a 67% sur seulement trois objets, et les auteurs reconnaissent eux-mêmes des difficultés persistantes en prédiction de profondeur et en généralisation. Le travail se positionne ainsi en contrepoint des modèles de fondation VLA massifs de type GR00T N2 ou Pi-0: une alternative plus légère, ciblée sur une tache étroite, sans la promesse de généralisation zero-shot de ces derniers. Le papier s'inscrit dans une lignée académique de recherches sur le transfert sim-to-real et la génération automatique de données d'entrainement, sans affiliation industrielle mise en avant ni partenariat commercial annonce. Aucun pilote ni calendrier de déploiement n'est mentionne: les auteurs présentent ces travaux comme une preuve de concept, les prochaines étapes évoquées portant sur l'amélioration de l'estimation de profondeur et l'extension a un plus grand nombre d'objets avant d'envisager une application industrielle plus large.

RecherchePaper

1 source

3arXiv cs.RO

Lois d'échelle des données en apprentissage par imitation pour la manipulation robotique

Une équipe de chercheurs publie sur arXiv (référence 2410.18647, désormais à sa quatrième révision) une étude empirique sur les lois d'échelle des données appliquées à l'apprentissage par imitation en manipulation robotique. Le protocole est rigoureux : plus de 40 000 démonstrations collectées dans de nombreux environnements et avec des objets variés, suivies de plus de 15 000 exécutions réelles sur robot, ce qui en fait l'une des études de scaling en manipulation les plus extensives à ce jour. Résultat central : la performance de généralisation d'une politique d'imitation suit une relation en loi de puissance avec le nombre d'environnements et d'objets d'entraînement. Surtout, quatre collecteurs de données travaillant une seule après-midi ont suffi pour obtenir environ 90 % de taux de réussite en déploiement zéro-shot sur des objets inconnus dans des environnements non vus, sur deux tâches distinctes. Ce que cette recherche établit, c'est que la diversité des environnements et des objets prime largement sur le volume brut de démonstrations : au-delà d'un certain seuil de démonstrations par environnement ou par objet, en ajouter davantage n'améliore plus la généralisation. Ce résultat remet en cause la stratégie intuitive qui consiste à multiplier les répétitions dans un même contexte, et oriente clairement la priorité vers la couverture de distribution plutôt que la densité d'annotation. Pour les intégrateurs industriels et les équipes robotique qui budgètent la collecte de données, l'implication est directe : mieux vaut disperser les efforts sur des scènes variées que d'accumuler des trajectoires dans un seul setup. Le fait d'atteindre 90 % de succès en zéro-shot sur des objets inédits est également un signal fort sur la maturité du paradigme VLA (Vision-Language-Action) en manipulation monomode. Ce travail s'inscrit dans le sillage des succès de scaling en NLP et vision par ordinateur, que des équipes comme DeepMind (RT-2), Physical Intelligence avec Pi-0, ou encore NVIDIA avec GR00T cherchent à transposer en robotique. L'étude reste purement académique pour l'instant, aucun déploiement industriel n'étant annoncé, et les tâches testées demeurent mono-bras sur périmètre contrôlé. Une limite à noter : les vidéos de démonstration et les protocoles d'évaluation exacts ne sont pas tous publics dans la version arXiv, ce qui rend difficile la comparaison directe avec d'autres benchmarks. Les prochaines étapes logiques seront d'étendre ces lois d'échelle aux politiques multi-tâches et de tester leur robustesse sur des plateformes humanoïdes comme Figure 03 ou Optimus Gen 3, où la distribution des états physiques est bien plus large.

RecherchePaper

1 source

4arXiv cs.RO

WorldContact : un modèle du monde centré sur le contact pour l'apprentissage robotique à grande échelle

Un article publié sur arXiv sous la référence 2609.19600v1 présente WorldContact, un modèle du monde ("world model") centré sur le contact, conçu pour la manipulation d'objets déformables comme les sacs de courses en plastique. Le système est construit à partir d'un nombre limité de trajectoires de haute qualité et prédit la dynamique des objets avec des pas de temps plus larges que le simulateur numérique classique dont il s'inspire, ce dernier nécessitant de très petits pas d'intégration pour capter les mouvements rapides et éviter l'interpénétration des surfaces. Les auteurs ont testé WorldContact sur 16 tâches de manipulation de sacs de courses. Sur un seul GPU Nvidia H100, les mesures de state-rollout montrent une accélération d'un facteur 10 par rapport au simulateur source, un chiffre qui exclut toutefois le rendu graphique et les entrées-sorties disque, ce qui limite sa comparabilité directe avec un temps d'exécution complet. Les données générées ont servi à affiner une politique vision-langage-action (VLA) existante, ensuite déployée sur un robot réel. Sur la tâche de levage de sac, le taux de réussite au premier essai passe de 65%, lorsque la politique est entraînée uniquement sur les données du simulateur d'origine, à 95% une fois le jeu de données enrichi par WorldContact. Ce résultat s'attaque à un goulot d'étranglement bien identifié dans la robotique de manipulation: l'expérience physique réelle nécessaire pour adapter un robot à un nouvel objet ou une nouvelle tâche reste coûteuse à collecter, et les objets déformables comme les tissus ou les emballages souples aggravent le problème car leur simulation fine est lente. Un modèle du monde dix fois plus rapide que la simulation physique classique, capable de produire des données d'entraînement synthétiques exploitables pour affiner une politique VLA, offre une piste concrète pour réduire ce coût. Le saut de 65% à 95% de succès sur un robot réel constitue une preuve empirique, quoique limitée à un seul type de tâche, que l'augmentation de données via world model peut combler une partie de l'écart entre simulation et réalité pour la manipulation déformable, un domaine où les politiques génériques peinent généralement à généraliser. L'étude s'inscrit dans la tendance croissante des modèles du monde appris comme alternative ou complément aux simulateurs physiques classiques en robotique, ces derniers étant pénalisés par leurs contraintes d'intégration numérique sur les phénomènes de contact rapide. L'abstract ne précise ni l'affiliation des auteurs ni de calendrier de déploiement au-delà de la validation expérimentale sur robot réel; les résultats, obtenus sur 16 tâches centrées sur un seul type d'objet, relèvent d'une preuve de concept plutôt que d'un système prêt à l'industrialisation, la généralisation à d'autres catégories d'objets déformables restant à démontrer.

RecherchePaper

1 source