GraspIT : un jeu de données comblant l'écart…

1arXiv cs.RO

Génération de données préservant la fonction pour la manipulation réelle-vers-simulation-vers-réelle en zero-shot

Une équipe de recherche publie sur arXiv, sous l'identifiant 2609.18293 et sans revue par les pairs à ce stade, un framework de génération de données synthétiques pour l'apprentissage de politiques de manipulation robotique, capable de produire des démonstrations d'entraînement sans trajectoire téléopérée de départ. La méthode reconstruit des maillages 3D d'objets réels puis les déforme via une déformation guidée par contraintes qui préserve les interfaces géométriques critiques de la tâche, comme les surfaces de contact nécessaires à une insertion précise, tout en transférant les poses de tâche et les proxys de collision de manière physiquement cohérente. Une randomisation visuelle du domaine est ensuite appliquée pendant les simulations, et les politiques ainsi entraînées sont déployées en zero-shot sur robot réel, sans phase de fine-tuning sur données réelles. Les auteurs rapportent des expériences en simulation et sur banc réel pour des tâches de manipulation riches en contacts et à horizon long. L'enjeu vise le goulot d'étranglement actuel de l'apprentissage robotique : collecter, pour chaque nouvelle géométrie d'objet, assez de démonstrations réelles pour des tâches à tolérance géométrique serrée. Les méthodes standards d'augmentation de forme distordent souvent ces interfaces critiques, provoquant des défauts d'ajustement ou des interpénétrations qui rendent les trajectoires générées physiquement invalides et donc inexploitables. En préservant la fonction de l'interface de contact tout en diversifiant l'apparence des objets, l'approche promet de produire à moindre coût des démonstrations valides sans flotte de téléopérateurs humains, un enjeu direct pour l'entraînement des modèles vision-langage-action dont la rareté des données reste le principal facteur limitant. Le papier revendique une généralisation robuste à des géométries et conditions visuelles inédites, mais l'abstract ne fournit aucun taux de réussite chiffré ni comparaison à des méthodes concurrentes publiées, ce qui invite à considérer ces résultats comme préliminaires. Ce travail s'inscrit dans la ligne de recherche dite real-to-sim-to-real, qui cherche depuis plusieurs années à remplacer une partie de la téléopération humaine par de la simulation physique pour faire passer à l'échelle l'apprentissage robotique, notamment sur les tâches d'assemblage et d'insertion. L'abstract ne précise ni le laboratoire ni l'entreprise à l'origine des travaux, ni la disponibilité d'un code ou d'un jeu de données. Les étapes attendues restent classiques pour ce stade de recherche : publication avec revue par les pairs, comparaison chiffrée face aux méthodes existantes de génération de données synthétiques, puis éventuelle adoption par des intégrateurs confrontés à des tâches de manipulation industrielle à forte exigence géométrique.

RecherchePaper

1 source

2arXiv cs.RO

RoboDesign1M : un jeu de données à grande échelle pour la compréhension de la conception robotique

Le dataset RoboDesign1M rassemble un million d'échantillons multimodaux consacrés à la conception de robots, extraits automatiquement de la littérature scientifique couvrant plusieurs domaines de la robotique. Les auteurs ont mis au point un pipeline de collecte semi-automatisé permettant d'agréger efficacement des données diverses (texte et images) issues de publications existantes, plutôt que de les créer manuellement. Pour valider l'utilité du corpus, l'équipe a mené des expériences sur trois tâches distinctes : la génération d'images de conception robotique, la réponse à des questions visuelles portant sur des schémas de conception, et la recherche d'images de conception à partir de requêtes. Les résultats montrent que ce jeu de données constitue un nouveau benchmark exigeant pour ces tâches de compréhension du design. Le dataset sera rendu public, avec une page de projet dédiée (airvlab.github.io/robotdesign1m). Il s'agit d'une version mise à jour d'un article déposé sur arXiv (2503.06796), initialement publié en mars puis révisé. Ce travail cible un goulot d'étranglement méthodologique plutôt qu'un produit commercial : la conception mécanique d'un robot reste un processus long, coûteux et dépendant d'une expertise rare, et les modèles de fondation qui pourraient l'automatiser manquaient jusqu'ici de données d'entraînement à grande échelle sur ce sujet précis. En fournissant un million d'exemples annotés, RoboDesign1M ouvre la voie à des assistants IA capables de proposer des pistes de conception, de retrouver des schémas existants à partir d'une description textuelle, ou de générer des visualisations de composants robotiques. Pour les laboratoires de recherche et les équipes R&D en robotique, c'est surtout un instrument de mesure standardisé qui manquait pour comparer objectivement les approches de génération et de compréhension de designs. Le projet s'inscrit dans la tendance plus large d'application des modèles de fondation multimodaux à des domaines d'ingénierie spécialisés, après leur succès en vision et en langage naturel. La rareté des jeux de données de conception robotique freinait jusqu'à présent ce transfert, contrairement à des domaines comme la manipulation ou la navigation qui disposent déjà de corpus massifs. La mise à disposition publique annoncée par les auteurs devrait permettre à d'autres équipes de recherche de reproduire et d'étendre ces travaux, sans toutefois que des applications commerciales concrètes ou des partenariats industriels n'aient été mentionnés à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

TableVerse : un jeu de données de tables à grande échelle avec des dispositions ancrées dans le réel pour la manipulation généralisable

TableVerse est un nouveau pipeline Real2Sim entièrement automatisé qui transforme des images non structurées, glanées sur internet, en environnements de table simulables avec une échelle métrique précise et une stabilité mécanique vérifiée. Contrairement aux méthodes existantes qui génèrent des scènes à partir de texte ou par génération procédurale simplifiée, TableVerse reconstruit de manière déterministe des dispositions d'objets réellement observées, en préservant leur topologie authentique. Le pipeline intègre également un module de génération de trajectoires conditionné par tâche, capable de produire des démonstrations de préhension et dépose (pick-and-place) sans collision. À partir de cette chaîne complète, les chercheurs ont constitué TableVerse-100K, un corpus de 100 000 environnements de table uniques et physiquement cohérents, chacun associé à des trajectoires de manipulation interactives. L'enjeu principal est celui, bien identifié dans la robotique manipulative, du goulot d'étranglement des données : entraîner des politiques de manipulation généralisables nécessite des volumes massifs de scènes réalistes et denses en encombrement, proches de véritables environnements domestiques ou industriels. Les approches de synthèse par hallucination texte-vers-disposition ou par génération procédurale produisent souvent des agencements physiquement implausibles, avec un encombrement bien plus pauvre que celui d'un vrai bureau ou d'une vraie table de cuisine. En ancrant la génération de scènes dans des images réelles plutôt que dans l'imagination d'un modèle génératif, TableVerse cherche à combler cet écart entre données synthétiques et complexité du monde réel, un enjeu central pour les modèles de type VLA (vision-langage-action) qui peinent aujourd'hui à généraliser au-delà de leurs environnements d'entraînement. Cette publication s'inscrit dans une dynamique de recherche plus large sur la génération automatisée de données d'entraînement pour la manipulation robotique, où plusieurs équipes explorent des approches concurrentes de synthèse procédurale ou de génération de scènes par diffusion 3D. L'accent mis ici sur la reconstruction déterministe à partir de médias internet non scénarisés, plutôt que sur la génération purement imaginative, marque une inflexion méthodologique. Les auteurs présentent TableVerse-100K comme une fondation de données destinée à alimenter les travaux futurs sur les politiques de manipulation généralisables, sans toutefois préciser à ce stade de calendrier de mise à disposition publique ou de validation par des déploiements robotiques réels.

RecherchePaper

1 source

4arXiv cs.RO

AutoRSR : génération automatisée de données réel-simulation-réel pour un apprentissage robotique à grande échelle

AutoRSR, un framework publié sur arXiv (2610.20336) par une équipe de recherche, automatise la conversion d'un espace de travail réel en environnement de simulation prêt pour l'apprentissage robotique, puis en données de manipulation à grande échelle. À partir d'observations multi-vues, des états du robot et de requêtes sémantiques en vocabulaire ouvert, le système reconstruit la scène, extrait chaque objet sous forme d'actif 3D individuel et recale automatiquement la scène dans le repère de la base du robot, à l'échelle métrique. Quelques mouvements de référence suffisent ensuite pour générer des trajectoires exécutables, démultipliées par interpolation et randomisation de domaine. Sur trois tâches de manipulation réelles, des politiques entraînées sur 1 000 épisodes générés automatiquement par tâche atteignent 73,3 à 86,7 % de réussite sur robot réel. Ce niveau est comparable à celui de pi 0.5 entraîné sur 150 démonstrations téléopérées, avec un temps humain de production de données divisé environ par dix. L'enjeu est le goulot d'étranglement le plus coûteux de l'apprentissage par imitation : la collecte de démonstrations par téléopération, qui mobilise des opérateurs et immobilise des robots. Après le scan de l'espace et les requêtes sémantiques, le pipeline ne demande plus ni annotation manuelle des objets, ni calibration scène-robot, ni téléopération. Pour un intégrateur, cela rapproche l'idée de « scanner la cellule du client, puis entraîner » d'un flux de travail reproductible. Il faut toutefois rester prudent : trois tâches, un seul article préliminaire (v1), et une comparaison avec un seul modèle de référence. Les travaux ne précisent pas, dans ce résumé, la complexité des tâches ni leur robustesse face à des objets déformables, articulés ou à des variations d'éclairage importantes. Le chiffre de 73,3 à 86,7 % reste aussi inférieur à ce qu'exige une exploitation industrielle, où l'on vise plutôt le haut des 90 %. Le travail s'inscrit dans la lignée des approches real-to-sim-to-real, qui cherchent à réduire l'écart entre simulation et réalité sans repartir de zéro à chaque nouvelle scène. Il s'oppose à la stratégie dominante des grands acteurs de l'humanoïde et des modèles vision-langage-action (VLA), qui misent sur de vastes corpus de téléopération, et complète les pipelines de génération synthétique comme ceux popularisés autour de l'écosystème NVIDIA. Il fait aussi écho aux méthodes d'augmentation de démonstrations à partir de peu d'exemples. La suite logique serait une validation sur des tâches plus longues, des manipulateurs variés et des scènes industrielles, ainsi qu'une comparaison avec d'autres VLA. Aucun déploiement commercial ni calendrier de pilote n'est annoncé, et aucun acteur français ou européen n'est mentionné.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

GraspIT : un jeu de données comblant l'écart simulation-réel pour la génération validée de poses de préhension SE(3)

À lire aussi

Génération de données préservant la fonction pour la manipulation réelle-vers-simulation-vers-réelle en zero-shot

RoboDesign1M : un jeu de données à grande échelle pour la compréhension de la conception robotique

TableVerse : un jeu de données de tables à grande échelle avec des dispositions ancrées dans le réel pour la manipulation généralisable

AutoRSR : génération automatisée de données réel-simulation-réel pour un apprentissage robotique à grande échelle