RecherchearXiv cs.RO 5 juin 2026

Génération de données synthétiques et détection visuelle de plis et points clés pour la manipulation bimanuelle de tissu

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (arXiv:2606.06292) un système de perception et de planification dédié à la manipulation bimanurale de textiles, l'un des problèmes les plus résistants en robotique industrielle. L'approche repose sur un pipeline synthétique construit sous Blender qui génère automatiquement des données annotées en keypoints, complété par des rendus labellisés manuellement et des données réelles pour entraîner un détecteur de plis. Le résultat est un framework à deux composantes : un CNN invariant aux permutations pour localiser les coins d'un vêtement, et un pipeline YOLOv8-OpenCV pour extraire les points de préhension à partir des plis structurels. L'algorithme bimanual résultant étire d'abord un vêtement entièrement plié en s'accrochant aux plis, puis bascule automatiquement vers un mode de repassage guidé par keypoints dès que les coins deviennent visibles. L'erreur de position moyenne (MPE) du modèle de keypoints atteint 1,7615 pixels, et le système se transfère directement sur des tissus physiques sans fine-tuning supplémentaire.

L'enjeu principal est le sim-to-real gap, problème central pour tous les objets déformables : un tissu n'a pas de forme fixe, et ses auto-occultations lors du pliage font échouer la majorité des pipelines de perception standard. Que ce système transfère sans fine-tuning là où les baselines produisent des faux positifs sur les plis sévères ou s'effondrent en haute occlusion est un résultat concret, pas un argument marketing. Pour les intégrateurs industriels, notamment en blanchisserie automatisée ou en logistique textile, cela valide l'hypothèse que la génération de données synthétiques peut compenser l'absence de datasets réels annotés, coûteux à constituer. Le passage automatique plis-vers-coins montre également qu'une stratégie de manipulation multi-phase pilotée par l'état perçu est implémentable sans recours à un modèle de déformation explicite.

La manipulation de textiles est un défi académique ouvert depuis au moins une décennie, avec des contributions notables des groupes de Berkeley, ETH Zurich et de l'université de Tokyo, sans qu'aucune solution n'ait encore atteint le déploiement industriel à grande échelle. Ce preprint s'inscrit dans un courant récent qui mise sur la synthèse de données visuelles plutôt que sur la modélisation physique exhaustive, une tendance portée aussi par des travaux sur les Vision-Language-Action models (VLA) pour les déformables. Aucun acteur français ou européen n'est cité, bien que des laboratoires comme ceux de l'INRIA ou des industriels comme Enchanted Tools travaillent sur des problématiques adjacentes de manipulation dextère. Le papier est un preprint sans déploiement annoncé ; les prochaines étapes naturelles seraient une validation sur une plus grande diversité de textiles et une intégration sur une plateforme robotique commerciale.

Dans nos dossiers

Enchanted Tools — Mirokaï arXiv cs.RO

À lire aussi

1arXiv cs.RO

Utilisation de l'inpainting pour la détection de points clés pour le contrôle visuel de manipulateurs robotiques

Des chercheurs présentent, dans une version mise à jour d'un papier arXiv (2604.13309v2, avril 2026), un système d'asservissement visuel pilotant un bras manipulateur robotique via des caractéristiques visuelles naturelles, sans marqueur permanent. Pour entraîner leur détecteur de points clés, ils fixent des marqueurs ArUco sur le bras, utilisent leurs centres comme étiquettes, puis appliquent de l'inpainting pour effacer ces marqueurs et reconstruire les zones occultées, générant des images markerless étiquetées automatiquement, sans calibration caméra ni modèle CAO du robot. À l'exécution, un second modèle d'inpainting reconstruit les zones masquées pour une détection continue, et un filtre de Kalman sans parfum (UKF) stabilise les estimations dans le temps. Le contrôle vision-based fonctionne en visibilité totale comme en occultation partielle, et le pipeline est aussi testé sur des bras souples origami à deux et trois modules. Cette méthode s'attaque à une dépendance classique du contrôle robotique par vision : la calibration caméra précise, les modèles CAO exacts ou les marqueurs fiduciaires visibles en permanence, autant de contraintes fragiles dès qu'un bras s'auto-occulte ou qu'un objet manipulé masque une partie de sa structure. En générant automatiquement des données d'entraînement markerless à partir de données marquées, l'approche réduit le coût d'annotation pour des manipulateurs arbitraires. Son extension aux bras souples origami, où les modèles cinématiques classiques s'appliquent mal faute de structure rigide, élargit sa pertinence à la robotique souple et chirurgicale, un terrain où l'absence de modèle géométrique fiable freine encore l'automatisation. L'asservissement visuel repose traditionnellement sur deux options limitées : une calibration précise caméra-robot, ou des marqueurs fiduciaires comme ArUco, efficaces mais intrusifs et peu adaptés à une interaction naturelle. Les détecteurs de points clés basés sur l'apprentissage profond promettaient une alternative sans marqueur, mais butaient sur le coût d'annotation des données d'entraînement. Ce travail ferme la boucle en utilisant les marqueurs eux-mêmes, via inpainting, pour générer puis effacer leurs propres étiquettes. Aucune entreprise ni laboratoire n'est nommé dans le résumé : il s'agit d'une contribution de recherche méthodologique, dont la suite logique serait une validation plus large sur des manipulateurs industriels et d'autres plateformes de robotique souple.

RecherchePaper

1 source

2arXiv cs.RO

Génération de données multi-tâches par apprentissage par renforcement pour la manipulation bimanuelle guidée par le langage

Des chercheurs ont publié sur arXiv (référence 2606.22471) une approche systématique pour générer automatiquement, via apprentissage par renforcement (RL), des données d'entraînement synthétiques destinées à la manipulation bimane et dextre conditionnée par le langage. Le pipeline proposé combine trois briques : une conception de récompenses généralisables (non spécifiques à une tâche), une randomisation de domaine pour combler l'écart simulation-réel (sim-to-real gap), et des annotations de tâches exprimées en langage naturel. Les expériences portent sur trois tâches de manipulation représentatives ; les auteurs concluent à une amélioration significative de la généralisation par rapport aux baselines, sans toutefois publier de métriques quantitatives précises dans le résumé disponible. Le principal verrou qu'adresse ce travail est le manque de données massives et de qualité pour entraîner des politiques généralistes sur des manipulateurs bimanes à haute dextérité. La télé-opération humaine, standard actuel pour collecter des démonstrations (méthode utilisée par des projets comme ACT, Diffusion Policy, ou les datasets de Aloha), souffre de limitations structurelles : faible diversité de tâches, inadéquation morphologique entre la main humaine et l'effecteur robot, et absence des actions robot dans les vidéos brutes. Le RL surmonte ces obstacles mais exige traditionnellement des fonctions de récompense artisanales, tâche par tâche. En proposant une conception de récompenses généralisables, les auteurs visent à rendre le pipeline scalable sans surcoût d'ingénierie par tâche, ce qui est le vrai défi industriel pour quiconque cherche à déployer des politiques multi-tâches sur des lignes d'assemblage ou de conditionnement. Ce travail s'inscrit dans une tendance de fond : face à la rareté des données robotiques réelles, la synthèse en simulation devient une voie centrale, portée par des frameworks comme Isaac Lab (NVIDIA), MuJoCo Playground, ou Genesis. Il dialogue directement avec des approches comme RoboGen, RoboCasa ou GROOT, qui cherchent également à automatiser la génération de tâches et de données. Les politiques VLA (Vision-Language-Action) telles que pi0 de Physical Intelligence ou OpenVLA nécessitent des corpus variés que la télé-opération seule ne peut pas alimenter à l'échelle requise. Les prochaines étapes naturelles seront la validation sur hardware réel et la comparaison quantitative avec des datasets de référence comme RoboSet ou Open X-Embodiment.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage de politiques ancrées en simulation pour la manipulation bimanuelle de corde à partir de données de téléopération humaine

Une équipe de recherche publie sur arXiv (ref. 2605.16043) une étude comparative sur la manipulation bimanuelle de cordes par robot, en se concentrant sur la tâche de démêlage de nœuds. Les chercheurs ont entraîné deux politiques de contrôle basées sur le framework ACT (Action Chunking with Transformers) à partir des mêmes données de télé-opération humaine : la première reçoit en entrée deux flux vidéo RGB provenant de caméras montées sur les poignets du robot, la seconde utilise un état 3D particulaire de la corde, extrait par fusion multi-vues puis propagé dans un simulateur xPBD (eXtended Position-Based Dynamics). Évaluée en boucle ouverte sur une configuration de corde inédite, la politique à base d'état réduit l'erreur L1 de 30,8 % sur l'action initiale de saisie et de traction, par rapport à son homologue visuelle. Ce résultat isole une cause souvent sous-estimée des échecs de généralisation en apprentissage par imitation : non pas l'architecture du réseau ni le volume de données, mais l'espace d'observation lui-même. Les objets linéaires déformables (DLO) comme les câbles et les cordes posent un problème d'auto-occultation fréquente sous caméra ego-centrique, rendant la perception purement visuelle peu robuste sur des configurations non vues à l'entraînement. En ancrant la représentation dans un état physique cohérent simulé par xPBD, les chercheurs comblent partiellement ce "gap d'observabilité" entre pixels bruts et état mécanique réel, ouvrant la voie à un apprentissage plus efficace en données depuis un faible nombre de démonstrations humaines. La manipulation de DLOs est un problème ouvert de longue date en robotique, car leur espace de configuration est théoriquement infini-dimensionnel. L'approche par télé-opération bimanuelle est bien établie depuis les travaux sur ACT (Stanford/Berkeley, 2023), mais sa dépendance à de grands volumes de données limite la scalabilité industrielle. Cette étude s'inscrit dans un courant qui cherche à compenser le manque de données par une meilleure structure de représentation, comparable aux travaux sur les VLA (Vision-Language-Action models) mais ici centré sur la physique plutôt que le langage. Les prochaines étapes naturelles incluent la validation en boucle fermée et l'évaluation sur des câbles industriels, contexte où des acteurs comme Cobot Systems ou des labos européens spécialisés câblage automobile pourraient trouver un intérêt direct.

UEImpact indirect : les équipementiers et laboratoires européens spécialisés dans le câblage automobile pourraient exploiter cette approche pour réduire le volume de données de téléopération requis, un goulot d'étranglement réel dans ce secteur.

RecherchePaper

1 source

4arXiv cs.RO

Mondes en une seule démo : un moteur de données synthétiques pour la manipulation mobile en monde ouvert

Des chercheurs présentent WANDA (learning open-World mobile mANipulation from one Demonstration via a synthetic DAta engine), un moteur de génération de données synthétiques permettant d'entraîner des politiques de manipulation mobile à partir d'une seule démonstration humaine. Décrit dans un preprint arXiv publié mi-juillet 2026 (arXiv:2607.13154), le système reconstruit d'abord une scène sous forme de Gaussian splats et extrait les trajectoires d'interaction robot-objet à partir d'observations RGBD. Ces segments d'interaction riches en contacts sont ensuite réagencés dans de multiples configurations spatiales grâce à une planification de mouvement corps entier, qui les enchaîne en nouvelles trajectoires. Une méthode nommée Corrective State Expansion augmente la diversité des états du robot et des objets à chaque étape de la tâche. Pour généraliser au-delà d'un seul environnement, WANDA synthétise aussi des trajectoires sur des mondes 3D générés à partir de simples photos du quotidien, puis compose des rendus photoréalistes en combinant meshes de robot et d'objets avec des fonds en Gaussian splatting. Les auteurs valident l'approche sur des tâches simulées et réelles dans des scènes variées, et démontrent un transfert zero-shot vers un second manipulateur mobile de morphologie différente, sans réentraînement. L'enjeu central est le goulot d'étranglement des données pour les politiques de manipulation mobile en monde ouvert : la téléopération et les interfaces type UMI (Universal Manipulation Interface) exigent un effort humain considérable et ne passent pas à l'échelle. En démontrant qu'une seule démonstration réelle peut être démultipliée en un jeu de données couvrant robustesse long-horizon, généralisation spatiale et généralisation inter-environnements, WANDA s'attaque directement à l'hypothèse dominante du secteur selon laquelle les politiques VLA (vision-language-action) nécessitent des milliers d'heures de téléopération pour généraliser. Le support natif du cross-embodiment, illustré par un déploiement zero-shot sur un manipulateur différent, intéresse particulièrement les intégrateurs qui cherchent à réutiliser des données d'entraînement entre plusieurs plateformes robotiques plutôt que de recollecter pour chaque nouveau châssis. Ce travail s'inscrit dans une vague de recherches sur la donnée synthétique en robotique, aux côtés d'approches comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui explorent chacune des voies différentes pour réduire la dépendance à la téléopération massive. À la différence de ces systèmes déjà déployés commercialement, WANDA reste à ce stade un preprint arXiv de juillet 2026, sans affiliation industrielle mentionnée dans l'abstract, et ses résultats n'ont pas encore été validés par une revue par les pairs ni testés en conditions de production. Les auteurs ne précisent ni le nombre de tâches évaluées ni de chiffres de performance quantifiés, ce qui invite à la prudence avant d'extrapoler ces résultats à un contexte industriel. Les prochaines étapes attendues incluent une publication en conférence et des comparaisons plus poussées face aux méthodes de collecte existantes.

RecherchePaper

1 source