RecherchearXiv cs.RO 24 juin 2026

RTFF : politique de mise à plat de tissu aléatoire vers cible avec manipulateur bi-bras

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (réf. 2510.00814v2) une méthode robotique pour aplatir automatiquement un tissu froissé et le repositionner dans une pose cible arbitraire définie par l'utilisateur, à l'aide d'un manipulateur bi-bras. La tâche, baptisée RTFF (Random-to-Target Fabric Flattening), va au-delà du simple froissage-défroissage : le système doit simultanément éliminer les faux plis et aligner le tissu sur une configuration précise, deux objectifs structurellement antagonistes puisque tout aplatissement déplace la pose, et tout réalignement tend à réintroduire des plis. L'approche repose sur l'ancrage de l'état courant et de l'état cible du tissu à un même maillage de référence (template mesh), ce qui permet une évaluation directe au niveau des sommets (vertex-level) sans recalage préalable. Sur cette représentation, les auteurs ont développé une politique hybride combinant imitation learning et visual servoing (IL-VS), avec un composant clé baptisé MACT (Mesh Action Chunking Transformer) : ce transformeur exploite la structure du maillage pour réaliser un alignement grossier conditionné par l'objectif à partir d'un petit nombre de démonstrations, avant qu'un étage de visual servoing assure la convergence précise vers la cible. Les expériences sont menées sur un vrai système bi-bras à téléopération, avec généralisation à des poses cibles, des types de tissus et des échelles non vus pendant l'entraînement.

Ce résultat est notable pour la manipulation d'objets déformables (DOM), un sous-domaine où le sim-to-real gap reste structurellement élevé en raison de la variabilité infinie des états du tissu et des occlusions causées par les plis. L'architecture MACT est intéressante car elle extrait de l'information structurée (maillage) plutôt que des images brutes, ce qui réduit l'ambiguïté de représentation typique des approches vision-seule. Le fait que la politique généralise à des tissus non vus à partir d'un ensemble compact de démonstrations suggère une efficacité de données supérieure aux pipelines RL purs, souvent gourmands en interactions simulées. Pour les intégrateurs industriels ciblant la manipulation textile (confection, logistique, blanchisserie), c'est un signal que les approches hybrides IL+VS méritent attention ; la limite reste la validation sur un seul système de téléopération en laboratoire, sans métriques de cycle time ni de robustesse sur longue durée.

La manipulation de textiles en robotique est un problème ouvert depuis plusieurs décennies, historiquement traité par des méthodes analytiques, de la vision par ordinateur classique, ou plus récemment par du reinforcement learning en simulation. Des travaux récents comme pi0 de Physical Intelligence et les approches VLA (Vision-Language-Action) ont renouvelé l'intérêt pour les politiques généralisables sur objets déformables, mais sans cibler spécifiquement le repositionnement joint. Du côté des acteurs industriels, des startups comme Apptronik, 1X ou Kepler explorent la manipulation de tissus dans des contextes de logistique ou d'assistance, mais restent sur des tâches de saisie-dépose. Aucun acteur européen ou français n'est mentionné dans ce travail académique. La prochaine étape naturelle serait l'intégration dans un pipeline plus autonome avec perception RGB-D sans marqueurs, et des tests de robustesse sur des cycles répétés en environnement non contrôlé.

Dans nos dossiers

Apptronik Apollo Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

VersaCamVLA : des politiques VLA à caméra configurable pour la manipulation robotique

VersaCamVLA, un framework publié sur arXiv (2610.12451, première version), s'attaque à une faiblesse structurelle des modèles Vision-Language-Action (VLA) : leur dépendance à une configuration de caméras fixe pendant l'entraînement. Les auteurs proposent une interface de « scene tokens » qui convertit un ensemble variable de vues RGB avec pose connue en un nombre fixe de tokens latents de scène. Cette interface est apprise par prédiction de vue cible multi-signaux, et par une méthode d'échantillonnage baptisée Wrist-Augmented Pose Sampling (WAPS), qui exploite les mouvements naturels de la caméra poignet pour obtenir gratuitement de la diversité de poses. Au déploiement, un encodeur spatial léger injecte ces tokens compacts dans un VLA de base préentraîné, comme condition visuelle supplémentaire. Aucun capteur 3D explicite ni rendu de nouvelles vues n'est nécessaire. Les tests couvrent les benchmarks RoboTwin et LIBERO ainsi qu'une plateforme robotique réelle. Les auteurs affirment que VersaCamVLA dépasse les méthodes VLA antérieures et les références multi-vues directes, avec des performances stables quand le nombre de caméras change ou que leurs poses n'ont jamais été vues. L'enjeu est très concret pour les intégrateurs. Un VLA entraîné avec une caméra tête et une caméra poignet à des positions précises perd en fiabilité dès qu'un opérateur déplace une caméra de quelques centimètres, ajoute une vue ou remplace un capteur. Cette fragilité est l'un des freins au passage de la démonstration au déploiement multi-sites, où la géométrie des cellules varie d'un client à l'autre. Découpler la représentation de la scène de l'apprentissage de l'action permet, en principe, de réutiliser un même modèle de base sans réentraînement par configuration, et de réduire les coûts de recalibration. L'approche, qui se greffe sur un VLA existant au lieu d'en exiger un nouveau, est un argument d'adoption. Elle suggère aussi que la généralisation aux changements de point de vue peut passer par une interface visuelle dédiée plutôt que par davantage de données de téléopération. Il faut toutefois relativiser. Il s'agit d'un preprint non évalué par les pairs, dont les résultats reposent sur des benchmarks en simulation et sur une seule plateforme réelle. Le résumé ne chiffre ni les taux de réussite, ni l'amplitude des changements de pose testés, ni le coût de calcul supplémentaire. Ces points seront décisifs pour juger de l'intérêt industriel. Le travail s'inscrit dans la course à la robustesse des VLA, aux côtés de familles de modèles comme Pi-0 ou GR00T, dont les déclinaisons restent généralement entraînées sur des configurations de capteurs précises. Les prochaines étapes à surveiller sont la publication du code et des poids, des tests sur des VLA de base variés, et une validation en conditions réelles avec des variations de caméras mesurées, par exemple sur des lignes de picking ou d'assemblage.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

D'une seule démonstration à une politique générale pour la manipulation avec contact

Une équipe de recherche publie sur arXiv (réf. 2605.17601, mai 2026) un framework d'apprentissage par démonstration capable de généraliser à partir d'un seul exemple sur des tâches de manipulation impliquant des contacts répétés avec l'environnement. Le système repose sur un pipeline en quatre étapes : abstraction de la démonstration en primitives de contraintes environnementales, exploration autonome pour lever les ambiguïtés, correction ciblée par un opérateur humain pour couvrir les variantes hors-distribution, et enfin récupération en ligne des détails géométriques via interaction compliante. Validé sur sept tâches réelles multi-étapes à contact riche, le framework atteint un taux de succès supérieur à 90 %. Aucune entreprise spécifique ni plateforme robotique n'est mentionnée dans le préprint, qui reste une contribution académique sans déploiement industriel annoncé. Le point central de l'approche est de représenter une tâche non pas comme une trajectoire à imiter, mais comme une séquence de contraintes environnementales à exploiter. Ce changement de paradigme permet au robot de distinguer la structure générale d'une tâche (types de contraintes, transitions entre elles) des détails spécifiques à une instance donnée (poses exactes, géométrie locale). Pour un intégrateur ou un décideur industriel, cela signifie qu'une seule démonstration suffit potentiellement là où les méthodes de behavior cloning classiques en réclament des centaines. Le résultat de 90 %+ sur des tâches à contact riche est notable car ce domaine concentre la majorité des échecs en manipulation robotique réelle, notamment à cause de la sensibilité aux variations de pose et aux dynamiques de contact non modélisées. L'apprentissage par démonstration est un champ très actif depuis une décennie, concurrencé récemment par les politiques de diffusion (Diffusion Policy, Pi-0 de Physical Intelligence), les architectures VLA (RT-2, GR00T N2 de NVIDIA) et les méthodes ACT (Action Chunking with Transformers). L'originalité revendiquée ici est de traiter les contraintes environnementales comme biais inductif plutôt que d'augmenter massivement les données d'entraînement ou la puissance du modèle. La limite principale reste l'absence d'évaluation sur des plateformes humanoïdes ou collaboratives standard, ce qui rend difficile la comparaison directe avec les benchmarks du secteur. Les suites naturelles seraient un passage à des environnements ouverts et une validation sur des robots commerciaux comme le Franka Research 3 ou les bras UR.

RecherchePaper

1 source

3arXiv cs.RO

TCBiRRT : planification rapide de mouvement pour manipulateur spatial à deux bras couplés par expansion aléatoire dans l'espace des tâches

Des chercheurs ont publié le 27 mai 2026 sur arXiv (identifiant 2605.27167) un algorithme de planification de mouvement baptisé TCBiRRT (Task-space Constrained Bidirectional Rapidly-exploring Random Tree), conçu pour les manipulateurs spatiaux bi-bras à chaîne cinématique fermée. Le problème visé est concret : lors de l'assemblage orbital de grandes structures spatiales, un bras double qui tient rigidement un objet forme une boucle fermée entre ses deux effecteurs, ce qui réduit drastiquement l'espace de configurations valides. TCBiRRT contourne cette difficulté en effectuant l'échantillonnage aléatoire directement dans l'espace tâche, défini par la pose de l'objet manipulé, plutôt que dans l'espace articulaire de haute dimension. Un algorithme de cinématique inverse sur chemin mappe ensuite chaque noeud tâche vers une trajectoire articulaire continue, intégré dans un cadre RRT bidirectionnel avec mécanisme de re-saisie. Les simulations portent sur plusieurs scénarios d'assemblage orbital à complexité environnementale variable. Les résultats annoncés sont significatifs sur le plan algorithmique : taux de succès nettement supérieurs et temps de planification améliorés de plusieurs ordres de grandeur par rapport aux planificateurs de référence. Pour un intégrateur travaillant sur des systèmes robotiques orbitaux, cela se traduit par des fenêtres d'action plus courtes et une meilleure fiabilité dans des environnements encombrés, pièces de structure, équipements déjà déployés. Il faut cependant souligner que tous les résultats reposent exclusivement sur simulation ; aucun test en microgravité réelle ni sur prototype physique n'est rapporté à ce stade. Le gap sim-to-real reste donc entier, question centrale pour toute qualification de vol. La planification de mouvement sous contraintes de chaîne fermée est un problème ancien en robotique, mais son application aux manipulateurs orbitaux bi-bras, type Canadarm2 ou les projets plus récents de bras d'assemblage pour les stations lunaires Gateway et les futures plateformes LEO commerciales, redevient stratégique. Côté concurrence algorithmique, les approches existantes (CBiRRT, planificateurs config-space classiques) peinent à passer à l'échelle dans des environnements complexes : c'est précisément ce verrou que TCBiRRT prétend lever. Aucun lien industriel ni partenariat agence spatiale n'est mentionné dans le préprint ; les prochaines étapes naturelles seraient une validation matérielle et une intégration dans des simulateurs de référence comme NASA's RSVP ou ESA's VREP.

UEAucun partenariat institutionnel européen confirmé, mais l'ESA VREP est cité comme cible d'intégration naturelle pour une validation future, ce qui représente un intérêt indirect pour les projets orbitaux européens (Gateway, stations LEO commerciales).

RecherchePaper

1 source

4arXiv cs.RO

Latents de mouvement sensibles à la géométrie pour des politiques de manipulation robustes

Ils entraînent GeoMoLa (Geometry-Aware Motion Latents) en prédisant l'évolution de nuages de points plutôt qu'en reconstruisant des images, pour capturer les transformations géométriques 3D sous-jacentes aux gestes de manipulation. Contrairement aux approches existantes qui nécessitent une reconstruction multi-vues, GeoMoLa atteint des performances état de l'art avec une seule caméra RGB-D en entrée. Les auteurs valident la méthode sur plusieurs bancs d'essai de manipulation robotique standards, ainsi que sur des expériences en conditions réelles, où le système parvient à manipuler des objets dans des environnements encombrés avec un nombre minimal de démonstrations. Leurs études d'ablation confirment que c'est la prédiction géométrique, et non la richesse visuelle, qui pilote la performance du modèle. Ce résultat pèse sur un débat central de la robotique manipulative actuelle: faut-il apprendre le mouvement à partir de motifs visuels (pixels, textures, apparence) ou à partir de la géométrie sous-jacente de la scène (formes, profondeur, déplacement des points dans l'espace)? En montrant que des latents entraînés sur la géométrie 4D (espace + temps) généralisent à des scènes visuellement inédites tout en produisant des transformations physiquement cohérentes, l'étude apporte un argument empirique en faveur d'une abstraction du mouvement indépendante de l'apparence. Pour les équipes qui développent des politiques de manipulation type VLA (vision-language-action) destinées à des bras robotiques ou des humanoïdes, cela suggère une voie pour réduire la dépendance à des configurations multi-caméras coûteuses, tout en gagnant en robustesse face au bruit visuel et au clutter, un problème récurrent des déploiements industriels réels. Cette recherche s'inscrit dans la lignée des travaux sur les représentations latentes discrètes pour le contrôle robotique, où plusieurs équipes académiques cherchent depuis quelques années à dépasser les limites des politiques purement pixel-to-action, jugées fragiles hors distribution. L'approche par nuages de points 4D rejoint des efforts plus larges en robotique combinant perception 3D (depth, LiDAR, RGB-D) et apprentissage de politiques, un axe également exploré par des laboratoires travaillant sur les modèles VLA généralistes comme Pi-0 ou GR00T N2. Le papier, publié sur arXiv début juillet 2026, ne précise pas de partenariat industriel ni de déploiement commercial: il s'agit à ce stade d'une contribution de recherche fondamentale, dont la prochaine étape naturelle serait une validation à plus grande échelle sur des plateformes robotiques commerciales.

RecherchePaper

1 source