RecherchearXiv cs.RO 17 septembre 2026

InterMASH : une représentation géométrique unifiée pour la synthèse de préhension

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

La synthèse de préhension (grasp synthesis), qui vise à générer des interactions main-objet stables et physiquement plausibles, reste freinée par l'absence de représentation commune entre mains humaines et mains robotiques, en raison de leurs différences de morphologie et de modélisation de surface. Un nouveau papier de recherche, publié sur arXiv sous la référence 2609.18504, propose InterMASH, une représentation géométrique unifiée fondée sur des ancres fixées à la surface de sphères qui établissent une correspondance entre différentes morphologies de main. À chaque ancre, des harmoniques sphériques de faible degré encodent de façon compacte la géométrie locale de la main, celle de l'objet et le contact entre les deux, formant une séquence de tokens explicite et interprétable. Sur cette base, les auteurs entraînent un Diffusion Transformer conditionnel qui opère directement dans cet espace pour générer conjointement la géométrie de la main et les points de contact. Le système atteint des performances comparables à l'état de l'art sur les métriques de faisabilité physique d'un benchmark à grande échelle basé sur la main robotique ShadowHand, permet un entraînement conjoint sur plusieurs types de mains, et montre qu'un fine-tuning cross-embodiment avec des données de préhension humaine améliore le taux de succès et la diversité des préhensions générées pour des mains robotiques.

L'intérêt pour l'industrie tient au format de représentation lui-même: les approches précédentes reposaient soit sur des cartes de contact, soit sur des descripteurs implicites denses, jugés incomplets ou coûteux en calcul et redondants. En rendant la représentation nativement tokenisée et compatible avec les architectures de diffusion transformer désormais standard en robotique générative, InterMASH facilite l'entraînement de modèles de manipulation sur des données hétérogènes, humaines et robotiques combinées. Pour les chercheurs en manipulation dextre et les concepteurs de politiques type VLA, le résultat le plus concret est la preuve que des données de préhension humaine, généralement plus abondantes et moins coûteuses à collecter que des données robotiques réelles, peuvent effectivement transférer vers de meilleures performances robotiques, une piste régulièrement évoquée pour réduire la dépendance à la téléopération ou à la simulation coûteuse.

Il s'agit d'une publication de recherche fraîchement mise en ligne, sans annonce de produit, de partenaire industriel ni de calendrier de déploiement: l'abstract ne mentionne aucune date de disponibilité de code au-delà de la page projet dédiée, inter-mash.github.io. Le travail s'inscrit dans la lignée des efforts combinant modélisation de la main humaine et manipulation robotique dextre, avec pour référence de comparaison le benchmark ShadowHand, largement utilisé dans la recherche académique sur la préhension. Aucun acteur français ou européen n'apparaît dans cette publication.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

DEAL-Grasp : représentation d'alignement découplée pour une préhension dextérique tenant compte de la géométrie

Publié sur arXiv le 24 septembre 2026 sous la référence 2609.28131, l'article présente DEAL-Grasp, une méthode de génération de prises dextres pour mains articulées, robotiques ou virtuelles, destinée à la réalité virtuelle, l'intelligence incarnée et les humains numériques. Plutôt que de mélanger mouvement rigide global et articulation des doigts dans un même espace comme le font les méthodes existantes, ce qui produit des contacts instables et physiquement implausibles, DEAL-Grasp sépare les deux : la pose de la main est recalculée par un alignement de Procrustes en forme close, sans optimisation itérative, tandis que l'articulation des doigts est préservée. La génération repose sur du flow matching avec régularisation physique pendant l'entraînement, sans optimisation ni guidage physique requis à l'inférence. Sur les benchmarks MultiDex et RealDex, ce dernier testé en zero-shot, la méthode affiche un fort taux de réussite sous perturbation de force, une pénétration minimale entre main et objet, une grande diversité de prises générées, et une latence d'inférence nettement inférieure aux méthodes concurrentes fondées sur l'optimisation. Ce résultat s'attaque à un vrai goulot d'étranglement de la manipulation robotique et de l'animation numérique : la plupart des générateurs de prises dextres nécessitent une optimisation physique coûteuse après génération pour corriger des contacts aberrants, ce qui freine leur usage en temps réel. En supprimant cette étape grâce à un calcul en forme close, DEAL-Grasp réduit la latence, un atout pour la téléopération, la simulation et les mains robotiques multi-doigts des humanoïdes. Cela confirme la montée du flow matching comme alternative à la diffusion pour générer des comportements robotiques rapides et physiquement plausibles. Les résultats restent toutefois limités à des benchmarks académiques et à la simulation ; rien n'indique à ce stade un déploiement sur robot physique. Le travail s'inscrit dans la lignée des méthodes de synthèse de prises par régression ou diffusion, qui couplent pose globale et articulation et recourent à une optimisation physique post-hoc ou à un guidage auxiliaire pour stabiliser les contacts, une contrainte que DEAL-Grasp cherche précisément à éliminer. Il rejoint aussi la tendance à l'adoption du flow matching dans les politiques de contrôle robotique, technique également employée par des modèles VLA comme Pi-0. MultiDex et RealDex servent de bancs d'essai standards du domaine. Publié comme preprint non encore évalué par les pairs, avec code et page projet en ligne, le travail n'annonce pour l'instant aucune validation sur mains robotiques physiques ni calendrier de déploiement.

RecherchePaper

1 source

2arXiv cs.RO

CloSE : une représentation d'état du tissu indépendante de la forme géométrique

Des chercheurs ont publié sur arXiv (arXiv:2504.05033, version 3) une nouvelle représentation de l'état de déformation des textiles pour la manipulation robotique, baptisée CloSE (Cloth StatE). La méthode repose d'abord sur un intermédiaire appelé dGLI disk : une grille circulaire sur laquelle sont calculés des indices topologiques pour chaque segment de bord du tissu. La carte de chaleur (heatmap) ainsi générée fait apparaître des motifs stables qui caractérisent l'état du tissu indépendamment de sa forme, de sa taille ou de son orientation. Ces motifs sont ensuite condensés en une représentation circulaire compacte et continue : CloSE. Les auteurs démontrent que cette représentation prédit correctement l'emplacement des plis sur plusieurs jeux de données de simulation de vêtements, et qu'elle s'applique à deux tâches concrètes : l'étiquetage sémantique des parties du vêtement et la planification de tâches à haut et bas niveau. Le code et les données sont disponibles publiquement. La manipulation de textiles reste l'un des problèmes non résolus de la robotique industrielle : contrairement aux objets rigides, un tissu peut prendre un nombre quasi infini de configurations déformées, ce qui rend la prise de décision et la planification de trajectoire extrêmement difficiles. L'apport principal de CloSE est d'être agnostique à la géométrie du vêtement, ce qui signifie qu'un même pipeline de perception et de planification peut théoriquement s'appliquer à un T-shirt, une chemise ou un pantalon sans réentraînement. Pour un intégrateur ou un équipementier du secteur textile, c'est une propriété clé : elle réduit le coût de généralisation entre références produits. La représentation compacte facilite également son intégration dans des boucles de contrôle temps réel. Ce travail s'inscrit dans un effort académique soutenu autour de la manipulation de tissus, aux côtés d'approches comme les réseaux de points déformables (DenseFusion, FlingBot) ou les méthodes basées sur les graphes de tissu. La plupart des résultats présentés ici restent en simulation, ce que les auteurs n'occultent pas, mais la nature topologique des indices dGLI est conçue pour faciliter le transfert sim-to-real. Aucun déploiement industriel ou partenariat n'est annoncé à ce stade. Les prochaines étapes naturelles seraient une validation sur robot physique et une extension aux tissus opaques ou fortement déformés.

RecherchePaper

1 source

3arXiv cs.RO

Un modèle de représentation universel pour la manipulation dextérique unifiée

Une équipe de chercheurs propose OHRA (One Hand to Rule Them All), un cadre de représentation canonique paramétrisée visant à unifier les politiques de manipulation dextère sur des mains robotiques de morphologies très différentes. Constat de départ : les politiques d'apprentissage actuelles supposent une architecture de main fixe et ne se transfèrent pas sans réentraînement complet. Le système combine un espace de paramètres unifié capturant les variations cinématiques et morphologiques essentielles, et un format URDF canonique standardisant l'espace d'action tout en préservant les propriétés dynamiques de chaque main d'origine. Un VAE (Variational Autoencoder) est entraîné sur cet espace pour produire un plongement latent compact et sémantiquement cohérent. Résultat clé : la politique de préhension conditionnée sur cette représentation atteint 81,9 % de succès en transfert zéro-shot sur une LEAP Hand à 3 doigts, morphologie non vue pendant l'entraînement, validée en simulation et sur tâches réelles. L'enjeu est directement industriel : la fragmentation des designs de mains, Shadow Robotics, LEAP, Allegro, Ability Hand, rend les politiques non portables d'un hardware à l'autre. Un cadre partagé permettrait à un intégrateur de réentraîner une politique existante sur un nouveau manipulateur sans repartir de zéro, comprimant les coûts de déploiement. Le score de 81,9 % en zéro-shot sur une configuration inédite est un signal mesurable que le "morphology gap", l'analogue du sim-to-real gap appliqué aux architectures de mains, commence à être adressé. Le fait que les interpolations dans l'espace latent produisent des transitions morphologiques physiquement cohérentes indique que le VAE capture une géométrie fonctionnelle, pas seulement statistique. Ce travail s'inscrit dans la dynamique plus large de l'apprentissage cross-embodiment, aux côtés de travaux comme UniDexGrasp, DexGraspNet ou les approches fondées sur des VLA (Vision-Language-Action models). Sur le plan concurrentiel, Google DeepMind, Physical Intelligence (Pi-0) et Unitree investissent dans des politiques généralisables, mais l'angle "unification par représentation canonique de la morphologie de main" reste peu exploré industriellement. Les suites naturelles incluent l'extension à la manipulation bimanuelle, aux mains à plus de 5 doigts, et l'intégration dans des pipelines de téléopération. Aucun déploiement commercial ni partenariat industriel n'est annoncé à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

Vers une représentation unifiée inter-domaines pour la manipulation par pince à deux doigts, centrée sur l'interaction

Un article publié le 28 septembre 2026 sur arXiv (référence 2609.31207) décrit une méthode d'apprentissage par imitation pour pinces robotiques à deux doigts, censée transférer une politique d'un robot à un autre sans réentraînement. Un modèle vision-langage interprète une instruction et un flux RGB-D pour former un triplet pince, objet tenu, objet cible, tandis que SAM 2.1, de Meta, suit les masques et limite les appels au VLM. La scène est encodée dans une représentation canonique centrée sur la pince, combinée à des champs de potentiel pour le guidage global et des nuages de points en repère pince pour la géométrie locale, puis traduite en actions lisses à 7 degrés de liberté par un Flow-Matching Transformer. Les auteurs rapportent des tests en simulation et en conditions réelles, avec transfert zero-shot vers des plateformes robotiques et angles de caméra inédits. La question visée, la généralisation cross-embodiment, est centrale pour l'industrie: la plupart des politiques de manipulation restent liées à la géométrie du bras et de la pince d'entraînement, obligeant à tout recollecter dès qu'un intégrateur change de matériel ou de caméra. En séparant sémantique de la tâche et géométrie matérielle, l'approche vise directement ce goulot d'étranglement, potentiellement utile aux intégrateurs opérant des flottes hétérogènes de bras et de pinces. Les auteurs revendiquent être les premiers à conjuguer scores de benchmark compétitifs et transfert sim-to-real zero-shot aussi étendu, une affirmation d'abstract académique à prendre avec prudence tant qu'elle n'a pas été reproduite sur du matériel industriel varié, le travail restant un résultat de recherche, non un produit déployé. Cette contribution s'inscrit dans la vague actuelle des modèles vision-langage-action (VLA) généralistes pour la robotique, tels Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, qui butent sur cet enchevêtrement entre sémantique et géométrie matérielle, ici traité pour les pinces à deux doigts, configuration la plus répandue en manipulation industrielle. Le recours à SAM 2.1 et à un Flow-Matching Transformer, courants dans les politiques d'action génératives récentes, relève de la boîte à outils standard du secteur plutôt que d'une rupture technologique. Aucun acteur ni institution française ou européenne n'apparaît dans cet article. Les étapes suivantes attendues sont la publication du code et des poids, une validation sur davantage de plateformes et une revue par les pairs avant toute reprise commerciale.

RechercheOpinion

1 source