MANGO-Grasp : champs de Mahalanobis sur…

1arXiv cs.RO

GaussianWAM : distiller la géométrie et la sémantique des champs gaussiens 3D en modèles monde-action

Un article publié sur arXiv (2608.24714) présente GaussianWAM, une méthode d'entraînement qui renforce les World-Action Models (WAM), des architectures qui apprennent conjointement à prédire les images futures et à générer des actions robotiques à partir de la dynamique vidéo. À partir d'observations multi-vues synchronisées, des modèles de fondation gelés fournissent profondeur, paramètres de caméra et caractéristiques sémantiques denses, reliés à des primitives de champ Gaussien 3D communes puis distillés dans les représentations du WAM ; tous les composants auxiliaires sont retirés après l'entraînement, sans changement du chemin d'inférence. Sur le benchmark LIBERO-Plus, GaussianWAM fait passer le taux de réussite de FastWAM de 52,05% à 71,29%, et celui de Cosmos Policy de 71,52% à 77,30%. Une base combinant distillation CLIP et VGGT atteint déjà 69,37%, portée à 71,29% par l'unification via champ Gaussien. Des gains sont aussi rapportés sur LIBERO standard, avec des tendances de transfert positives sur RoboTwin et en manipulation réelle. Ce résultat cible une limite connue des WAM : leurs représentations vidéo, optimisées pour la prédiction visuelle, ne captent pas explicitement la structure géométrique inter-vues ni la sémantique localisée des objets manipulés, ce qui plafonne la précision en manipulation fine. Un gain de près de 20 points sur FastWAM sans modifier l'architecture de déploiement ni ajouter de calcul à l'inférence suggère que l'écart entre politiques généralistes de type VLA et politiques spécialisées peut se combler par un enrichissement de la supervision à l'entraînement plutôt que par des modèles plus lourds au runtime, un point clé pour les intégrateurs évaluant des systèmes comme Pi-0, GR00T N2 ou Helix sur des tâches industrielles à budget de calcul limité. GaussianWAM s'inscrit dans les travaux récents combinant modèles de fondation en vision (CLIP, VGGT) et représentations 3D explicites pour améliorer l'apprentissage de politiques robotiques, face aux World-Action Models comme Cosmos et aux architectures FastWAM utilisées ici comme références. L'évaluation combine des benchmarks de simulation établis (LIBERO, LIBERO-Plus, RoboTwin) avec de premiers essais en manipulation réelle, une combinaison encore rare dans la littérature que les auteurs avancent pour appuyer la généralité de la méthode au-delà de la simulation. Le papier ne mentionne aucun partenariat industriel ni plan de commercialisation : il s'agit à ce stade d'une contribution de recherche, sans indication de code source ouvert ni de calendrier de suite.

RecherchePaper

1 source

2arXiv cs.RO

InterMASH : une représentation géométrique unifiée pour la synthèse de préhension

La synthèse de préhension (grasp synthesis), qui vise à générer des interactions main-objet stables et physiquement plausibles, reste freinée par l'absence de représentation commune entre mains humaines et mains robotiques, en raison de leurs différences de morphologie et de modélisation de surface. Un nouveau papier de recherche, publié sur arXiv sous la référence 2609.18504, propose InterMASH, une représentation géométrique unifiée fondée sur des ancres fixées à la surface de sphères qui établissent une correspondance entre différentes morphologies de main. À chaque ancre, des harmoniques sphériques de faible degré encodent de façon compacte la géométrie locale de la main, celle de l'objet et le contact entre les deux, formant une séquence de tokens explicite et interprétable. Sur cette base, les auteurs entraînent un Diffusion Transformer conditionnel qui opère directement dans cet espace pour générer conjointement la géométrie de la main et les points de contact. Le système atteint des performances comparables à l'état de l'art sur les métriques de faisabilité physique d'un benchmark à grande échelle basé sur la main robotique ShadowHand, permet un entraînement conjoint sur plusieurs types de mains, et montre qu'un fine-tuning cross-embodiment avec des données de préhension humaine améliore le taux de succès et la diversité des préhensions générées pour des mains robotiques. L'intérêt pour l'industrie tient au format de représentation lui-même: les approches précédentes reposaient soit sur des cartes de contact, soit sur des descripteurs implicites denses, jugés incomplets ou coûteux en calcul et redondants. En rendant la représentation nativement tokenisée et compatible avec les architectures de diffusion transformer désormais standard en robotique générative, InterMASH facilite l'entraînement de modèles de manipulation sur des données hétérogènes, humaines et robotiques combinées. Pour les chercheurs en manipulation dextre et les concepteurs de politiques type VLA, le résultat le plus concret est la preuve que des données de préhension humaine, généralement plus abondantes et moins coûteuses à collecter que des données robotiques réelles, peuvent effectivement transférer vers de meilleures performances robotiques, une piste régulièrement évoquée pour réduire la dépendance à la téléopération ou à la simulation coûteuse. Il s'agit d'une publication de recherche fraîchement mise en ligne, sans annonce de produit, de partenaire industriel ni de calendrier de déploiement: l'abstract ne mentionne aucune date de disponibilité de code au-delà de la page projet dédiée, inter-mash.github.io. Le travail s'inscrit dans la lignée des efforts combinant modélisation de la main humaine et manipulation robotique dextre, avec pour référence de comparaison le benchmark ShadowHand, largement utilisé dans la recherche académique sur la préhension. Aucun acteur français ou européen n'apparaît dans cette publication.

RecherchePaper

1 source

3arXiv cs.RO

DEAL-Grasp : représentation d'alignement découplée pour une préhension dextérique tenant compte de la géométrie

Publié sur arXiv le 24 septembre 2026 sous la référence 2609.28131, l'article présente DEAL-Grasp, une méthode de génération de prises dextres pour mains articulées, robotiques ou virtuelles, destinée à la réalité virtuelle, l'intelligence incarnée et les humains numériques. Plutôt que de mélanger mouvement rigide global et articulation des doigts dans un même espace comme le font les méthodes existantes, ce qui produit des contacts instables et physiquement implausibles, DEAL-Grasp sépare les deux : la pose de la main est recalculée par un alignement de Procrustes en forme close, sans optimisation itérative, tandis que l'articulation des doigts est préservée. La génération repose sur du flow matching avec régularisation physique pendant l'entraînement, sans optimisation ni guidage physique requis à l'inférence. Sur les benchmarks MultiDex et RealDex, ce dernier testé en zero-shot, la méthode affiche un fort taux de réussite sous perturbation de force, une pénétration minimale entre main et objet, une grande diversité de prises générées, et une latence d'inférence nettement inférieure aux méthodes concurrentes fondées sur l'optimisation. Ce résultat s'attaque à un vrai goulot d'étranglement de la manipulation robotique et de l'animation numérique : la plupart des générateurs de prises dextres nécessitent une optimisation physique coûteuse après génération pour corriger des contacts aberrants, ce qui freine leur usage en temps réel. En supprimant cette étape grâce à un calcul en forme close, DEAL-Grasp réduit la latence, un atout pour la téléopération, la simulation et les mains robotiques multi-doigts des humanoïdes. Cela confirme la montée du flow matching comme alternative à la diffusion pour générer des comportements robotiques rapides et physiquement plausibles. Les résultats restent toutefois limités à des benchmarks académiques et à la simulation ; rien n'indique à ce stade un déploiement sur robot physique. Le travail s'inscrit dans la lignée des méthodes de synthèse de prises par régression ou diffusion, qui couplent pose globale et articulation et recourent à une optimisation physique post-hoc ou à un guidage auxiliaire pour stabiliser les contacts, une contrainte que DEAL-Grasp cherche précisément à éliminer. Il rejoint aussi la tendance à l'adoption du flow matching dans les politiques de contrôle robotique, technique également employée par des modèles VLA comme Pi-0. MultiDex et RealDex servent de bancs d'essai standards du domaine. Publié comme preprint non encore évalué par les pairs, avec code et page projet en ligne, le travail n'annonce pour l'instant aucune validation sur mains robotiques physiques ni calendrier de déploiement.

RecherchePaper

1 source

4arXiv cs.RO

De la préhension à la dextérité : pré-entraînement à grande échelle pour la manipulation dextérique

Des chercheurs publient sur arXiv un nouveau papier intitulé "From Grasps to Dexterity: Large-Scale Grasp Pretraining for Dexterous Manipulation", qui s'attaque à un problème precis de la manipulation dextre robotique: utiliser un simple geste de préhension pour ensuite manipuler un outil articulé (actionner une gâchette, tourner une molette, ouvrir une pince) plutôt que de simplement le saisir et le poser. L'équipe construit un jeu de données de 355 000 trajectoires à partir d'annotations de préhension dextre à grande échelle, utilisé pour préentraîner un contrôleur bas niveau conditionné par objectif, lui-même piloté par un module haut niveau qui prédit les sous-objectifs de la main. Ce contrôleur est ensuite affiné sur des démonstrations spécifiques à chaque tâche. Pour évaluer l'approche, les auteurs introduisent DexCraft, un banc d'essai en simulation comportant six tâches d'usage d'outils articulés nécessitant une coordination fine des doigts. En conditions réelles, la méthode améliore le taux de réussite complet des tâches de 33,3 points de pourcentage par rapport à la référence DP3, et dépasse aussi les politiques de diffusion entraînées de bout en bout ainsi que les architectures hiérarchiques entraînées depuis zéro. L'intérêt pour l'industrie tient au fait que la plupart des grands jeux de données de préhension dextre existants n'avaient jusqu'ici servi qu'à générer des prises ou à faire du pick-and-place, une tâche relativement simple comparée à l'usage fonctionnel d'un outil, qui exige de maintenir le contact tout en actionnant une pièce mobile. Démontrer qu'un préentraînement sur des données de grasping generalise à ce type de manipulation contact-riche est un signal utile pour les équipes qui travaillent sur des mains robotiques multi-doigts, notamment dans le contexte des humanoïdes où la dextérité fine reste un goulot d'étranglement bien plus limitant que la locomotion. Cela va dans le sens d'une hypothèse défendue par plusieurs laboratoires: les grands corpus de démonstration, même génériques, peuvent servir de socle de préentraînement réutilisable plutôt que d'être collectés tâche par tâche. Ce travail s'inscrit dans la lignée des approches hiérarchiques d'apprentissage par imitation combinant planification haut niveau et contrôle bas niveau, un courant de recherche actif face aux politiques de diffusion de bout en bout comme DP3, utilisées ici comme référence de comparaison. Il s'agit à ce stade d'un résultat académique publié sur arXiv, testé en simulation via DexCraft et validé par des expériences réelles limitées, et non d'un système déployé commercialement. Les auteurs mettent à disposition des vidéos de démonstration sur leur page de projet, mais aucune date de mise en open source du code ni de partenariat industriel n'est mentionnée dans le résumé.

RecherchePaper

1 source

MANGO-Grasp : champs de Mahalanobis sur gaussiennes 3D orientées géométrie pour la préhension dextérique inter-incarnations

À lire aussi

GaussianWAM : distiller la géométrie et la sémantique des champs gaussiens 3D en modèles monde-action

InterMASH : une représentation géométrique unifiée pour la synthèse de préhension

DEAL-Grasp : représentation d'alignement découplée pour une préhension dextérique tenant compte de la géométrie

De la préhension à la dextérité : pré-entraînement à grande échelle pour la manipulation dextérique