Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
DEAL-Grasp : représentation d'alignement découplée pour une préhension dextérique tenant compte de la géométrie
RecherchearXiv cs.RO 

DEAL-Grasp : représentation d'alignement découplée pour une préhension dextérique tenant compte de la géométrie

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Publié sur arXiv le 24 septembre 2026 sous la référence 2609.28131, l'article présente DEAL-Grasp, une méthode de génération de prises dextres pour mains articulées, robotiques ou virtuelles, destinée à la réalité virtuelle, l'intelligence incarnée et les humains numériques. Plutôt que de mélanger mouvement rigide global et articulation des doigts dans un même espace comme le font les méthodes existantes, ce qui produit des contacts instables et physiquement implausibles, DEAL-Grasp sépare les deux : la pose de la main est recalculée par un alignement de Procrustes en forme close, sans optimisation itérative, tandis que l'articulation des doigts est préservée. La génération repose sur du flow matching avec régularisation physique pendant l'entraînement, sans optimisation ni guidage physique requis à l'inférence. Sur les benchmarks MultiDex et RealDex, ce dernier testé en zero-shot, la méthode affiche un fort taux de réussite sous perturbation de force, une pénétration minimale entre main et objet, une grande diversité de prises générées, et une latence d'inférence nettement inférieure aux méthodes concurrentes fondées sur l'optimisation.

Ce résultat s'attaque à un vrai goulot d'étranglement de la manipulation robotique et de l'animation numérique : la plupart des générateurs de prises dextres nécessitent une optimisation physique coûteuse après génération pour corriger des contacts aberrants, ce qui freine leur usage en temps réel. En supprimant cette étape grâce à un calcul en forme close, DEAL-Grasp réduit la latence, un atout pour la téléopération, la simulation et les mains robotiques multi-doigts des humanoïdes. Cela confirme la montée du flow matching comme alternative à la diffusion pour générer des comportements robotiques rapides et physiquement plausibles. Les résultats restent toutefois limités à des benchmarks académiques et à la simulation ; rien n'indique à ce stade un déploiement sur robot physique.

Le travail s'inscrit dans la lignée des méthodes de synthèse de prises par régression ou diffusion, qui couplent pose globale et articulation et recourent à une optimisation physique post-hoc ou à un guidage auxiliaire pour stabiliser les contacts, une contrainte que DEAL-Grasp cherche précisément à éliminer. Il rejoint aussi la tendance à l'adoption du flow matching dans les politiques de contrôle robotique, technique également employée par des modèles VLA comme Pi-0. MultiDex et RealDex servent de bancs d'essai standards du domaine. Publié comme preprint non encore évalué par les pairs, avec code et page projet en ligne, le travail n'annonce pour l'instant aucune validation sur mains robotiques physiques ni calendrier de déploiement.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

InterMASH : une représentation géométrique unifiée pour la synthèse de préhension
1arXiv cs.RO 

InterMASH : une représentation géométrique unifiée pour la synthèse de préhension

La synthèse de préhension (grasp synthesis), qui vise à générer des interactions main-objet stables et physiquement plausibles, reste freinée par l'absence de représentation commune entre mains humaines et mains robotiques, en raison de leurs différences de morphologie et de modélisation de surface. Un nouveau papier de recherche, publié sur arXiv sous la référence 2609.18504, propose InterMASH, une représentation géométrique unifiée fondée sur des ancres fixées à la surface de sphères qui établissent une correspondance entre différentes morphologies de main. À chaque ancre, des harmoniques sphériques de faible degré encodent de façon compacte la géométrie locale de la main, celle de l'objet et le contact entre les deux, formant une séquence de tokens explicite et interprétable. Sur cette base, les auteurs entraînent un Diffusion Transformer conditionnel qui opère directement dans cet espace pour générer conjointement la géométrie de la main et les points de contact. Le système atteint des performances comparables à l'état de l'art sur les métriques de faisabilité physique d'un benchmark à grande échelle basé sur la main robotique ShadowHand, permet un entraînement conjoint sur plusieurs types de mains, et montre qu'un fine-tuning cross-embodiment avec des données de préhension humaine améliore le taux de succès et la diversité des préhensions générées pour des mains robotiques. L'intérêt pour l'industrie tient au format de représentation lui-même: les approches précédentes reposaient soit sur des cartes de contact, soit sur des descripteurs implicites denses, jugés incomplets ou coûteux en calcul et redondants. En rendant la représentation nativement tokenisée et compatible avec les architectures de diffusion transformer désormais standard en robotique générative, InterMASH facilite l'entraînement de modèles de manipulation sur des données hétérogènes, humaines et robotiques combinées. Pour les chercheurs en manipulation dextre et les concepteurs de politiques type VLA, le résultat le plus concret est la preuve que des données de préhension humaine, généralement plus abondantes et moins coûteuses à collecter que des données robotiques réelles, peuvent effectivement transférer vers de meilleures performances robotiques, une piste régulièrement évoquée pour réduire la dépendance à la téléopération ou à la simulation coûteuse. Il s'agit d'une publication de recherche fraîchement mise en ligne, sans annonce de produit, de partenaire industriel ni de calendrier de déploiement: l'abstract ne mentionne aucune date de disponibilité de code au-delà de la page projet dédiée, inter-mash.github.io. Le travail s'inscrit dans la lignée des efforts combinant modélisation de la main humaine et manipulation robotique dextre, avec pour référence de comparaison le benchmark ShadowHand, largement utilisé dans la recherche académique sur la préhension. Aucun acteur français ou européen n'apparaît dans cette publication.

RecherchePaper
1 source
GWM-VLA : une modélisation latente du monde tenant compte de la géométrie pour le VLA
2arXiv cs.RO 

GWM-VLA : une modélisation latente du monde tenant compte de la géométrie pour le VLA

Publié sur arXiv sous la référence 2608.07619 (août 2026), GWM-VLA est un nouveau cadre de modélisation latente du monde pour les modèles vision-langage-action (VLA) utilisés en manipulation robotique. L'architecture combine trois éléments : un module d'encodage multi-vues géométriquement conscient, nommé VGGT-Ω, qui agrège à chaque pas de temps les flux de plusieurs caméras pour construire un état multi-vues cohérent ; un modèle du monde latent qui prédit uniquement les tokens de patch de l'étape suivante pour une vue cible unique, la caméra de poignet du bras robotique dans les expériences, plutôt que de reconstruire l'intégralité de la scène multi-vues ; et une représentation d'action latente partagée qui conditionne à la fois ce modèle du monde et une tête d'action par flow-matching, entraînée simultanément par supervision de prédiction latente et par les actions robotiques réelles. Les auteurs testent le système en simulation et sur robot réel, sans détailler de chiffres de performance dans le résumé public. L'enjeu vise une faiblesse connue des VLA : leurs performances de manipulation, solides en conditions contrôlées, se dégradent souvent face à des changements visuels ou environnementaux comme l'éclairage, la position de caméra ou l'arrière-plan. La plupart des modèles du monde latents existants encodent chaque vue caméra indépendamment et prédisent la dynamique globale de la scène sans modéliser explicitement les relations géométriques entre vues, ce qui fragilise la robustesse. En imposant une cohérence géométrique multi-vues dès l'encodage, GWM-VLA s'inscrit dans les efforts récents pour combler l'écart entre démonstrations en laboratoire et déploiement réel, un point sensible pour les intégrateurs qui évaluent des politiques VLA de type Pi-0, GR00T N2 ou Helix pour des lignes de production ou de la logistique, où la variabilité des scènes est la norme plutôt que l'exception. GWM-VLA s'ajoute à une vague de recherches associant modélisation du monde et apprentissage d'actions pour renforcer la généralisation des politiques robotiques, un axe explore en parallèle par plusieurs laboratoires travaillant sur les architectures VLA à grande échelle. L'article ne précise ni l'affiliation institutionnelle des auteurs ni de comparaison chiffrée avec des bases de référence publiées, ce qui en fait pour l'instant une contribution académique en preprint, non revue par les pairs, plutôt qu'un produit ou un déploiement industriel. Aucune date de publication en conférence, aucun partenariat industriel ni feuille de route de déploiement ne sont mentionnés ; la validation indépendante de la robustesse annoncée reste donc à établir par la communauté.

RecherchePaper
1 source
Coordi-pi : une représentation d'actions des deux mains tenant compte de la coordination pour la manipulation dextre bimanuelle
3arXiv cs.RO 

Coordi-pi : une représentation d'actions des deux mains tenant compte de la coordination pour la manipulation dextre bimanuelle

Des chercheurs proposent Coordi-π, une nouvelle représentation des actions pour les politiques VLA (vision-language-action) appliquées à la manipulation dextre bimanuelle, décrite dans un preprint arXiv (2610.19753). Les politiques bimanuelles existantes concatènent, à chaque pas de contrôle, les actions bras-main droite et gauche dans un seul vecteur, ce qui laisse les interactions entre les deux mains implicites. Coordi-π fait autrement. Chaque côté (bras plus main) devient un token d'action distinct, et les tokens sont organisés en une séquence entrelacée où les deux côtés apparaissent explicitement. Un embedding d'identité de main apprenable distingue la droite de la gauche. Un codage positionnel rotatif (RoPE) factorisé sépare la position dans la séquence du pas de contrôle. Les deux actions d'un même pas partagent ainsi une coordonnée temporelle, tout en gardant des positions distinctes dans la séquence. Sur les cinq tâches bimanuelles dextres du benchmark DexJoCo, Coordi-π dépasse π0.5, la référence de Physical Intelligence. Le taux de succès moyen passe de 31,9 % à 51,3 % en configuration rand-obj, et de 18,3 % à 32,3 % en configuration rand-full. Les auteurs annoncent aussi des résultats supérieurs à π0.5 sur quatre tâches réelles, sans en donner les chiffres dans le résumé. L'intérêt est d'abord méthodologique. La manipulation bimanuelle avec mains dextres multiplie les degrés de liberté, et le goulot d'étranglement n'est plus seulement la perception ou le langage, mais la façon dont la politique modélise la coordination entre les deux côtés. Ce travail suggère qu'un choix de structuration des actions, sans changement de backbone, peut apporter un gain notable. Il faut toutefois relativiser. Les taux de succès restent modestes en valeur absolue, autour de 51 % et 32 %, ce qui est loin d'un niveau exploitable en production. Les résultats sont obtenus en simulation sur un benchmark précis, et la version rand-full, plus difficile, montre que la généralisation reste fragile. Les essais réels ne sont pas chiffrés dans le résumé. Pour un intégrateur ou un décideur industriel, cela relève de la recherche, pas d'un produit livrable. Le contexte est celui de la course aux modèles VLA généralistes, où la famille π de Physical Intelligence sert de référence ouverte. Les acteurs de l'humanoïde développent des architectures concurrentes, comme Helix chez Figure ou GR00T chez NVIDIA, avec des mains à nombreux degrés de liberté. Le passage de la pince à la main dextre bimanuelle est l'un des verrous les plus cités. Les prochaines étapes à surveiller sont la publication des détails des essais réels, la disponibilité du code, et la reproduction des résultats sur d'autres benchmarks et matériels. C'est ce qui dira si la représentation entrelacée tient hors de DexJoCo.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Recherche de mouvement sensible au résultat pour une préhension dextérique consciente de l'impact
4arXiv cs.RO 

Recherche de mouvement sensible au résultat pour une préhension dextérique consciente de l'impact

Un preprint publié sur arXiv sous la référence 2609.29020 fin septembre 2026 présente une méthode nommée Outcome-Sensitive Motion Search, conçue pour apprendre à un bras robotique à attraper des objets lancés à grande vitesse sans les briser ni endommager l'effecteur. Le principe repose sur un enseignant entraîné par apprentissage par renforcement (RL), disposant d'un accès privilégié à l'état complet de la scène, dont le comportement sert à distiller une politique élève entraînée par apprentissage par imitation (IL), seule déployable en pratique puisqu'elle n'a pas cet accès privilégié. Les auteurs définissent une "fenêtre sensible au résultat" (outcome-sensitive window) marquant les instants où de faibles variations du geste avant contact changent radicalement l'issue de la prise et de l'impact, puis corrigent par recherche géodésique locale les trajectoires de l'enseignant, y compris ses échecs, avant de valider chaque candidat via un modèle calibré d'erreur d'action de l'élève. En simulation, la politique IL obtenue dépasse l'enseignant RL privilégié à la fois en taux de réussite de capture et en atténuation de l'impact, sans que l'abstract ne fournisse de chiffres précis de performance. Le résultat cible un point faible connu de la manipulation dynamique en robotique : la distillation d'un enseignant RL performant vers une politique déployable échoue souvent précisément près de l'instant de contact, où de minimes écarts d'action entre élève et maître se traduisent par des prises ratées ou des chocs mal absorbés. Le papier montre que cette sensibilité doit être caractérisée et réparée activement dans les démonstrations plutôt que traitée comme du simple bruit, ce qui nuance l'idée reçue qu'un enseignant RL capable fournit automatiquement de bonnes démonstrations pour l'imitation. Pour les équipes travaillant sur des bras collaboratifs ou des mains robotiques amenées à réceptionner des objets en mouvement, en logistique ou sur ligne d'assemblage, le message pratique est que l'imitation de trajectoires enseignantes réussies ne suffit pas à garantir un comportement robuste une fois l'accès aux informations privilégiées retiré au moment du déploiement. La méthode s'inscrit dans la lignée classique des architectures enseignant privilégié puis élève par imitation, largement utilisées en robotique pour transférer des comportements appris en simulation vers des politiques compactes exploitables sur du matériel réel. L'article ne cite aucune entreprise, plateforme commerciale ni acteur français ou européen : il s'agit d'un travail académique validé uniquement par des expériences en simulation étendue, sans essai sur robot physique ni calendrier de déploiement annoncé. La suite logique, non couverte par cet abstract, serait une validation sur un bras ou une main robotique réels pour vérifier si les gains observés en simulation sur le taux de capture et l'atténuation d'impact se maintiennent lors du transfert sim-to-réel.

RecherchePaper
1 source