Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
AdaDexGrasp : préhension dextérique adaptative par fusion de représentations visuo-tactiles 3D
RecherchearXiv cs.RO 

AdaDexGrasp : préhension dextérique adaptative par fusion de représentations visuo-tactiles 3D

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un nouveau système de préhension robotique baptisé AdaDexGrasp vient d'être publié sur arXiv (référence 2608.07600) en août 2026. Le framework vise à rapprocher les mains robotiques dextres du niveau d'adaptabilité humain en fusionnant vision et toucher : les signaux tactiles de chaque doigt sont associés à son identité propre et combinés à la géométrie 3D de l'objet saisi, formant une représentation unique dite visuo-tactile. Cette représentation alimente trois briques : génération de poses de préhension tenant compte du contact dès la planification, prédiction de faisabilité, puis ajustement dynamique de la prise une fois le contact établi. Les auteurs disent avoir testé l'approche en simulation et sur robot réel, avec une amélioration du taux de réussite et de la généralisation à des objets variés. Le résumé publié ne fournit toutefois ni chiffre précis de taux de succès, ni nombre de degrés de liberté de la main utilisée, ni comparaison chiffrée avec des méthodes existantes, des détails qui restent à vérifier dans l'article complet.

Le sujet touche un angle mort connu de la préhension robotique dextre : la plupart des pipelines actuels planifient une prise à partir d'images puis exécutent sans réellement corriger après le contact, ce qui dégrade la robustesse face aux objets fragiles, déformables ou mal localisés par la seule vision. Un mécanisme de rétroaction tactile post-contact qui tiendrait ses promesses hors laboratoire intéresserait directement les intégrateurs travaillant sur le bin-picking, l'assemblage fin ou les mains de robots humanoïdes, domaines où l'échec de préhension reste un goulot d'étranglement malgré les progrès des modèles vision-langage-action.

Cette recherche s'inscrit dans une tendance plus large de fusion visuo-tactile en manipulation robotique, portée depuis plusieurs années par des capteurs comme GelSight ou DIGIT et par des jeux de données de préhension dextre type DexGraspNet. AdaDexGrasp reste à ce stade une contribution académique en pré-publication, non revue par les pairs, sans partenariat industriel ni déploiement annoncé. Sa validation indépendante sur du matériel commercial constituera la prochaine étape à surveiller.

Dans nos dossiers

IA physique & VLAManipulation robotiquearXiv cs.RO

À lire aussi

Préhension dextérique sans vision par apprentissage tactile Real2Sim2Real
1arXiv cs.RO 

Préhension dextérique sans vision par apprentissage tactile Real2Sim2Real

Des chercheurs ont publié en juin 2026 sur arXiv (réf. 2606.11767) un framework Real2Sim2Real pour la saisie aveugle par main dextre, sans aucune entrée visuelle, en s'appuyant exclusivement sur des capteurs tactiles distribués. Déployé sur une LEAP Hand quatre-doigts équipée de capteurs tactiles sur chaque phalange, le système atteint 27 % de taux de succès en conditions réelles sur 20 objets (10 vus à l'entraînement, 10 inédits), sans démonstration humaine ni caméra. L'architecture combine trois composants : un pipeline de calibration Real2Sim construisant un simulateur jumeau numérique fidèle aux signaux tactiles physiques ; un encodeur tactile layout-aware intégrant la géométrie des capteurs via préentraînement auto-supervisé, pour compenser la faible expressivité des signaux épars ; et une Diffusion Policy agrégant les trajectoires réussies d'experts en apprentissage par renforcement, spécialisés par objet dans le simulateur calibré. Le 27 % de taux de succès reste modeste opérationnellement, mais l'enjeu réel est la fermeture du tactile sim-to-real gap, l'un des obstacles les plus tenaces à la généralisation des mains dextres hors laboratoire. La plupart des systèmes antérieurs substituent la vision au toucher ou se limitent à des capteurs de force simples. Ici, la calibration contact-level du simulateur permet d'entraîner des politiques qui transfèrent sur le hardware sans fine-tuning en monde réel, résultat que les ablations confirment sur la cohérence des événements de contact sim-à-hardware. Pour un intégrateur ou un responsable industriel, c'est une preuve de concept que la manipulation en environnement occlus ou non éclairé devient accessible via simulation, sans collecter de données réelles coûteuses. Ce travail s'inscrit dans un écosystème en rapide structuration autour de la manipulation tactile dextre. La LEAP Hand, développée à Carnegie Mellon et commercialisée à bas coût pour la recherche, est devenu un banc de test de référence dans ce domaine. La Diffusion Policy, popularisée par Columbia University dès 2023, continue de s'imposer comme backbone standard pour l'imitation learning dextre. L'écosystème de capteurs reste fragmenté entre XELA Robotics, GelSight et diverses peaux tactiles propriétaires. Aucun partenaire industriel ni déploiement en production n'est annoncé, positionnant clairement ce preprint comme contribution académique ; les prochaines étapes probables passent par une taxonomie d'objets plus large et une densité de capteurs accrue pour dépasser ce premier seuil de 27 %.

RecherchePaper
1 source
STAR : apprentissage de représentations tactiles éparses pour la manipulation dextérique via modèles vision-tactile-langage-action
2arXiv cs.RO 

STAR : apprentissage de représentations tactiles éparses pour la manipulation dextérique via modèles vision-tactile-langage-action

Des chercheurs ont publié le 12 septembre 2026 sur arXiv (2609.12549) STAR, un système d'apprentissage pour modèles vision-tactile-langage-action destinés à la manipulation dextre bimanuelle. L'équipe a construit une plateforme robotique et un dispositif de téléopération pour collecter 200 heures de données, soit 10 576 trajectoires réparties sur 65 tâches, dont 69,5 % impliquent une manipulation multi-doigts fine, chaque séquence étant annotée simultanément en vision, tactile et langage. STAR combine trois mécanismes pour compenser la rareté spatiale, temporelle et informationnelle des signaux tactiles : un pré-entraînement conjoint visuel-tactile, une représentation par jetons tactiles globaux épars, et une prédiction tactile future éparse. Après entraînement sur ce corpus, puis un post-entraînement léger de seulement 100 trajectoires par tâche, le modèle atteint un taux de réussite moyen de 61 % sur quatre tâches réelles. Ce résultat s'attaque à un goulot d'étranglement connu des modèles vision-langage-action (VLA) : le signal tactile, clairsemé par nature, est souvent négligé au profit de la seule combinaison vision-langage, ce qui limite la finesse de manipulation. Démontrer qu'un post-entraînement de 100 démonstrations par tâche suffit à dépasser 60 % de réussite renforce l'idée qu'une intégration tactile native, plutôt qu'ajoutée après coup, améliore la généralisation des politiques robotiques. Pour les intégrateurs en robotique humanoïde et en préhension industrielle, cela ouvre une piste concrète pour réduire le coût de collecte de données réelles, souvent le vrai frein au passage du laboratoire au terrain. Le chiffre de 61 % reste toutefois à confirmer sur des objets et environnements non vus, les quatre tâches testées ayant été sélectionnées par les auteurs eux-mêmes. STAR s'inscrit dans une recherche croissante visant à doter les modèles VLA d'un véritable retour tactile, alors que des systèmes de référence du secteur, comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, reposent surtout sur la coordination vision-langage sans exploiter systématiquement le toucher. La rareté des jeux de données vision-tactile-langage synchronisés à grande échelle explique en partie pourquoi peu d'acteurs disposent d'un corpus comparable aux 10 576 trajectoires réunies ici. Publié comme préprint sans affiliation industrielle revendiquée ni calendrier de déploiement, STAR reste à ce stade une contribution de recherche. La communauté attendra probablement la publication du code et du jeu de données, ainsi que des comparaisons directes avec d'autres architectures tactiles en cours de développement.

RechercheActu
1 source
OccluDex : apprentissage hiérarchique de représentations visuo-tactiles 3D pour la manipulation dextérique égocentrique sous auto-occlusion
3arXiv cs.RO 

OccluDex : apprentissage hiérarchique de représentations visuo-tactiles 3D pour la manipulation dextérique égocentrique sous auto-occlusion

Des chercheurs publient sur arXiv OccluDex, un cadre d'apprentissage de représentations visuo-tactiles 3D destiné à la manipulation dextre en vision égocentrique, c'est-à-dire avec une caméra placée du point de vue du robot. Le problème visé est que la main occulte elle-même les surfaces de l'objet et les zones de contact, ce qui prive l'estimation d'état d'une partie de l'information visuelle. L'encodeur repose sur un autoencodeur masqué multi-échelle qui encode progressivement la géométrie 3D partielle. Des jetons tactiles de contact sont ensuite fusionnés avec les caractéristiques géométriques de haut niveau par attention croisée. Il est préentraîné sur des démonstrations humaines visuo-tactiles synchronisées, puis transféré gelé comme backbone perceptif pour de l'apprentissage par renforcement. Deux tâches servent à l'évaluation : la rotation d'un robinet (un tour complet de poignée dans le sens horaire) et la réorientation d'un objet posé sur une table de 180 degrés, sans le renverser. En simulation, les auteurs annoncent une précision supérieure de 12,6 % sur objets inconnus et de 8,3 % sur objets déjà vus, par rapport au meilleur modèle de référence. Des essais physiques avec une main Shadow Hand montrent un transfert sim-to-real zero-shot sur des objets inconnus. Pour les équipes qui développent des mains dextres, l'intérêt tient à l'angle choisi. La plupart des travaux traitent l'occultation comme un bruit à tolérer, alors qu'elle est ici le cœur du problème, et c'est elle qui domine dès que la main se referme sur un objet. Le tactile compense la vision justement là où elle manque. Le préentraînement sur démonstrations humaines et le backbone gelé réduisent aussi le coût de l'apprentissage par renforcement, car l'encodeur n'a pas à être réappris pour chaque tâche. À nuancer toutefois : les gains en simulation sont modestes, et les auteurs ne précisent pas le nombre d'essais réels, le taux de réussite physique ni la variété des objets. Le test se limite à deux tâches et à une seule main, très coûteuse. Le passage vers des mains d'humanoïdes de série reste donc une extrapolation, et l'affirmation sur la manipulation humanoïde est une projection, pas un résultat démontré. Ces travaux s'inscrivent dans la ligne des représentations 3D visuo-tactiles et des autoencodeurs masqués, appliqués à la manipulation dextre, souvent évaluée en simulation puis sur Shadow Hand. Ils se positionnent face à des approches qui combinent nuages de points et tactile sans hiérarchie entre structure globale et contact local. Les modèles VLA généralistes, qui exploitent surtout des images RGB, traitent peu le tactile et l'occultation. Aucun pilote industriel ni calendrier n'est annoncé, et il s'agit d'une publication de recherche préliminaire (v1), non évaluée par les pairs. La suite logique serait une validation sur davantage de tâches, de mains et de capteurs tactiles, avec des statistiques de réussite en conditions réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
CoorGrasp : contrôle de contact coordonné pour une préhension dextérique adaptative sous incertitude
4arXiv cs.RO 

CoorGrasp : contrôle de contact coordonné pour une préhension dextérique adaptative sous incertitude

Une équipe de recherche propose CoorGrasp, un contrôleur prédictif piloté par le toucher (tactile-driven model predictive controller) conçu pour améliorer l'exécution de prises dextres complexes lorsque la forme ou la position exacte d'un objet reste incertaine. Le problème ciblé est concret : en boucle ouverte, une main robotique dextre a tendance à établir des contacts mal coordonnés entre ses doigts, ce qui provoque des mouvements indésirables de l'objet en main, voire des échecs de prise complets. La méthode repose sur trois apports techniques précis : une séparation des phases sensible à la coordination (approche puis serrage), une coordination bras-main destinée à compenser les erreurs de position, et une coordination adaptative des forces pour augmenter les forces de contact de façon équilibrée entre les points d'appui. Un modèle analytique relie les forces de contact aux mouvements articulaires du robot pour piloter cette commande prédictive. L'équipe a validé l'approche via 15 000 prises simulées portant sur 478 objets différents, testées sur trois mains robotiques distinctes, complétées par des essais réels sur 8 objets physiques. L'enjeu dépasse la seule prouesse algorithmique. Une grande partie de la recherche récente en manipulation dextre s'est concentrée sur la génération de poses de prise (où poser les doigts), en traitant l'exécution comme une étape secondaire. Or c'est précisément cette exécution qui échoue en conditions réelles, quand les capteurs de vision se trompent sur la géométrie ou la position exacte d'un objet. En démontrant un gain mesurable de taux de réussite et une réduction des mouvements parasites de l'objet, ce travail s'attaque directement à l'écart classique entre démonstration en laboratoire et robustesse en environnement non contrôlé, un frein connu à l'adoption industrielle des mains robotiques multi-doigts pour la logistique ou l'assemblage fin. Le point notable de généralité de CoorGrasp est qu'il ne dépend pas d'un type de prise ou d'une configuration de contact particulière : il s'intègre à n'importe quelle méthode existante de génération de poses de prise, ce qui en fait potentiellement une brique complémentaire plutôt qu'un système fermé. Publié sur arXiv début juillet 2026, ce travail s'inscrit dans un effort de recherche plus large visant à combler l'écart entre planification de prise et contrôle tactile en temps réel, un axe suivi de près par les laboratoires travaillant sur les mains dextres pour l'humanoïde et la manipulation fine.

RecherchePaper
1 source