RecherchearXiv cs.RO 5 juin 2026

DexFuture : ciblage visuomoteur hiérarchique par états futurs pour la manipulation bimanuelle d'outils

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié DexFuture (arXiv:2606.05699), une architecture hiérarchique pour la manipulation bimanuelle dextre avec des outils. Le système se décompose en deux niveaux : un prédicteur de cibles visuomotrices futures (Future-State Visuomotor Target Predictor) en haute couche, et une politique d'exécution bas niveau conditionnée sur ces cibles (Target-Conditioned Structured Dexterous Policy). Le prédicteur exploite un flux RGB égocentrique, des données proprioceptives et un historique géométrique pour générer une trajectoire multi-étape via un transformeur conditionné sur l'horizon temporel ; le module d'exécution suit ensuite ces cibles articulation par articulation (per-link) à 60 Hz. Sur le benchmark OakInk2 de tâches bimanuelles avec outils, DexFuture atteint 90 % des performances d'un oracle disposant d'états privilégiés (informations inaccessibles en déploiement réel), contre seulement 7 % pour une politique sans référence future, et s'exécute environ 250 fois plus vite que les approches de planification CEM de type DexWM.

Ce résultat est notable car il s'attaque à l'un des verrous fondamentaux de la robotique dextre : comment générer une référence future dynamiquement cohérente sans s'appuyer sur des états privilégiés issus de démonstrations humaines, et sans planification contrefactuelle lente sur des séquences d'actions à haute dimension. L'écart de performance entre la politique sans référence (7 %) et DexFuture (90 %) illustre à quel point le conditionnement sur un horizon temporel est déterminant pour la manipulation fine à deux mains. Pour les intégrateurs et décideurs B2B, l'exécution à 60 Hz est compatible avec du contrôle temps-réel sur hardware standard, là où les approches CEM nécessitaient des cycles bien trop longs pour un déploiement industriel. La séparation explicite entre prédiction sémantique lente (long horizon) et exécution haute fréquence (bas niveau) est une architecture qui se répand dans la robotique de précision, et DexFuture en fournit une validation quantitative significative sur benchmark public.

Le benchmark OakInk2 est une référence académique établie pour évaluer la manipulation d'outils à deux mains avec des mains anthropomorphes, couvrant des tâches réalistes de préhension, transfert et utilisation d'outils courants. Le champ des politiques visuomotrices pour mains dextres est en pleine effervescence : DexWM (world models pour la dextérité), Pi-0 de Physical Intelligence, et les approches VLA (Vision-Language-Action) de Google DeepMind et Figure AI poussent la généralisation vers des niveaux inédits. DexFuture se distingue en ciblant la cohérence dynamique de la trajectoire future sans supervision privilégiée, une contrainte plus réaliste que les méthodes supposant un accès complet à l'état du système. L'article n'annonce ni déploiement physique ni timeline commerciale : il s'agit d'un résultat de recherche fondamentale validé en simulation et sur données de démonstration. Les étapes naturelles seraient le passage à des mains physiques (sim-to-real), l'extension à des outils non vus à l'entraînement, et l'intégration dans des pipelines VLA pour des tâches de longue durée.

Dans nos dossiers

Figure Physical Intelligence — π0 World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

Étiquetage automatique pour la manipulation mobile bimanuelle

Un pipeline d'étiquetage automatique pour l'entraînement de politiques robotiques à long horizon a été publié le 22 septembre 2026 sous forme de preprint arXiv (2609.24059), sous le titre "Automatic Labelling for Bimanual Mobile Manipulation". La méthode combine deux approches: une analyse déterministe de la trajectoire pour localiser dans le temps les phases d'une tâche, et un raisonnement vision-langage (VL) pour décrire sémantiquement le contenu de chaque phase, séparément pour la base mobile, le bras gauche et le bras droit. Les auteurs l'ont évaluée sur 29 tâches réelles de manipulation mobile bimanuelle exécutées avec des robots Galaxea. En répétant trois fois le raisonnement VL sur les tâches sélectionnées, la sortie reste identique dans 87,4% des cas. Une revue humaine menée par neuf participants sur l'ensemble des 29 tâches montre un taux d'acceptation de 90,5% pour les découpages temporels, 90,7% pour les labels de la base, et 78,7% pour les labels des bras. L'enjeu dépasse la simple curiosité académique: l'entraînement de politiques vision-langage-action (VLA) à long horizon repose sur des annotations de sous-tâches fiables, un travail manuel coûteux qui freine le passage à l'échelle des jeux de données de démonstrations robotiques. En automatisant la localisation temporelle tout en gardant un raisonnement sémantique piloté par un modèle vision-langage, ce pipeline propose une voie pour produire des annotations structurées à moindre coût humain, un prérequis que partagent les efforts actuels autour de modèles comme Pi-0 ou GR00T N2. Le taux d'acceptation plus faible sur les labels des bras (78,7% contre plus de 90% ailleurs) mérite d'être noté par les intégrateurs: décrire correctement un comportement bimanuel asynchrone reste plus difficile qu'annoter les déplacements de la base, une limite que l'article assume sans la minimiser. Le travail s'inscrit dans la course plus large à la constitution de données d'entraînement pour les modèles génériques de manipulation, où le choix de la plateforme Galaxea, fournisseur chinois de robots bimanuels mobiles, illustre sa place croissante comme banc d'essai académique. Publié en preprint sans revue par les pairs, sans code ni jeu de données mentionnés dans le résumé, le document se présente comme une base pour une identification plus fine des sous-tâches et une vérification par états, sans calendrier de suite annoncé.

RecherchePaper

1 source

2arXiv cs.RO

HiFun : un cadre hiérarchique pour l'apprentissage efficace de la manipulation dextre fonctionnelle

HiFun est un cadre d'apprentissage par renforcement (RL) hiérarchique, entraîné directement en conditions réelles, pour des tâches de manipulation fonctionnelle avec mains robotiques multi-doigts. Ce travail est décrit dans un preprint arXiv (2610.19518v1) dont la page projet est publiée. Ses auteurs séparent le contrôle en deux niveaux. Une « compétence de main fonctionnelle » exécute le contact précis. Une politique de coordination bras-main pilote le bras et déclenche cette compétence. Les données sont collectées plus efficacement grâce à l'augmentation par Dynamic Movement Primitives (DMP), des trajectoires paramétrées qui multiplient les démonstrations. Sur six tâches réelles et deux mains dextres différentes, HiFun atteint 98,3 % de succès moyen après une heure d'entraînement en ligne. Les auteurs indiquent aussi une robustesse aux perturbations dynamiques. Le résumé ne précise ni les noms des mains, ni la liste des tâches, ni le nombre d'essais par tâche. L'intérêt est d'abord pratique. La manipulation dextre réelle se heurte à un double verrou. La simulation modélise mal les dynamiques de contact. Les démonstrations dans l'espace complet bras-main, avec un bras couplé à une main à nombreux degrés de liberté (DoF), sont coûteuses et bruitées. En découplant le contact fin de la coordination globale, HiFun réduit l'espace que l'humain doit démontrer. Il rend aussi l'intervention humaine en temps réel exploitable pour apprendre à récupérer après un contact glissé ou une force appliquée trop tôt. Si le chiffre de 98,3 % en une heure tient hors du laboratoire, il plaide pour un apprentissage réel court plutôt que pour un sim-to-real parfait. Il faut toutefois rester prudent. Il s'agit d'un preprint non évalué par des pairs, sur six tâches choisies par les auteurs. La moyenne peut masquer des écarts entre tâches. Le temps d'intervention humaine, qui ne figure pas dans le résumé, compte autant que la durée d'entraînement pour juger du coût réel. Ce travail s'inscrit dans une tendance de fond. Les modèles vision-langage-action (VLA) généralistes progressent sur la préhension simple, mais restent fragiles sur la dextérité fine avec contacts riches. Les approches de RL réel avec intervention humaine, ainsi que les compétences hiérarchiques, sont l'alternative explorée par la recherche académique. Elles se positionnent face aux politiques apprises par imitation à grande échelle, que développent des acteurs comme Physical Intelligence, NVIDIA ou Figure. Aucun déploiement industriel ni calendrier de pilote n'est annoncé. Les prochaines étapes à surveiller sont la publication du code et des données, la reproduction par d'autres laboratoires, et le test sur des tâches plus longues et sur des mains plus variées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

LDHP : planification hiérarchique pilotée par bibliothèque pour la manipulation dextérique non préhensile

LDHP, pour Library-Driven Hierarchical Planning, est un nouveau planificateur pour la manipulation non-préhensile, c'est-à-dire la manutention d'objets fins, larges ou difficiles à saisir avec une prise ferme classique (tissus, plaques, pièces plates). L'architecture proposée fonctionne en deux niveaux : un planificateur de haut niveau, dit "contact-state", propose des trajectoires de pose d'objet via des primitives appelées MoveObject, tandis qu'un planificateur de bas niveau génère des séquences de prise réalisables grâce à des primitives AdjustGrasp. La faisabilité de chaque mouvement est certifiée par des vérifications de collision et des calculs de mécanique quasi-statique, et les segments les plus sensibles au contact sont affinés par une méthode de dichotomie bornée. Les auteurs ont testé leur système sur robot réel, sur deux tâches : le levage d'objets sans mobilité (zero-mobility lifting) et l'insertion dans une fente (slot insertion), avec une exécution jugée cohérente et une robustesse démontrée face aux changements de forme et d'environnement. L'intérêt de ce travail tient à sa position par rapport aux deux grandes familles d'approches existantes. D'un côté, les planificateurs classiques ignorent souvent les contraintes réelles du gripper et produisent des mouvements théoriquement valides mais physiquement inexécutables sur un robot réel, un écueil fréquent derrière les démonstrations qui échouent hors labo. De l'autre, les approches par apprentissage, dont les modèles VLA à la GR00T N2, Pi-0 ou Helix, nécessitent d'immenses volumes de données et peinent à généraliser à des tâches hors distribution. En faisant de l'exécutabilité un critère de conception dès le départ, plutôt qu'une contrainte ajoutée après coup, LDHP découple le mouvement de l'objet de la faisabilité de la prise, ce qui permet à la même pipeline de transférer d'une tâche à l'autre et d'une géométrie d'objet à l'autre sans redéveloppement. Pour les intégrateurs et ingénieurs en robotique industrielle, c'est un signal que des pipelines structurées et certifiables peuvent rivaliser avec les approches data-hungry sur des tâches de manipulation fine, sans les coûts de collecte de données associés. La manipulation non-préhensile reste un problème de recherche ouvert de longue date, distinct du paradigme pick-and-place qui domine encore la robotique industrielle. Le champ s'est historiquement divisé entre méthodes de planification et de recherche formelles d'un côté, et méthodes d'apprentissage entraînées sur de larges jeux de démonstrations de l'autre. LDHP se positionne comme un pont entre les deux : une pipeline de planification structurée et vérifiable, mais conçue pour exposer des points d'accroche permettant d'y greffer, en option, des a priori appris. Publié sur arXiv en version mise à jour (v2), le travail reste à ce stade purement académique, sans produit ni déploiement industriel associé ; les suites logiques concerneraient l'extension à des tâches et des géométries d'objets plus complexes, ainsi qu'une intégration effective de composants appris dans les crochets prévus à cet effet.

RecherchePaper

1 source

4arXiv cs.RO

HiVLA : un système de manipulation incarnée hiérarchique centré sur l'ancrage visuel

Des chercheurs ont publié sur arXiv (identifiant 2604.14125) HiVLA, un cadre hiérarchique de manipulation robotique qui découple explicitement la planification sémantique de haut niveau du contrôle moteur de bas niveau dans les systèmes VLA (Vision-Language-Action). La couche haute s'appuie sur un planificateur VLM (Vision-Language Model) chargé de décomposer les tâches et de générer des plans structurés : une instruction de sous-tâche accompagnée d'une bounding box précise localisée visuellement sur l'objet cible. La couche basse traduit ensuite ce plan en actions physiques via un Diffusion Transformer (DiT) à flow-matching, doté d'un mécanisme de cross-attention en cascade original. Ce mécanisme fusionne séquentiellement le contexte global de la scène, des recadrages haute résolution centrés sur l'objet, et la sémantique de compétence, permettant au DiT de se concentrer uniquement sur l'exécution robuste. Les évaluations, conduites en simulation et en environnement réel, montrent que HiVLA surpasse les baselines end-to-end de l'état de l'art, avec des gains particulièrement marqués sur les tâches à longue horizon et la manipulation fine de petits objets dans des scènes encombrées. L'intérêt de cette approche réside dans la résolution d'un compromis bien documenté : le fine-tuning d'un grand modèle de vision-langage sur des données de contrôle robotique dégrade systématiquement les capacités de raisonnement généralisé héritées du modèle de base. En séparant les deux niveaux, HiVLA préserve les capacités zero-shot du VLM tout en permettant d'améliorer le composant moteur de façon indépendante. Pour un intégrateur ou un COO industriel, cela signifie potentiellement pouvoir mettre à jour la politique de bas niveau sans réentraîner le planificateur cognitif, ce qui réduit les coûts de maintenance et d'adaptation à de nouvelles tâches. La performance sur la manipulation fine dans des environnements désordonnés est notable, car c'est précisément le type de scénario qui met en défaut les VLA monolithiques comme RT-2 ou OpenVLA. Les approches VLA end-to-end comme pi-0 de Physical Intelligence, OpenVLA (UC Berkeley), ou GR00T N2 de NVIDIA ont démontré la viabilité du paradigme mais se heurtent au problème du catastrophic forgetting lors du fine-tuning sur des données de contrôle étroites. HiVLA s'inscrit dans une tendance vers des architectures hiérarchiques séparant raisonnement et exécution, direction qu'explorent également NVIDIA avec GR00T N2 et Google DeepMind avec ses travaux RT-X. Il reste cependant un preprint arXiv sans déploiement industriel annoncé ni affiliation commerciale visible dans le document disponible. Les résultats en environnement réel mentionnés dans l'abstract sont encourageants, mais les conditions expérimentales précises (types de tâches, métriques de succès, nombre d'essais) ne sont pas détaillées dans le résumé public, ce qui invite à la prudence avant toute généralisation à des applications industrielles.

RechercheOpinion

1 source