RecherchearXiv cs.RO 30 septembre 2026

FINGR : apprentissage du contrôle de main dextérique pour résoudre un Rubik's Cube en conditions réelles

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs présente FINGR (Future-supervised Interaction Network with Geometric Representations), une politique de contrôle pour main robotique dextre qui résout un Rubik's Cube en manipulation à une seule main. Sur une vraie main dextre, elle atteint 99,0 % de réussite sur 300 tentatives de rotation de face, contre 79,7 % pour la politique de flux (flow policy) de base. Couplée à des modules de saisie et de re-préhension assistée par la table, elle résout dix cubes 2×2×2 mélangés sur dix, avec un temps moyen de système complet d'environ 137 secondes. Il s'agit d'un travail académique publié sur arXiv (version 2), accompagné d'un site de projet, et non d'un produit ou d'un déploiement industriel. Les modèles de main utilisés, le protocole de mélange et les conditions d'essai ne figurent pas dans le résumé.

Techniquement, FINGR exprime la géométrie du cube relativement à chaque bout de doigt. Un encodeur de points partagé agrège les points sans dépendre de l'indexation des cubies, ce qui évite de figer une numérotation des petits cubes. Des « jetons futurs » appris, qui partagent l'encodeur d'observation, sont supervisés pour prédire les variations de force de contact, la progression de la rotation de couche et le déplacement des articulations des doigts, à plusieurs échelles de temps. La représentation obtenue conditionne une politique de flux qui génère directement les actions des doigts.

L'intérêt est double. D'abord, le gain de 79,7 % à 99,0 % suggère que, pour la manipulation riche en contacts, l'ajout d'objectifs auxiliaires de prédiction d'interactions et d'une géométrie centrée sur les doigts améliore nettement la fiabilité d'une politique générative. Ensuite, la fiabilité par tour compte davantage que la vitesse : une séquence de résolution enchaîne des dizaines de rotations, et une erreur non récupérée les fait échouer. Il faut toutefois rester prudent. Le 2×2×2 est nettement plus simple que le 3×3×3, l'échantillon de dix cubes est réduit, et rien n'indique que la méthode dépasse ce cadre de laboratoire ni qu'elle soit transposable à des tâches d'assemblage industrielles.

Le Rubik's Cube reste un banc d'essai classique de la dextérité robotique depuis la démonstration d'OpenAI avec la Shadow Hand, qui reposait sur un entraînement en simulation massif et une randomisation de domaine. Les approches actuelles se tournent plutôt vers les politiques génératives, de type flow matching ou diffusion, dont relèvent les modèles VLA récents comme Pi-0. FINGR se distingue en injectant des signaux de contact et de géométrie propres à la main. Les suites probables sont la montée au 3×3×3, plus exigeant en précision et en durée de séquence, ainsi que des tests sur d'autres mains dextres. Les auteurs ne mentionnent aucun partenaire industriel ni calendrier de transfert.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

DexCast : apprendre le contrôle dextérique en conditions réelles à partir de vidéos humaines

DexCast est un framework de recherche, publié sur arXiv (identifiant 2610.14691, version 2 révisée), qui apprend le contrôle de mains robotiques dextres directement à partir de vidéos monoculaires RGB-D d'humains, sans aucune téléopération. Le système s'appuie sur des reconstructions conjointes main-objet (HOI, pour hand-object interaction) en 3D, dont il extrait les trajectoires à reproduire. Pour traiter la difficulté de modéliser un mouvement de main à très haut nombre de degrés de liberté et d'en exploiter le contexte temporel, les auteurs proposent un module de perception du mouvement de la main, le DexHand Motion Perception Module (DMPM). Celui-ci encode la coordination entre articulations et les dépendances temporelles dans des représentations latentes compactes, qui conditionnent ensuite une politique de diffusion générant les actions futures. Les auteurs affirment des performances « exceptionnelles » sur diverses tâches de manipulation dextre testées en conditions réelles. Le résumé ne donne ni taux de réussite, ni nombre de tâches, ni modèle de main, ni comparaison chiffrée avec des méthodes existantes. L'enjeu est le coût de la donnée. Les approches d'imitation dextre dominantes reposent sur des démonstrations téléopérées, lentes à collecter, coûteuses en main-d'œuvre et peu transférables d'un robot à l'autre. Si l'on peut obtenir une politique exploitable à partir de simples vidéos humaines, le goulot d'étranglement se déplace de la collecte robotique vers la perception 3D, un terrain où les progrès sont rapides. Pour un intégrateur ou un industriel, l'attrait est évident : filmer un opérateur qualifié avec une caméra RGB-D serait bien moins cher que d'immobiliser un robot et un téléopérateur. Il faut toutefois rester prudent. Il s'agit d'un travail académique, sans déploiement ni produit, et le résumé ne dit rien de la robustesse hors du cadre de l'expérience, de la généralisation à de nouveaux objets, ni de l'écart entre morphologie humaine et main robotique. La qualité de la politique dépend aussi directement de la précision de la reconstruction HOI, notamment en cas d'occultation. DexCast s'inscrit dans un mouvement plus large qui cherche à apprendre la manipulation à partir de vidéos humaines pour réduire la dépendance à la téléopération. Parmi les approches voisines figurent les gants et dispositifs de capture portés, ainsi que les grands modèles vision-langage-action (VLA) entraînés sur des corpus mixtes, que développent des acteurs comme Physical Intelligence, NVIDIA ou Figure. La politique de diffusion, devenue un standard de l'apprentissage par imitation, est ici combinée à un encodeur spécialisé de la main. La suite logique serait la publication de benchmarks chiffrés, de code et de comparaisons avec les méthodes téléopérées, éléments indispensables pour juger de la portée réelle de l'approche. Aucun calendrier de pilote ou de commercialisation n'est annoncé.

RecherchePaper

1 source

2arXiv cs.RO

LAMP : apprentissage guidé par un a priori de mouvement latent pour la manipulation dextérique en conditions réelles

Les chercheurs à l'origine de LAMP (Latent Motion Prior-Guided Real-World Learning) proposent une méthode d'apprentissage en trois étapes pour piloter des mains robotiques dexterous directement dans le monde réel, sans passer par la simulation. Le système commence par pré-entraîner un module de "prior de mouvement latent", qui compresse l'historique récent des actions de la main en une représentation compacte et décodable en commandes exécutables à haute dimension. Une politique visuomotrice est ensuite entraînée pour prédire à la fois les commandes natives du bras et des corrections latentes pour la main, avant d'être affinée par apprentissage par renforcement (RL) résiduel en ligne, directement sur le robot physique. Testée sur quatre tâches réelles de manipulation dexterous, la méthode atteint un taux de réussite moyen de 56,25% après la seule phase d'imitation, porté à 98,75% après le RL en ligne, avec 100% de réussite sur trois des quatre tâches et 95% sur la dernière. L'enjeu dépasse la simple performance chiffrée: l'apprentissage de mains robotiques à haute dimensionnalité (nombreux degrés de liberté par doigt) est historiquement instable, car la moindre erreur d'imitation s'amplifie et pousse l'exploration par renforcement à casser le contact avec l'objet manipulé, un risque direct pour du matériel physique coûteux. En contraignant l'exploration RL à rester proche de mouvements démontrés et cohérents en termes de contact, plutôt que de perturber chaque articulation indépendamment, LAMP répond à un vrai goulot d'étranglement pour les intégrateurs qui veulent déployer de la manipulation fine (préhension d'objets fragiles, assemblage) sans multiplier les cycles de simulation coûteux ni les casses de vérins. Le travail s'inscrit dans la lignée des approches hybrides imitation + RL déjà explorées pour la robotique, mais cible spécifiquement l'espace d'action des mains dexterous, comparé ici à des interfaces d'action brutes, linéaires et discrètes, que LAMP surpasse selon les auteurs. Publié sur arXiv début juillet 2026, ce travail reste à ce stade une contribution de recherche académique, sans acteur industriel ni date de commercialisation annoncée; sa validation sur davantage de tâches et de plateformes matérielles reste l'étape logique suivante.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage par renforcement en conditions réelles avec échafaudage MPC pour la manipulation dextérique

Une nouvelle méthode d'apprentissage par renforcement (RL) entraînée directement sur un robot physique, sans simulation préalable ni démonstrations humaines, a été détaillée dans un article publié sur arXiv (2609.14878v1). Le système associe un contrôleur prédictif par échantillonnage (MPC) à un apprenant Soft Actor-Critic hors politique pour piloter une main robotique Allegro à 16 degrés de liberté. Concrètement, 20 trajectoires générées par le MPC sur le matériel réel, collectées en 12 minutes, servent d'abord à préremplir un buffer de rejeu et à pré-entraîner l'acteur et le critique. Pendant la phase en ligne, le MPC continue de guider la collecte de données par intermittence, tandis que le contrôle bascule progressivement vers la politique apprise. Sur une tâche de rotation continue d'objet en main, la politique atteint 100% de réussite en évaluation autonome (5 essais sur 5) après seulement 7 minutes d'apprentissage en ligne, moyennant environ trois chutes d'objet durant l'entraînement. Après 20 minutes, elle tourne plus de cinq fois plus vite que le contrôleur MPC initial et enchaîne 1000 rotations consécutives sur plus de 110 minutes sans lâcher l'objet. Ce résultat s'attaque à l'un des obstacles les plus concrets du RL en robotique: l'exploration initiale aléatoire, lente et destructrice pour le matériel réel. En ancrant l'apprentissage dans l'expérience d'un contrôleur classique plutôt que dans des démonstrations humaines téléopérées, coûteuses à produire en volume, la méthode réduit fortement le temps d'intervention et le nombre d'échecs physiques nécessaires avant d'obtenir une politique fiable. Pour les équipes travaillant sur la manipulation dextre, c'est un indice que l'apprentissage sur robot réel, longtemps jugé trop lent et risqué face au sim-to-real, peut converger en quelques dizaines de minutes sur une tâche à haute dimensionnalité, à condition de structurer l'exploration plutôt que de la laisser libre. Le résultat nuance aussi l'hypothèse selon laquelle des démonstrations humaines seraient indispensables pour amorcer ce type de politique. La démonstration reste toutefois limitée à une tâche de référence en conditions de laboratoire, sans institution ni calendrier de publication du code précisés. Les ablations montrent que le pré-entraînement MPC, la conservation de cette expérience dans le buffer et le guidage MPC en ligne apportent chacun un gain distinct et complémentaire, ce qui distingue l'approche des pipelines purement sim-to-real ou de l'apprentissage par imitation à partir de téléopération, aujourd'hui dominant dans la manipulation dextre humanoïde. Les auteurs rapportent en complément une adaptation rapide à d'autres géométries d'objets et une réorientation conditionnée par objectif, sans annoncer de partenariat industriel ni de déploiement au-delà du résultat de recherche.

RecherchePaper

1 source

4arXiv cs.RO

Manipulation aérienne en conditions réelles : perception embarquée, apprentissage de politiques et contrôle du corps entier

Des chercheurs présentent, dans un article publié sur arXiv (référence 2609.30521, mis en ligne le 28 septembre 2026), un système de manipulation aérienne en extérieur combinant apprentissage par imitation, estimation d'état embarquée et commande prédictive corps entier. Une Diffusion Policy, entraînée à partir de démonstrations, génère les trajectoires souhaitées de l'effecteur terminal à partir des seules observations embarquées, que traduit ensuite un contrôleur MPC "whole-body" coordonnant conjointement la plateforme volante et le bras manipulateur. Pour s'affranchir des systèmes de capture de mouvement externes habituellement requis en intérieur, la localisation repose uniquement sur une odométrie LiDAR-inertielle embarquée. Le framework a été validé sur un manipulateur aérien physique, avec exécution réussie de tâches de manipulation en extérieur, en conditions non contrôlées. Cette démonstration s'attaque à un verrou classique: la plupart des systèmes de manipulation par drone publiés jusqu'ici dépendent de salles équipées de capture de mouvement (type Vicon ou OptiTrack), ce qui cantonne les résultats au laboratoire et limite leur pertinence pour l'inspection d'infrastructures, la maintenance en hauteur ou la préhension en extérieur. En couplant une politique apprise par imitation, dans l'esprit des approches VLA qui gagnent du terrain côté robots terrestres et humanoïdes, à une commande MPC robuste aux perturbations externes comme le vent, les auteurs apportent un indice supplémentaire que l'apprentissage par démonstration peut sortir du cadre contrôlé sans sacrifier la stabilité de vol. Pour les intégrateurs qui envisagent des drones manipulateurs industriels, le travail reste toutefois un prototype de recherche validé sur un nombre limité de tâches, pas un produit commercial. La manipulation aérienne est un champ de recherche actif depuis plusieurs années, mais la quasi-totalité des démonstrations publiées restait jusqu'ici confinée à des environnements intérieurs instrumentés. L'article s'inscrit dans une tendance plus large de transfert des politiques apprises par imitation, popularisées sur des bras fixes et des humanoïdes terrestres, vers des plateformes aériennes mobiles, où l'absence d'infrastructure de localisation et les perturbations externes compliquent fortement le problème. Aucune date de déploiement industriel ni partenariat commercial n'est mentionné: il s'agit d'un travail académique dont les auteurs indiquent vouloir étendre, à l'avenir, le nombre et la diversité des tâches testées en conditions réelles extérieures.

RecherchePaper

1 source