Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
LiMA : relier l'imagination à long terme à la manipulation dextérique en temps réel via la diffusion asynchrone
RecherchearXiv cs.RO 

LiMA : relier l'imagination à long terme à la manipulation dextérique en temps réel via la diffusion asynchrone

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un consortium de chercheurs a présenté LiMA (arXiv:2609.28431v1), un framework génératif à double système pour la manipulation robotique dextre bimanuelle, avec un site projet dédié (ccdcs.github.io/LiMA_repo). L'architecture sépare le calcul en deux boucles asynchrones : un système lent génère une intention spatio-temporelle éparse sur un horizon long, tandis qu'un système rapide affine cette intention en trajectoires de mouvement denses à haute fréquence. La jonction entre les deux est assurée par un mécanisme nommé Latent Schrödinger Bridge Coupling, qui traite le raffinement comme un problème de transport probabiliste régularisé par entropie. Sur le plan des performances, LiMA réduit la latence d'inférence de 45,8 % par rapport à Cosmos-Policy, le modèle world-action de Nvidia pris comme référence de comparaison. Évalué sur six tâches de manipulation dextre bimanuelle couvrant plusieurs horizons temporels, il atteint un taux de réussite global de 70,8 % et un taux de réussite moyen par sous-tâche de 78,9 %, avec un maintien des performances sur des scénarios non vus à l'entraînement.

L'enjeu technique visé est un point de friction connu du secteur : les modèles Vision-Language-Action excellent en raisonnement sémantique de haut niveau mais peinent à capturer finement la dynamique physique et la perception spatiale, tandis que les World-Action Models, plus fidèles à la physique, souffrent d'une latence d'inférence élevée liée à leur génération itérative par diffusion. Ce décalage produit un désalignement temporel critique en manipulation dextre, où l'intention planifiée doit s'ajuster en quasi temps réel à des changements de contact rapides. LiMA s'inscrit dans la tendance des architectures à deux vitesses (planification lente, exécution réactive rapide) qui cherche à concilier anticipation à long terme et contrôle fin, sans sacrifier la latence, un compromis central pour tout intégrateur visant une manipulation dextre robuste hors laboratoire.

Il s'agit à ce stade d'une publication de recherche académique évaluée sur un jeu de six tâches bimanuelles définies par les auteurs, et non d'un produit déployé ni d'un pilote industriel. Le seul comparatif chiffré donné dans l'article est Cosmos-Policy de Nvidia ; l'ampleur réelle de l'avance de LiMA face à d'autres approches à deux systèmes reste donc à confirmer par des benchmarks indépendants. Le code et les détails du projet sont accessibles en ligne, sans calendrier de transfert industriel ni partenaire annoncé.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

ManiCM : politique de diffusion 3D en temps réel via un modèle de cohérence pour la manipulation robotique
1arXiv cs.RO 

ManiCM : politique de diffusion 3D en temps réel via un modèle de cohérence pour la manipulation robotique

Des chercheurs ont mis en ligne une version actualisée (v4) de leur article ManiCM sur arXiv (2406.01586), présentant un modèle capable de générer des actions robotiques par diffusion en une seule étape d'inférence, contre plusieurs dizaines habituellement nécessaires. Le système applique une contrainte de cohérence (consistency model) au processus de diffusion dans l'espace des actions, conditionné par un nuage de points représentant la scène en 3D. Plutôt que de prédire le bruit à chaque étape de débruitage comme le font les modèles de diffusion classiques, une technique de distillation de cohérence entraîne le modèle à prédire directement l'échantillon d'action final depuis n'importe quel point de la trajectoire ODE. Évalué sur 31 tâches de manipulation issues des bancs d'essai Adroit et Metaworld, ManiCM affiche une vitesse d'inférence moyenne dix fois supérieure aux méthodes de diffusion 3D de référence, tout en conservant un taux de réussite comparable. Cette accélération répond à un frein connu des politiques de diffusion en robotique : leur puissance pour modéliser des distributions d'actions complexes se paie par des dizaines d'étapes de débruitage séquentielles, incompatibles avec un contrôle temps réel, surtout avec des observations 3D haute dimension comme les nuages de points. En ramenant l'inférence à une seule étape sans sacrifier significativement le taux de succès, ManiCM s'attaque à un vrai goulot d'étranglement pour tout intégrateur voulant faire tourner ces modèles sur du matériel embarqué à fréquence de contrôle élevée, plutôt que dans des démonstrations hors ligne. Les gains restent toutefois mesurés en simulation, sur des bancs d'essai standards mais artificiels, et non sur des bras ou mains robotiques physiques : l'écart classique entre performance simulée et robustesse en conditions réelles reste à vérifier. La méthode s'inscrit dans la lignée des politiques de diffusion 3D (3D Diffusion Policy, DP3) qui se sont imposées pour la manipulation dextre depuis 2023-2024, en reprenant les modèles de cohérence initialement conçus pour accélérer la génération d'images dans la communauté vision par ordinateur, ici adaptés à l'espace d'action de dimension bien plus faible pour une convergence rapide. Il s'agit d'une publication de recherche académique, sans annonce d'intégration commerciale ni de partenaire industriel à ce stade. Les suites attendues pour ce type de travaux sont généralement une validation sur robot physique et une comparaison face à d'autres approches génératives rapides, VLA ou politiques distillées, qui visent le même compromis entre expressivité et latence de contrôle.

RecherchePaper
1 source
DEXTERA : d'une image unique à la manipulation dextérique déployable via réel-vers-simulation-vers-réel
2arXiv cs.RO 

DEXTERA : d'une image unique à la manipulation dextérique déployable via réel-vers-simulation-vers-réel

DEXTERA, présenté dans un article arXiv (2609.21045, septembre 2026), est un framework automatisé real-to-sim-to-real qui transforme une seule image RGB en politiques de manipulation dextre déployables. Le pipeline suit quatre étapes : décomposition de la scène en arrière-plan Gaussien statique et objets rigides ou articulés dont les paramètres physiques sont inférés par un modèle vision-langage ; alignement métrique de la scène, canonicalisation des objets et calibration du robot adaptée à sa morphologie ; génération de primitives de tâches en simulateur via téléopération VR et synthèse de trajectoires ; enfin une interface de politique unique pour l'apprentissage par imitation et par renforcement. Testé sur 13 paires tâche-robot, 2 plateformes dextres et 6 architectures, le taux de réussite moyen grimpe de 29,2% en simulation seule à 61,9% avec co-entraînement simulation-réel. L'enjeu dépasse la démonstration technique : construire un jumeau numérique prêt au déploiement reste largement manuel, et les écarts visuels, géométriques et dynamiques entre simulation et monde réel freinent le transfert sim-to-real, surtout pour la manipulation dextre à haut nombre de degrés de liberté. En automatisant cette construction à partir d'une seule photo, DEXTERA vise à réduire le coût et le temps de collecte de données réelles, goulot d'étranglement cité par la plupart des laboratoires travaillant sur des politiques vision-langage-action. Le résultat le plus parlant n'est pas que les politiques entraînées en simulation seule deviennent déployables en zero-shot, mais que le co-entraînement simulation-réel fait plus que doubler leur taux de succès, signe que la simulation photoréaliste seule ne résout pas encore le problème pour la dextérité fine. DEXTERA s'inscrit dans une lignée de travaux combinant Gaussian splatting et modèles vision-langage pour générer des simulations photoréalistes à bas coût, une piste distincte des approches VLA généralistes comme Pi-0, GR00T N2 ou Helix, qui misent sur l'échelle des données plutôt que sur l'automatisation du jumeau numérique. Les auteurs revendiquent une fidélité visuelle et une reconstruction 3D supérieures aux baselines génératives existantes. Il s'agit toutefois d'un article de recherche fraîchement soumis sur arXiv, sans entreprise ni plateforme robotique nommément identifiée, et sans pilote de déploiement ni calendrier de commercialisation annoncés : DEXTERA reste à ce stade une preuve de faisabilité méthodologique plutôt qu'un produit prêt pour l'intégration industrielle.

RecherchePaper
1 source
Adaptation aux défauts articulaires en temps réel pour la manipulation dextérique en main
3arXiv cs.RO 

Adaptation aux défauts articulaires en temps réel pour la manipulation dextérique en main

Des chercheurs présentent Residual Fault Adaptation (RFA), un framework d'apprentissage par renforcement destiné à la manipulation dextre en main robotique lorsqu'une panne survient sur un canal de commande d'articulation en cours de fonctionnement. L'architecture repose sur un « teacher » sain figé qui fournit le comportement nominal, couplé à une politique résiduelle récurrente entraînée à déduire des actions correctives à partir de l'historique proprioceptif et de la réponse aux commandes. L'entraînement utilise une randomisation de domaine par injection de fautes (FIDR), qui fait varier le mode de panne, l'articulation touchée, la sévérité et l'instant de déclenchement, avec un échantillonnage adaptatif qui privilégie les modes de panne les moins bien gérés récemment. Une politique Direct FIDR figée sert uniquement de référence distributionnelle pendant l'entraînement sur les échantillons avec panne active, et n'intervient plus au déploiement. Le contrôleur final ne reçoit ni étiquette de panne ni signal de basculement de contrôleur. Les auteurs rapportent des gains de performance en simulation sur une main dextre selon un protocole de pannes mixtes fixe, ainsi qu'un déploiement zero-shot réussi sur robot réel avec pannes injectées par logiciel. Pour l'industrie robotique, ce travail s'attaque à un angle mort réel de la manipulation dextre : la tolérance aux pannes matérielles en conditions d'usage, plutôt que la seule performance en environnement contrôlé. Une articulation qui se bloque ou répond mal en cours de tâche est un scénario courant en usine ou en logistique, et la capacité d'une politique à s'adapter sans détection explicite de panne ni bascule de contrôleur simplifierait l'intégration pour les fabricants de mains robotiques. Cela dit, la portée reste limitée : les résultats réels s'appuient sur des pannes injectées par logiciel, pas des défaillances matérielles spontanées, et l'essentiel de la validation demeure en simulation, ce qui appelle la prudence sur la généralisation à des pannes non vues à l'entraînement. Ce travail s'inscrit dans la lignée des architectures teacher-student utilisées pour le sim-to-real en robotique, où une politique privilégiée entraînée avec des informations complètes guide une politique déployable plus contrainte. Il rejoint aussi les efforts récents sur la robustesse des politiques de manipulation dextre face aux aléas physiques, distincts des approches VLA généralistes comme Pi-0 ou GR00T N2 qui visent la généralisation sémantique plutôt que la tolérance aux pannes matérielles. L'article, publié sur arXiv, ne mentionne pas de partenaire industriel ni de calendrier de transfert vers un produit commercial ; les prochaines étapes attendues porteraient sur des pannes matérielles réelles non simulées et une validation sur d'autres plateformes de mains robotiques.

RecherchePaper
1 source
Régulation de force en temps réel pour la préhension dextérique de la main entière
4arXiv cs.RO 

Régulation de force en temps réel pour la préhension dextérique de la main entière

Une équipe de chercheurs publie le 25 septembre 2026 une prépublication sur arXiv (arXiv:2609.30082v1) décrivant un système de régulation de force en temps réel pour la préhension dextre impliquant l'ensemble de la main robotique, et non les seuls bouts des doigts. Le problème ciblé est concret : une répartition de force calculée à l'avance échoue dès que l'objet bouge, que le modèle géométrique est imprécis, ou qu'une perturbation externe survient. La méthode estime géométriquement les points de contact sur tous les liens de la main à partir d'un modèle suivi de l'objet et de la proprioception, sans capteur tactile dédié à ces zones de contact. Elle recalcule en continu la distribution de force souhaitée sous contraintes de frottement, de limites d'actionneurs, et une contrainte de cohérence d'actionnement inspirée de l'analyse classique de force en membre entier. Ce contrôleur est couplé à un module d'atteinte réactive, permettant à la main de saisir un objet, de maintenir la prise sous perturbation, puis de re-saisir après une perte de contact. Des essais en simulation sans gravité montrent une meilleure rétention de prise que deux méthodes de référence, une allocation fixe et une exécution limitée aux bouts des doigts, sous perturbations contrôlées. Des tests réels sur un système bras-main à 27 degrés de liberté confirment le maintien et la récupération de prise sous perturbations appliquées à la main par un opérateur humain, alors que les contacts évoluent sur toute la surface de la main. Ce travail s'attaque à un verrou classique de la manipulation dextre : la plupart des mains robotiques reposent soit sur une planification de force figée avant contact, soit sur des réseaux de capteurs tactiles denses et coûteux répartis sur chaque phalange, ce qui alourdit le coût matériel et la calibration. Démontrer qu'une estimation géométrique des contacts suffit à maintenir une prise robuste, sans instrumentation tactile supplémentaire, ouvre une piste pour réduire le coût des mains à haut nombre de degrés de liberté, un enjeu direct pour les intégrateurs visant la manipulation fine en environnement non structuré. Pour les acteurs qui misent sur les modèles vision-langage-action pour piloter des mains humanoïdes, ce résultat rappelle que la couche bas niveau de contrôle de force reste un goulot d'étranglement séparé de la décision haut niveau : savoir quoi saisir ne garantit pas de tenir la prise quand l'objet glisse. Le papier s'inscrit dans la recherche en contrôle de force multi-doigts, un champ dominé jusqu'ici par la planification hors ligne ou par des architectures tactiles denses, ce qui explique le choix des auteurs de comparer leur méthode à ces deux approches plutôt qu'à un produit commercial. La validation sur une plateforme à 27 DoF situe l'expérimentation au niveau des systèmes de recherche avancés en manipulation dextre. Les auteurs mettent à disposition une page de projet avec des démonstrations vidéo, mais ne communiquent aucun calendrier de transfert industriel ni partenariat : il s'agit à ce stade d'une contribution académique en prépublication, non d'un produit déployé.

RecherchePaper
1 source