Cooperative bimanual dexterous grasp d'objets…

1arXiv cs.RO

Grasp, transfert, rotation : réorientation bimanuelle d'objets par diffusion compositionnelle et optimisation énergétique

Grasp, Handover, Rotate : réorientation bimanuelle d'objets par diffusion compositionnelle et optimisation à base d'énergie Une équipe de recherche publie sur arXiv (arXiv:2607.21341v1, soumission du 24 juillet 2026) BiCompoDiff, un framework qui traite la réorientation bimanuelle d'objets : saisir un objet, le transférer d'un bras à l'autre, puis le poser dans une orientation cible, une manoeuvre nécessaire quand un placement direct depuis la prise initiale est impossible à cause de collisions, de contraintes cinématiques ou d'une orientation finale inadéquate. Le système combine un modèle de diffusion de prise pré-entraîné avec des modèles à base d'énergie (EBM) de planification bimanuelle, et injecte un guidage par gradient pendant la diffusion inverse pour imposer simultanément l'évitement de collisions, la fluidité de trajectoire via cinématique inverse différentiable, la faisabilité du transfert entre bras et la sécurité de la reprise. Un échantillonnage MCMC recuit affine ensuite les poses de prise sur ce paysage énergétique composite. Sur des tâches simulées de réorientation d'objets domestiques, BiCompoDiff atteint un taux de réussite supérieur de plus de 20% et des trajectoires jusqu'à 37% plus lisses, mesurées par le déplacement articulaire, comparé à des méthodes d'échantillonnage jugées solides par les auteurs. Une validation en conditions réelles est également mentionnée, avec un transfert sim-to-real jugé efficace. L'enjeu dépasse la simple démonstration technique : la manipulation bimanuelle coordonnée reste l'un des points faibles concrets des robots humanoïdes et bras doubles destinés à des tâches réelles, là où le pick-and-place à un seul bras échoue régulièrement sur des objets encombrants, mal orientés ou nécessitant un contournement d'obstacle. La plupart des approches existantes optimisent séparément la sélection de prise, la planification de trajectoire et la gestion du transfert entre bras, ce qui génère des incohérences quand ces sous-problèmes entrent en conflit. En unifiant ces objectifs dans un même cadre d'optimisation sous contraintes, ce travail illustre une tendance de fond en robotique de manipulation : combiner modèles génératifs de prise et méthodes de planification basées sur l'énergie pour traiter des séquences multi-étapes, plutôt que des gestes isolés. C'est un signal utile pour les intégrateurs travaillant sur des cellules robotiques bimanuelles ou des humanoïdes appelés à manipuler des objets dans des environnements non structurés, un des écarts persistants entre les démonstrations en vidéo et la réalité opérationnelle. Le papier s'inscrit dans une double lignée de recherche déjà bien établie séparément, les modèles de diffusion pour la génération de prises robustes d'un côté, les modèles à base d'énergie pour la planification de trajectoires sous contraintes de l'autre, que BiCompoDiff cherche à faire converger de façon compositionnelle. Les gains annoncés (20%, 37%) sont mesurés contre des baselines d'échantillonnage qualifiées de "fortes" sans détail sur leur nature exacte, une réserve à garder en tête tant que le papier n'a pas été revu par les pairs ni testé par d'autres équipes. Aucune entreprise ni plateforme robotique commerciale n'est citée, il s'agit d'un travail académique pur à ce stade, sans indication de mise en oeuvre sur un produit ou une ligne de déploiement. Les suites logiques attendues seraient une évaluation sur du matériel bimanuel plus divers, une comparaison directe avec des méthodes de planification classiques utilisées en industrie, et potentiellement une intégration dans des piles de manipulation robotique plus larges.

RecherchePaper

1 source

2arXiv cs.RO

Un bras observe l'autre : coopération multi-agents dynamique pour une manipulation bimanuelle efficiente en environnement dynamique

Des chercheurs ont présenté DynaMAC (Dynamic Multi-Agent Cooperation), un framework léger et agnostique aux politiques d'apprentissage, conçu pour la manipulation robotique bimanuelle et les environnements dynamiques. Contrairement aux politiques multi-flux classiques, qui modélisent les actions par rapport à des repères environnementaux supposés fixes, DynaMAC traite le bras opposé comme un paramètre de tâche dynamique, ce qui unifie la manipulation d'objets en mouvement et la coordination à deux bras sans imposer de relation explicite leader-suiveur. Pour évaluer l'approche, l'équipe a aussi introduit DynaBench, un nouveau benchmark dédié à la manipulation en environnement dynamique. Sur l'ensemble des tâches testées, dynamiques et bimanuelles, DynaMAC dépasse les meilleures méthodes probabilistes et génératives de plus de 35 points de pourcentage tout en nécessitant 20 fois moins d'exemples d'entraînement. Le système généralise aussi en zero-shot: entraîné uniquement sur des démonstrations statiques, il fonctionne directement dans des environnements dynamiques sans données supplémentaires. Ce résultat s'attaque à un angle mort connu des politiques VLA (vision-language-action) et des architectures multi-flux: leur efficacité d'échantillonnage repose sur l'hypothèse que le référentiel de la tâche est exogène, une hypothèse qui s'effondre dès qu'un bras manipule un objet mobile ou que deux bras interagissent, chacun devenant alors partie de l'environnement dynamique de l'autre. En résolvant cette limite causale sans sacrifier la vitesse de calcul ni la flexibilité, DynaMAC répond à un problème concret pour les intégrateurs qui cherchent à déployer des robots bimanuels en usine ou en logistique, où la collecte de données réelles en environnement mobile reste coûteuse et lente. Le travail s'inscrit dans la lignée des recherches récentes sur les politiques de manipulation type Pi-0 ou GR00T N2, qui cherchent à réduire la dépendance aux volumes massifs de démonstrations téléopérées. En simplifiant la collecte de données, via une généralisation depuis des démonstrations statiques, DynaMAC ouvre une piste vers une collaboration homme-robot plus directe, où le bras humain ou un second bras robotique serait traité nativement comme partie du contexte dynamique de la tâche plutôt que comme une perturbation à corriger.

RecherchePaper

1 source

3arXiv cs.RO

RetrDex : récupération efficace d'objets dans des environnements encombrés avec une main dextérique

RetrDex est un framework de recherche publié sur arXiv (référence 2502.18423, troisième révision) dont l'objectif est d'apprendre à un système bras-main dextre à récupérer des objets enfouis sous un empilement d'autres objets. L'approche repose sur du reinforcement learning (RL) parallèle à grande échelle conduit en simulation, couplé à une représentation spatiale qui encode les patterns d'occlusion ainsi que les relations géométriques entre la cible, la main multi-doigts et les objets alentour. La politique résultante développe un répertoire de gestes, poussée, agitation et piquage (poking), pour dégager activement les obstacles avant ou pendant la saisie. Évalué sur 16 objets ménagers courants dans des configurations variées, le système affiche de bonnes performances sur des cibles vues en entraînement comme sur des cibles inédites. Un transfert zero-shot vers un robot réel multi-doigts est revendiqué, sans fine-tuning supplémentaire. La récupération d'objets en scène encombrée est un problème ouvert en manipulation robotique : les approches classiques décomposent la tâche en étapes séquentielles indépendantes (retirer les objets qui gênent un par un, puis saisir), ce qui génère des séquences longues et peu robustes aux variations. RetrDex intègre ces interactions physiques directement dans la politique de récupération, réduisant potentiellement le nombre de mouvements nécessaires. La revendication la plus notable reste le zero-shot sim-to-real sur une main dextre : ce type de transfert est notoirement difficile à cause de la complexité des contacts multi-doigts et du gap dynamique entre simulation et réalité physique. Si les résultats tiennent à l'examen approfondi, cela renforce la thèse que le RL massivement parallèle en simulation peut généraliser sur du matériel réel pour des tâches de manipulation en espace contraint, sans données réelles supplémentaires. Le papier s'inscrit dans une tendance forte : utiliser le RL en simulation à très grande échelle pour entraîner des politiques de manipulation dextre, une direction explorée par des équipes de Berkeley (DexGraspNet), Stanford et, côté industriel, par des acteurs comme Unitree ou Agility Robotics sur leurs propres mains multi-doigts. Les méthodes concurrentes récentes, graphes de relations de support ou planification séquentielle avec contraintes géométriques, adoptent des stratégies que RetrDex cherche à dépasser en termes d'efficacité. Soumis initialement en février 2025 et révisé jusqu'en 2026, le travail n'annonce pas de code open-source dans son résumé, ce qui limite les possibilités de réplication à court terme. Les suites naturelles seraient des tests sur objets déformables, une extension à des charges utiles plus importantes et une intégration dans une chaîne logistique ou un poste d'assemblage industriel réel.

RecherchePaper

1 source

4arXiv cs.RO

Coopération de deux bras pour l'essuyage de table avec retrait temporel des objets

Des chercheurs ont publié sur arXiv (identifiant 2610.19527) un cadre de planification coopérative à deux bras pour essuyer une table sur laquelle sont dispersés des objets. Contrairement aux stratégies classiques de nettoyage de surface, qui ne couvrent que les zones libres et contournent les obstacles, ce système assigne explicitement un bras au déplacement des objets pendant que l'autre balaie la surface. Les auteurs définissent d'abord un ensemble de primitives d'action (essuyage et réarrangement d'objets). Un planificateur de tâches nommé Geo-MILP, formulé en programmation linéaire en nombres entiers mixtes (MILP) et conscient de la géométrie, optimise ensuite l'ordre et le timing des actions. Il s'appuie sur une décomposition de Benders à base logique (LBBD) qui résout itérativement les conflits géométriques. Enfin, l'optimiseur K-Order Markov Optimization (KOMO) génère des trajectoires lisses et sans collision. Les essais en simulation et sur matériel réel affichent un temps de planification jusqu'à 9 fois inférieur et un makespan d'exécution (durée totale de la tâche) réduit d'environ 40 % face à des références de planification de tâches et de mouvements (TAMP). L'intérêt tient à ce que ce travail s'attaque à un cas fréquent en service, en cuisine collective ou en logistique légère: une surface jamais vraiment dégagée. Retirer temporairement les objets pour accéder aux zones masquées augmente la couverture atteignable, là où le contournement laisse des surfaces sales. Le gain de 9 fois sur le temps de planification compte pour les intégrateurs, car la lenteur des planificateurs TAMP généralistes est un frein connu au déploiement de robots bimanuels hors laboratoire. Une approche à base d'optimisation structurée, qui exploite la géométrie du problème, constitue une alternative aux politiques apprises de type VLA (vision-langage-action) pour des tâches où la garantie de couverture et l'absence de collision sont exigées. Ces chiffres restent toutefois des résultats de recherche. Le résumé ne précise ni le nombre d'essais, ni la densité d'objets, ni la plateforme utilisée, ni la nature des références TAMP comparées, et la généralisation à des objets déformables, fragiles ou à des liquides n'est pas démontrée. Ce travail s'inscrit dans la lignée des méthodes de planification de couverture (coverage path planning) et de réarrangement d'objets sur table, longtemps traitées séparément, puis des approches TAMP qui les combinent au prix d'une recherche combinatoire coûteuse. L'apport de Geo-MILP est de ramener cette recherche à un problème d'optimisation décomposé. Il se positionne face aux politiques end-to-end apprises, plus souples mais moins prévisibles. Aucun pilote industriel ni calendrier de transfert n'est annoncé, et il s'agit d'une prépublication non évaluée par les pairs. Les suites logiques seraient des tests sur des scènes plus encombrées, avec perception en boucle fermée, et une éventuelle hybridation avec des modèles appris pour la perception et la sélection des objets à déplacer.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

Cooperative bimanual dexterous grasp d'objets volumineux avec observation en vue unique

À lire aussi

Grasp, transfert, rotation : réorientation bimanuelle d'objets par diffusion compositionnelle et optimisation énergétique

Un bras observe l'autre : coopération multi-agents dynamique pour une manipulation bimanuelle efficiente en environnement dynamique

RetrDex : récupération efficace d'objets dans des environnements encombrés avec une main dextérique

Coopération de deux bras pour l'essuyage de table avec retrait temporel des objets