RecherchearXiv cs.RO 24 juillet 2026

Grasp, transfert, rotation : réorientation bimanuelle d'objets par diffusion compositionnelle et optimisation énergétique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Grasp, Handover, Rotate : réorientation bimanuelle d'objets par diffusion compositionnelle et optimisation à base d'énergie

Une équipe de recherche publie sur arXiv (arXiv:2607.21341v1, soumission du 24 juillet 2026) BiCompoDiff, un framework qui traite la réorientation bimanuelle d'objets : saisir un objet, le transférer d'un bras à l'autre, puis le poser dans une orientation cible, une manoeuvre nécessaire quand un placement direct depuis la prise initiale est impossible à cause de collisions, de contraintes cinématiques ou d'une orientation finale inadéquate. Le système combine un modèle de diffusion de prise pré-entraîné avec des modèles à base d'énergie (EBM) de planification bimanuelle, et injecte un guidage par gradient pendant la diffusion inverse pour imposer simultanément l'évitement de collisions, la fluidité de trajectoire via cinématique inverse différentiable, la faisabilité du transfert entre bras et la sécurité de la reprise. Un échantillonnage MCMC recuit affine ensuite les poses de prise sur ce paysage énergétique composite. Sur des tâches simulées de réorientation d'objets domestiques, BiCompoDiff atteint un taux de réussite supérieur de plus de 20% et des trajectoires jusqu'à 37% plus lisses, mesurées par le déplacement articulaire, comparé à des méthodes d'échantillonnage jugées solides par les auteurs. Une validation en conditions réelles est également mentionnée, avec un transfert sim-to-real jugé efficace.

L'enjeu dépasse la simple démonstration technique : la manipulation bimanuelle coordonnée reste l'un des points faibles concrets des robots humanoïdes et bras doubles destinés à des tâches réelles, là où le pick-and-place à un seul bras échoue régulièrement sur des objets encombrants, mal orientés ou nécessitant un contournement d'obstacle. La plupart des approches existantes optimisent séparément la sélection de prise, la planification de trajectoire et la gestion du transfert entre bras, ce qui génère des incohérences quand ces sous-problèmes entrent en conflit. En unifiant ces objectifs dans un même cadre d'optimisation sous contraintes, ce travail illustre une tendance de fond en robotique de manipulation : combiner modèles génératifs de prise et méthodes de planification basées sur l'énergie pour traiter des séquences multi-étapes, plutôt que des gestes isolés. C'est un signal utile pour les intégrateurs travaillant sur des cellules robotiques bimanuelles ou des humanoïdes appelés à manipuler des objets dans des environnements non structurés, un des écarts persistants entre les démonstrations en vidéo et la réalité opérationnelle.

Le papier s'inscrit dans une double lignée de recherche déjà bien établie séparément, les modèles de diffusion pour la génération de prises robustes d'un côté, les modèles à base d'énergie pour la planification de trajectoires sous contraintes de l'autre, que BiCompoDiff cherche à faire converger de façon compositionnelle. Les gains annoncés (20%, 37%) sont mesurés contre des baselines d'échantillonnage qualifiées de "fortes" sans détail sur leur nature exacte, une réserve à garder en tête tant que le papier n'a pas été revu par les pairs ni testé par d'autres équipes. Aucune entreprise ni plateforme robotique commerciale n'est citée, il s'agit d'un travail académique pur à ce stade, sans indication de mise en oeuvre sur un produit ou une ligne de déploiement. Les suites logiques attendues seraient une évaluation sur du matériel bimanuel plus divers, une comparaison directe avec des méthodes de planification classiques utilisées en industrie, et potentiellement une intégration dans des piles de manipulation robotique plus larges.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

GraphPoint : graphes d'entités sémantiques et trajectoires de points pour la manipulation robotique compositionnelle

Un article déposé sur arXiv (référence 2609.18358) début septembre 2026 présente GraphPoint, une méthode de manipulation robotique associée à un nouveau benchmark baptisé CoMani. Le travail part d'un constat répandu en robotique : les politiques de manipulation entraînées par apprentissage peinent à généraliser au-delà de leurs démonstrations, même quand une nouvelle instruction combine des objets et des comportements déjà vus séparément. Les auteurs expliquent que lorsque langage et scène visuelle sont trop fortement corrélés pendant l'entraînement, la politique finit par mémoriser un mapping visuo-moteur fixe au lieu de réellement suivre l'instruction donnée. CoMani propose des scènes initiales appariées et des variations contrôlées portant sur un seul facteur sémantique à la fois, afin de forcer les modèles évalués à s'appuyer sur le langage plutôt que sur des raccourcis visuels. Deux niveaux de généralisation compositionnelle sont testés : à l'intérieur d'une sous-tâche, en recombinant entités, types d'action et modificateurs déjà connus, et entre sous-tâches, en réutilisant des comportements appris dans des tâches longues et inédites. GraphPoint, la méthode proposée, relie des graphes d'entités sémantiques à un contrôle géométrique en prédisant la trajectoire future du point de préhension du gripper, convertie ensuite en commandes moteur via la géométrie du robot ; le gripper et les objets sont organisés par rôles sémantiques et leurs interactions conditionnées par le type et le modificateur d'action demandés, tandis qu'une estimation de progression guide les transitions entre étapes. L'enjeu dépasse la seule démonstration technique : il touche directement le problème de l'écart entre performance affichée sur des tâches déjà vues et robustesse réelle en usage, un point sensible pour tout intégrateur évaluant une politique vision-langage-action avant déploiement industriel. En isolant précisément si un modèle suit l'instruction ou reconnaît simplement une scène mémorisée, CoMani offre aux équipes de recherche un outil de diagnostic plus rigoureux que les démonstrations vidéo sélectionnées qui dominent souvent la communication du secteur autour des capacités de généralisation. Le papier s'inscrit dans la vague récente de benchmarks cherchant à mesurer la généralisation compositionnelle des politiques de manipulation plutôt que leur seule réussite sur des tâches figées. Les auteurs indiquent que le code sera publié en accès libre sous le nom GraphPoint, sans préciser de calendrier ni d'institution porteuse. Aucun partenariat industriel, déploiement réel ou chiffre de performance chiffré au-delà des résultats d'ablation sur CoMani n'est mentionné à ce stade, ce qui situe cette publication au stade de la recherche amont plutôt que du produit commercialisable.

RecherchePaper

1 source

2arXiv cs.RO

Commande par échantillonnage via le transport optimal à régularisation entropique

Une équipe de chercheurs a publié en mai 2026, sous la référence arXiv:2605.02147, un algorithme de contrôle prédictif par échantillonnage appelé OT-MPC. La méthode repose sur une formulation par transport optimal à régularisation entropique et cible les systèmes robotiques non linéaires nécessitant un contrôle temps réel : navigation autonome, manipulation d'objets et locomotion. Les mises à jour sont calculées en forme close via l'algorithme de Sinkhorn, sans aucun gradient, ce qui permet de traiter des dynamiques discontinues que les optimiseurs classiques basés sur la rétropropagation ne peuvent pas gérer. Les expériences rapportées montrent des taux de succès supérieurs aux méthodes de référence sur l'ensemble des trois catégories de tâches, bien que les chiffres absolus et les benchmarks précis ne soient pas détaillés dans l'abstract publié. L'intérêt pratique réside dans la résolution d'un problème structurel des deux algorithmes dominants du secteur, MPPI (Model Predictive Path Integral) et CEM (Cross-Entropy Method) : le comportement dit de "mode-averaging", où la mise à jour vers la moyenne pondérée des trajectoires candidates produit des solutions sous-optimales lorsque le paysage de coût est multimodal ou fortement non convexe. OT-MPC calcule un couplage optimal entre les séquences de contrôle candidates et les propositions à faible coût, coordonnant les mises à jour sur l'ensemble de l'échantillon pour préserver la couverture de l'espace des solutions tout en affinant chaque candidat vers ses voisins prometteurs. Pour un intégrateur ou un responsable technique, cela se traduit concrètement par une meilleure robustesse lors de transitions de contact, de saisies imprécises ou de mouvements en environnement encombré, sans surcoût de calcul différenciable. MPPI, développé initialement par Georgia Tech et popularisé par des frameworks comme Storm d'NVIDIA, et CEM, utilisé notamment dans les pipelines de planification de Boston Dynamics et de divers labos universitaires, sont aujourd'hui les deux références incontournables du contrôle par échantillonnage. Le transport optimal, formalisé dans un cadre robotique par des travaux antérieurs en imitation et en apprentissage de politiques, trouve ici une application directe au MPC sans nécessiter d'apprentissage préalable. OT-MPC reste à ce stade une contribution académique, sans déploiement annoncé ni partenariat industriel mentionné ; des validations sur hardware réel et des comparaisons de temps de cycle sur cibles embarquées constitueraient les prochaines étapes naturelles avant toute intégration produit.

RecherchePaper

1 source

3arXiv cs.RO

GRACE : génération d'actions robotiques sans gradient par estimation de la moyenne a posteriori combinant diffusion et MPPI

Des chercheurs universitaires anonymes (soumission en double aveugle, code et vidéos disponibles sur un dépôt anonyme) publient sur arXiv la méthode GRACE, pour Gradient-free Robot Action generation via Combined diffusion-MPPI posterior mean Estimation. Le principe : piloter une politique de diffusion déjà entraînée sur des démonstrations, en la guidant au moment du déploiement grâce au contrôle MPPI (Model Predictive Path Integral), sans jamais calculer de gradient. À chaque étape de débruitage, GRACE construit une distribution de guidage conditionnée par un coût, puis en estime la moyenne via une seule mise à jour MPPI centrée sur la moyenne de diffusion inverse. Sur un bras manipulateur réel à 7 degrés de liberté (7-DoF), le système évite systématiquement un obstacle placé au moment du déploiement, un obstacle que la politique non guidée percute à chaque essai. En simulation, GRACE dépasse aussi bien les méthodes de diffusion classiques que les approches par échantillonnage pur en taux de réussite. L'apport pratique tient à un verrou technique précis : la plupart des méthodes de guidage de politiques de diffusion exigent des coûts différentiables, ce qui exclut de fait des contraintes de sécurité pourtant basiques en robotique industrielle, comme les vérifications de collision binaires, les limites articulaires ou les coûts de simulation en boîte noire, non différentiables par nature. En rendant le guidage possible avec de simples évaluations de coût "forward", sans rétropropagation, GRACE élargit le champ des contraintes imposables à une politique déjà entraînée, sans réentraînement. Pour les intégrateurs et les équipes robotique confrontées à l'écart classique entre démonstration en labo et déploiement réel, c'est un argument concret contre l'idée que les politiques de type VLA ou diffusion resteraient fragiles dès qu'un imprévu géométrique apparaît sur le terrain. Le travail s'inscrit dans la lignée des politiques de diffusion pour la manipulation robotique, où le guidage par gradient s'est imposé comme standard mais butait sur les contraintes non différentiables, et du contrôle prédictif MPPI, technique de contrôle par échantillonnage éprouvée en robotique mobile et manipulation depuis plusieurs années. GRACE relie formellement les deux cadres : sous une approximation au premier ordre à covariance appariée, la méthode retrouve le guidage par gradient classique comme cas particulier. À ce stade, il s'agit d'un résultat de recherche académique validé sur un seul bras manipulateur en conditions contrôlées, sans indication de partenariat industriel ni de feuille de route vers un produit commercial.

RecherchePaper

1 source

4arXiv cs.RO

Robot humanoïde : planification dynamique de tâches guidée par LLM et logique temporelle hiérarchique pour le transfert d'objets

Des chercheurs proposent un nouveau cadre neuro-symbolique pour piloter des tâches de transfert d'objets (handover) entre plusieurs robots en présence d'humains, en combinant modèles de langage (LLM) et logique temporelle formelle. Le système traduit une instruction humaine en langage naturel en spécifications hiérarchiques de type LTLf (Linear Temporal Logic sur traces finies), puis résout un problème conjoint d'allocation de tâches et de planification, appelé STAP (Simultaneous Task Allocation and Planning). Contrairement aux approches statiques classiques, l'architecture intègre une boucle de planification à horizon glissant (receding horizon planning) couplée à une perception en temps réel, ce qui lui permet de réajuster dynamiquement les plans lorsque l'environnement change, par exemple si une personne se déplace ou modifie sa consigne. Les auteurs rapportent des expériences menées à la fois en simulation et sur des robots réels. Ce travail s'attaque à un problème central pour l'industrie robotique : les LLM permettent aujourd'hui à des non-experts de formuler des tâches complexes en langage naturel, mais les plans générés restent souvent cinématiquement infaisables ou inefficaces sur des horizons longs, faute de garanties formelles. À l'inverse, les méthodes de logique temporelle offrent des garanties de correction et d'optimalité, mais fonctionnent généralement hors-ligne et passent mal à l'échelle. En démontrant un gain mesurable de taux de réussite, de fluidité d'interaction et une réduction du surcoût de replanification par rapport à des méthodes de référence, cette approche illustre une piste concrète pour fiabiliser les systèmes multi-robots collaboratifs en environnement partagé avec des humains, un enjeu direct pour les intégrateurs qui cherchent à dépasser le stade de la démonstration contrôlée. Le papier s'inscrit dans la lignée des travaux cherchant à combiner l'expressivité des LLM avec la rigueur des méthodes formelles de planification, un axe de recherche actif face aux limites connues des architectures purement neuronales de type VLA (vision-language-action) pour les tâches longues et critiques en sécurité. Il s'agit d'une republication (replace) sur arXiv, signe d'une révision par les auteurs ; le texte ne précise pas d'affiliation industrielle ni de calendrier de déploiement commercial, ce qui en fait une contribution de recherche plutôt qu'une annonce produit.

RecherchePaper

1 source