Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
DuetHOI : génération de mouvements bimanuels main-objet guidée par le langage, avec planification d'articulation et raffinement des contacts
RecherchearXiv cs.RO 

DuetHOI : génération de mouvements bimanuels main-objet guidée par le langage, avec planification d'articulation et raffinement des contacts

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article de recherche intitulé DuetHOI, publié en version 3 sur arXiv (2603.08390), propose un nouveau cadre pour générer automatiquement des mouvements de mains bimanuels interagissant avec des objets articulés, comme l'ouverture d'un tiroir ou la manipulation d'un objet à deux charnières, à partir d'une simple instruction en langage naturel. Le système repose sur quatre modules assemblés en pipeline. ContactVAE prédit d'abord, à partir du texte et de la géométrie de l'objet, où les mains doivent entrer en contact avec sa surface. ArtPlanner utilise cette intention spatiale pour établir une trajectoire d'articulation de référence, c'est à dire comment l'objet doit s'ouvrir ou se déplacer au fil du temps. DualFormer génère ensuite le mouvement global en combinant l'état de l'objet, la position des mains par rapport à celui-ci, et des jetons compacts de pose de main appris par un second module, ManiVAE. Enfin, ProxiRefine corrige localement la trajectoire des deux mains, sans toucher à celle de l'objet, en s'appuyant sur la proximité main-objet mesurée à ce stade pour affiner l'alignement de surface.

L'enjeu dépasse la simple animation graphique. La génération de mouvements main-objet réalistes et cohérents en contact sert de données d'entraînement pour l'apprentissage par imitation en robotique, notamment pour les modèles vision-langage-action qui doivent apprendre à manipuler des objets à deux mains, une tâche nettement plus complexe que la préhension à une main sur objet rigide, faute de coordination bimanuelle et de suivi de l'évolution de l'articulation. Les résultats rapportés montrent que DuetHOI dépasse trois méthodes de référence adaptées sur la plupart des métriques de contact et de cohérence main-objet, avec un avantage particulièrement marqué sur les scénarios bimanuels avec objets articulés, précisément le cas le plus difficile.

Le papier s'inscrit dans un courant de recherche en génération de mouvements humains conditionnée par le langage, où la modélisation d'objets rigides à une main est déjà relativement mature mais où la coordination bimanuelle sur objets articulés reste peu traitée par les architectures existantes, qui encodent objet et mains dans une séquence unique de haute dimension mal adaptée aux échelles différentes du problème. Aucune date de disponibilité de code ni application robotique concrète n'est mentionnée dans l'abstract, ce qui situe pour l'instant ces travaux au stade de la recherche méthodologique plutôt que du déploiement.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

Planification de tâches et de mouvements guidée par la preuve avec des modèles vision-langage
1arXiv cs.RO 

Planification de tâches et de mouvements guidée par la preuve avec des modèles vision-langage

EAFG (Evidence Acquisition and Feasibility Gating), publié sur arXiv le 20 août 2026 (2608.20084v1), est un framework de planification de tâches et de mouvements (TAMP) pilotée par des modèles vision-langage (VLM) pour robots manipulateurs. Face à une instruction longue, comme cuisiner un plat, le VLM peut halluciner la présence d'objets jamais observés et bâtir des sous-objectifs sur ses connaissances a priori plutôt que sur la perception réelle, causant des échecs d'exécution. EAFG fait d'abord explorer le robot, via des sous-objectifs générés par le VLM et exécutés par TAMP, pour recueillir des preuves visuelles ; une porte de faisabilité décide ensuite de planifier, d'explorer davantage, ou d'arrêter. Sur des tâches culinaires à usage d'objets ambigu, EAFG améliore la complétion des recettes en découvrant les objets pertinents avant de planifier, et réduit les tentatives inutiles quand un objet requis est absent, sans chiffres précis publiés. Cette approche cible un point de friction concret pour l'industrialisation des robots manipulateurs pilotés par VLM : l'écart entre la compréhension sémantique d'une instruction et la vérification géométrique et perceptive de sa faisabilité réelle. Pour les intégrateurs opérant en environnement partiellement observable, un robot qui agit sur des suppositions non vérifiées représente un risque opérationnel, en temps perdu ou en échecs silencieux. En séparant explicitement planifier, explorer et arrêter, EAFG remet en question l'hypothèse implicite de nombreux pipelines VLM+TAMP selon laquelle une seule perception de la scène suffit avant de planifier une tâche longue, une piste utile face au fossé persistant entre démonstrations contrôlées et déploiement fiable. EAFG s'inscrit dans la lignée des travaux combinant VLM et planification robotique, un courant structuré notamment autour d'approches comme SayCan, qui traduisent des instructions en langage naturel en séquences d'actions exécutables. Il s'agit ici d'une contribution académique : aucun robot commercial ni déploiement en production n'est mentionné, et le résumé ne précise pas si les expériences culinaires ont été menées sur un robot physique ou en simulation. La suite logique pour ce type de recherche serait une validation sur des tâches plus longues, dans des environnements moins contrôlés que la cuisine, et une comparaison directe avec d'autres pipelines VLM+TAMP sur des benchmarks partagés.

RecherchePaper
1 source
Planification de mouvement générative masquée avec recherche de jetons guidée par la géométrie
2arXiv cs.RO 

Planification de mouvement générative masquée avec recherche de jetons guidée par la géométrie

Des chercheurs proposent Masked Generative Motion Planning (MGMP), un planificateur de mouvement génératif qui utilise un transformeur génératif masqué pour produire en parallèle des trajectoires discrètes, puis les répare au moment de l'inférence grâce à une méthode baptisée Geometry-Guided Token Search (GGTS). Les trajectoires sont encodées sous forme de jetons discrets. GGTS s'appuie sur la géométrie de la scène pour décider quels segments modifier et quelles alternatives, déjà soutenues par l'a priori appris, méritent d'être évaluées. Les auteurs annoncent 96 % de réussite sur le benchmark Ring Maze et 82 % de réussite de réparation sur Controlled Route Invalidation avec un bras Kuka. Cela dépasse de 23 et 25 points de pourcentage les meilleures références externes testées. La méthode est aussi évaluée sur des agencements inédits, des obstacles supplémentaires, des géométries jamais vues, la planification à un et deux bras, ainsi que sur des tâches réelles avec un robot Baxter. Le travail est publié sur arXiv (2610.10646v1) et n'a pas encore été relu par des pairs. Les planificateurs génératifs actuels, notamment ceux à base de diffusion, utilisent l'a priori appris pour générer la trajectoire initiale, puis confient la correction à un raffinement continu local, de type descente de gradient ou déformation de trajectoire. Cette approche échoue quand l'obstacle impose de changer de route, par exemple de contourner un mur par l'autre côté. MGMP transforme cette réparation en recherche discrète parmi des alternatives de mouvement plausibles. Il permet ainsi une restructuration au niveau de la route, là où une déformation locale reste coincée dans le mauvais bassin d'attraction. Pour les intégrateurs et les équipes qui déploient des bras en environnement changeant (cellules logistiques, ateliers reconfigurables), la capacité à replanifier quand une voie est bloquée compte autant que la qualité du premier tir. Deux réserves s'imposent toutefois. Les benchmarks sont en grande partie synthétiques (labyrinthe en anneau, invalidation contrôlée de route). La validation réelle se limite à un Baxter, plateforme ancienne et peu précise, sans temps de calcul ni taux de réussite détaillés dans le résumé. Les chiffres de latence face aux planificateurs classiques à échantillonnage (RRT, par exemple) restent donc à vérifier dans l'article complet. Ce travail s'inscrit dans la lignée de la planification par diffusion (Diffuser, Motion Planning Diffusion) et des transformeurs génératifs masqués, popularisés par MaskGIT en vision, que les auteurs transposent à la robotique. Il se positionne face aux planificateurs de référence à échantillonnage ou à optimisation (RRT, CHOMP, TrajOpt, cuRobo accéléré sur GPU) et aux générateurs par diffusion avec raffinement guidé. Ces derniers constituent vraisemblablement les « baselines externes » dépassées. La suite logique est de tester la méthode sur des scènes dynamiques, des manipulateurs plus récents et des tâches de manipulation de précision. Un code ou un jeu de données public faciliterait la reproduction. Aucun calendrier de transfert industriel n'est annoncé : il s'agit de recherche académique, loin d'un produit livré ou d'un déploiement.

RecherchePaper
1 source
Planification rapide et coordonnée de mouvements bimanuels sous contraintes strictes
3arXiv cs.RO 

Planification rapide et coordonnée de mouvements bimanuels sous contraintes strictes

Une équipe de chercheurs publie sur arXiv (référence 2608.20946v1) un nouveau pipeline de planification de mouvement rapide pour la manipulation bimanuelle sous contraintes rigides. Le problème traité est le suivant : quand deux bras robotiques déplacent un même objet rigide, la transformation relative entre leurs deux effecteurs terminaux doit rester fixe tout au long du mouvement, ce qui constitue une contrainte d'égalité non linéaire réduisant l'espace des configurations valides à une variété de mesure nulle, difficile à gérer pour les planificateurs classiques. La méthode proposée repose sur une paramétrisation "leader-suiveur" : la configuration du bras leader est traitée comme variable libre, celle du bras suiveur étant calculée par cinématique inverse pour satisfaire la contrainte en continu sur toute la trajectoire. En simulation, sur des environnements, contraintes et plateformes bimanuelles variés, la méthode planifie 19,4 fois plus vite que les approches précédentes, tout en garantissant le respect continu de la contrainte. Des essais réels sur un système bimanuel à deux bras Kinova Gen3, pour du transport de plateau et la manipulation d'objets allongés, confirment le transfert direct des trajectoires planifiées vers le matériel physique. Pour les intégrateurs et les équipes de R&D robotique, ce résultat cible un vrai goulot d'étranglement : le nombre élevé de degrés de liberté combinés des deux bras, associé à la contrainte de rigidité, rend la planification coordonnée coûteuse en calcul et freine son usage en temps réel pour des tâches comme le transport d'objets fragiles ou encombrants et l'assemblage. Un gain de vitesse proche de 20x, sans perte de garantie sur le respect de la contrainte géométrique, rapprocherait la manipulation bimanuelle coordonnée d'un fonctionnement temps réel viable en usine ou en logistique, un point sensible pour la sécurité des opérations impliquant deux bras synchronisés. Le résultat reste toutefois académique, validé sur une seule plateforme matérielle et deux tâches de démonstration, loin d'un produit industriel prêt à déployer. Ce travail s'inscrit dans la recherche sur la planification sous contraintes de fermeture cinématique, un problème classique de la robotique bimanuelle où les méthodes existantes s'appuient souvent sur un échantillonnage ou une projection coûteux sur la variété de contrainte, ce qui explique l'écart de performance revendiqué face aux "travaux précédents", non détaillés dans le résumé. Les bras Kinova Gen3 utilisés pour la validation matérielle constituent une plateforme courante dans la recherche en manipulation bimanuelle, ce qui facilite la comparaison avec d'autres travaux du domaine. Classé comme nouvelle soumission arXiv, le papier ne fait état d'aucun partenariat industriel ni de calendrier de commercialisation ; la suite logique pour ce type de recherche est une extension à d'autres plateformes et types d'objets, avec une possible intégration dans des piles logicielles de planification plus larges destinées aux intégrateurs.

RecherchePaper
1 source
Imagine-TAMP : planification des tâches et des mouvements guidée par l'imagination en observabilité partielle
4arXiv cs.RO 

Imagine-TAMP : planification des tâches et des mouvements guidée par l'imagination en observabilité partielle

Un cycle de planification robotique conçu pour décider quand observer et quand agir vient d'être détaillé dans un article arXiv publié le 18 septembre 2026 (arXiv:2609.20396v1), intitulé Imagine-TAMP: Imagination-Guided Task and Motion Planning in Partial Observability. Le système cible un problème concret des robots manipulateurs en environnement encombré : quand la position d'un objet cible est partiellement cachée, faut-il chercher un nouvel angle d'observation ou déplacer d'abord l'objet qui obstrue la vue. Imagine-TAMP combine deux mécanismes d'"imagination" : un modèle vision-langage qui met à jour une croyance probabiliste (particle belief) sur la position de la cible en s'appuyant sur des relations de bon sens avec les objets visibles, et un modèle génératif de scène qui estime la géométrie plausible des zones non observées. À partir de ces hypothèses, le système génère plusieurs squelettes de plan symboliques, leur attribue des coûts non uniformes reflétant à la fois l'effort de manipulation et la probabilité de révéler la cible, puis affine le squelette retenu en plan moteur exécuté, avec replanification si de nouvelles observations contredisent la croyance initiale. Dans des scènes d'étagère à points de vue contraints, l'évaluation géométrique non uniforme fait passer le taux de succès de 46,0% à 84,0% par rapport à une approche de référence, et l'ajout du modèle sémantique réduit encore les manipulations et replanifications inutiles. Sur un robot réel, le système complet réduit le temps de planification de 32% comparé à une version n'utilisant que la géométrie. L'enjeu dépasse la démonstration académique : la décision observer-versus-manipuler est un goulot d'étranglement classique pour les robots de logistique et de préparation de commandes travaillant dans des bacs ou étagères encombrés, où les approches TAMP classiques s'appuient sur des coûts symboliques grossiers ou une planification géométrique coûteuse, sans jamais estimer la probabilité qu'une observation révèle réellement la cible. En montrant qu'un modèle vision-langage peut injecter du bon sens dans cette décision avant d'engager un calcul moteur coûteux, les auteurs illustrent une tendance plus large où les VLM servent de couche de raisonnement pour la planification plutôt que de générateur direct d'actions, à la différence des approches VLA comme Pi-0 ou GR00T N2. Le travail s'inscrit dans la lignée du TAMP, qui combine planification symbolique et planification de mouvement continue, en cherchant à corriger sa faiblesse historique face à l'observabilité partielle. Il s'agit d'un preprint, sans validation par les pairs ni partenaire industriel identifié dans le résumé ; les auteurs ne précisent pas de calendrier de suite ni d'extension à d'autres classes de tâches.

RecherchePaper
1 source