RecherchearXiv cs.RO 2 juin 2026

Représentations sémantiques et géométriques des tâches pour la manipulation bimanuelles : des démonstrations humaines à la planification robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié une approche pour apprendre des représentations structurées de tâches bimanuelles directement à partir de démonstrations humaines, sans annotation manuelle des actions. Le système, baptisé représentation sémantique-géométrique par graphe, combine un encodeur de type Message Passing Neural Network (MPNN) avec un décodeur Transformer. L'encodeur opère sur un graphe de scène temporel : il capture les identités des objets, leurs relations sémantiques mutuelles et l'historique de leurs mouvements. Le décodeur, conditionné par le contexte d'action, prédit l'action suivante, les objets impliqués et leurs trajectoires. L'ensemble a été évalué sur onze tâches bimanuelles issues de deux jeux de données distincts, et déployé avec succès sur deux tâches réelles en boucle fermée, via un planificateur couplant les prédictions à des Probabilistic Movement Primitives (ProDMP).

L'apport principal réside dans le découplage entre encodeur et décodeur : l'encodeur produit des représentations dites agnostiques à la tâche, réutilisables sur différents robots via un simple fine-tuning du décodeur sur un petit dataset robot. En pratique, cela réduit significativement le coût de ré-entraînement lors d'un changement de plateforme ou d'effecteur. Les résultats montrent que le bénéfice des représentations sémantiques-géométriques sur les modèles séquentiels plus simples s'accentue avec la variabilité des tâches : plus l'ordre des actions et les objets impliqués varient d'une exécution à l'autre, plus l'avantage est marqué. Le système surpasse des baselines incluant un Transformer pur, un décodeur seul, et des modèles vision-langage fine-tunés (VLM), ce qui est notable même si les benchmarks utilisés restent internes aux auteurs et non standardisés dans la communauté.

Ce travail s'inscrit dans un effort plus large visant à combler le fossé entre manipulation bimanuelle en laboratoire et déploiement industriel, là où la reproductibilité d'exécutions variables reste un verrou. Il fait écho à des approches concurrentes comme les Vision-Language-Action models (VLA) de Google DeepMind ou les travaux sur les graphes de tâches de l'ETH Zurich, mais se distingue par son orientation vers le transfert inter-robots à faible coût de données. Les auteurs n'annoncent pas de partenaire industriel ni de timeline de déploiement commercial ; il s'agit d'un résultat académique, présenté en version révisée sur arXiv (v2, janvier 2026), dont les suites probables incluent une extension à des scènes plus encombrées et à des horizons de planification plus longs.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage unifié de la structure temporelle des tâches et du timing des actions pour la manipulation bimanuelle en robotique

Une publication mise à jour sur arXiv (2603.06538, version 2) présente une méthode pour la manipulation bimanuelle robotique qui unifie deux niveaux de raisonnement temporel jusqu'ici traités séparément : la structure symbolique d'une tâche (quelles actions précèdent, suivent ou chevauchent les autres) et le calage concret de chaque main (instant de déclenchement, durée). Le système apprend ces contraintes à partir de démonstrations humaines et en dérive des plans d'exécution paramétrés dans le temps pour un robot à deux bras. Il combine trois briques : une représentation en trois dimensions des délais fondée sur des modèles de mélange gaussien multivariés pour le niveau subsymbolique, un algorithme dérivé de Davis-Putnam-Logemann-Loveland qui classe tous les assignements sans contradiction des relations d'Allen, correspondant aux différents modes d'exécution possibles d'une tâche, et un planificateur par optimisation qui fusionne ces contraintes symboliques et subsymboliques. Les auteurs montrent quantitativement que les contraintes symboliques inférées sont plus précises que celles d'approches heuristiques antérieures, et que les plans générés se rapprochent davantage des démonstrations humaines que la démonstration la plus caractéristique prise comme référence, avec des essais qualitatifs menés en simulation et sur robots réels dont le nombre et les spécifications ne sont pas détaillés. Coordonner deux bras exige de savoir non seulement quel geste doit en précéder un autre, mais exactement quand le déclencher et combien de temps lui accorder, faute de quoi les mouvements se désynchronisent ou entrent en collision, un problème central pour tout intégrateur déployant des cellules bimanuelles en assemblage ou en logistique. La plupart des pipelines existants séparaient la planification symbolique de haut niveau du calage bas niveau des trajectoires, créant une rupture entre la tâche planifiée et son exécution physique ; en réunissant les deux couches dans un cadre appris par démonstration, ce travail cible un angle mort fréquent de l'apprentissage par imitation, qui reproduit souvent des gestes isolés sans capturer la logique de coordination entre bras. Si les résultats se confirment hors laboratoire, cela réduirait le travail manuel de programmation des séquences et des temporisations, un poste coûteux dans le déploiement de robots à deux bras, et fournirait un argument concret face au scepticisme ambiant sur l'écart entre démonstrations soignées et robustesse en conditions réelles. La méthode s'inscrit dans la lignée des travaux de planification robotique s'appuyant sur l'algèbre des intervalles d'Allen, un formalisme classique pour raisonner sur des relations temporelles qualitatives, combiné ici à des modèles de mélange gaussien déjà employés en apprentissage par démonstration pour encoder la variabilité des trajectoires humaines. Les auteurs situent leur contribution par rapport à des approches heuristiques antérieures pour l'extraction de contraintes symboliques, sans nommer de système concurrent précis ni d'institution, le résumé publié restant volontairement générique sur les auteurs et le matériel robotique utilisé. À ce stade, il s'agit d'une contribution de recherche en prépublication, validée en simulation et sur banc réel, sans indication de transfert vers un produit commercial ou un pilote industriel identifié, ni de calendrier de suite annoncé.

RecherchePaper

1 source

2arXiv cs.RO

Manipulation robotique dextérique à partir de démonstrations humaines : retargeting ancré sur les contacts et apprentissage de politique résiduelle

Un pipeline en trois étapes permet désormais d'entraîner des politiques de manipulation dextre pour robots à partir de simples enregistrements de capture de mouvement humain, sans aucune donnée d'entraînement collectée sur un robot réel, selon un article publié sur arXiv (2609.24093v1). La méthode combine un raffinement physique via une main MANO simulée pour reconstruire les contacts et les forces absents des captures humaines classiques, un retargeting ancré sur la structure de contact plutôt que sur le mouvement articulaire, et une politique résiduelle d'apprentissage par renforcement entraînée une seule fois pour corriger la faisabilité dynamique. Les résultats chiffrés sont substantiels : sur 25 454 trajectoires à une main, le taux de succès passe de 7,3% à 59,3% après application du pipeline ; sur 25 tâches bimanuelles, il grimpe de 16,0% à 62,4%. Le même jeu de données humain, transféré vers quatre mains robotiques de morphologies différentes, gagne 62,4 points de succès en moyenne. Quatre tâches bimanuelles impliquant des contacts complexes ont aussi été exécutées sur du matériel physique réel, toujours sans entraînement préalable sur robot. Pour l'industrie robotique, ce travail s'attaque frontalement au goulot d'étranglement le plus coûteux de la manipulation dextre : les données de téléopération réelle, jugées indispensables mais lentes et chères à collecter à l'échelle. En montrant qu'une seule politique résiduelle générique suffit à rendre exploitables des captures de mouvement humain bon marché et déjà disponibles en masse, l'étude suggère que le sim-to-real pour les mains multi-doigts pourrait devenir moins dépendant de pipelines spécifiques à chaque tâche, une promesse jusqu'ici tenue surtout par les modèles VLA génériques (GR00T, Pi-0, Helix) sur des tâches de préhension plus grossières. Le transfert réussi vers quatre morphologies de main différentes renforce l'idée que la structure de contact, plutôt que la cinématique brute, est la représentation qui généralise. Le constat de départ est que les sources de démonstrations humaines scalables, vidéos ou gants de capture de mouvement, ne capturent jamais les forces de contact qui déterminent la réussite d'une prise. Les approches concurrentes reposaient jusqu'ici sur du retargeting cinématique direct ou de l'apprentissage par renforcement spécifique à chaque tâche en simulation. Le papier reste à ce stade un preprint de recherche, sans partenaire industriel ni déploiement commercial annoncé ; les suites attendues concernent l'extension à davantage de morphologies de mains et de tâches réelles.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage en une démonstration pour la manipulation robotique à contacts riches, par identification des interactions physiques

Un preprint publié sur arXiv (arXiv:2608.24741v1, août 2026) présente une méthode de Learning from Demonstration (LfD) qui modélise explicitement les interactions physiques entre un robot et son environnement, notamment la création et la rupture de contact pendant une manipulation. Un contrôleur hybride position-force suit la trajectoire démontrée par un humain jusqu'à ce que les conditions de transition liées au contact, identifiées durant cette démonstration, soient atteintes. La méthode a été validée sur un robot réel via quatre tâches riches en contacts, ouverture de portes et de serrures, prise et vissage de boulons, dégagement d'objets coincés et suivi de contour de surface, chacune apprise à partir d'une seule démonstration et sans connaissance préalable de la tâche. Cette approche tranche avec la tendance dominante de la manipulation robotique, où les modèles vision-langage-action (VLA) à grande échelle exigent des milliers de démonstrations pour généraliser. En rendant explicite la physique du contact plutôt que de la confier à un réseau de neurones opaque, les auteurs visent une interprétabilité rare dans la littérature du LfD, où l'on sait précisément pourquoi et quand le robot change de comportement. Pour des intégrateurs industriels confrontés à des tâches d'assemblage ou de maintenance à forte variabilité géométrique, comme le boulonnage ou le verrouillage, l'intérêt tient à une programmation par démonstration unique, robuste aux variations imprévues et généralisable quand ces variations sont connues à l'avance, ce qui contredit l'idée que seule l'échelle des données garantit une manipulation fiable. Le travail s'inscrit dans un courant du LfD qui, selon les auteurs, néglige généralement la modélisation explicite du contact physique, alors que celui-ci est central dans la plupart des tâches de manipulation réelles. Ils présentent leur contribution comme un moyen de combler cette lacune d'interprétabilité en apprentissage à partir de très peu d'exemples, en détaillant comment robustesse, généralisation et adaptabilité peuvent être implémentées explicitement plutôt que laissées à l'apprentissage statistique. Publié comme preprint non encore évalué par les pairs, sans indication d'institution ni de calendrier de valorisation industrielle, il se positionne comme une contribution méthodologique plutôt qu'un produit, dans un paysage de la manipulation robotique dominé par des modèles fondationnels de type VLA entraînés sur de vastes corpus de démonstrations.

RecherchePaper

1 source

4arXiv cs.RO

Génération et intégration guidées par représentation de programmes exécutables pour la manipulation robotique

Des chercheurs présentent RIVET (Representation-guided Integration of VLM-generated Executable Task programs), un framework qui utilise un modèle vision-langage pour générer automatiquement l'ensemble d'un système de manipulation robotique, perception, rendu, inférence de relations et planification, autour d'une représentation partagée combinant des poses 6D par objet et un graphe de relations entre objets. Décrit dans un papier arXiv (2609.31337v1), le système a été testé sur trois tâches, l'empilement de cubes, le réarrangement de tangram et l'assemblage tridimensionnel, à la fois en simulation et sur un robot physique réel. Les programmes générés une seule fois pour un domaine de manipulation donné sont ensuite réutilisés tels quels sur des configurations de départ et d'objectif jamais vues, sans nouvelle génération de code. En conditions réelles, les auteurs rapportent un taux de réussite global de 83 % en réutilisant des systèmes générés hors ligne. L'intérêt pour l'industrie robotique tient au problème que RIVET cible directement : quand un VLM génère séparément les modules de perception, de planification et de contrôle, ceux-ci opèrent souvent sur des représentations géométriques incompatibles, ce qui casse le pipeline complet. En imposant une représentation commune à tous les modules générés, l'approche évite cette fragmentation typique des pipelines "code généré par IA" en robotique. Pour les intégrateurs, l'argument clé est économique autant que technique : le code n'est produit qu'une fois par domaine puis réemployé sans réinvoquer le VLM à chaque nouvelle configuration, ce qui limite le coût d'inférence en déploiement. Un taux de succès réel de 83 % reste notable dans un domaine où l'écart entre simulation et monde réel demeure un obstacle documenté, même s'il s'agit ici de résultats de laboratoire sur un nombre restreint de tâches, à ne pas confondre avec une validation à l'échelle industrielle. RIVET s'inscrit dans un courant de recherche qui explore la génération de code exécutable par VLM comme alternative aux politiques vision-langage-action entraînées de bout en bout, du type de celles popularisées par des modèles comme Pi-0 ou GR00T N2, qui apprennent une correspondance directe perception-action sans passer par du code interprétable. Ce travail reste à ce stade un résultat académique, validé en simulation et sur un seul bras robotique en conditions de laboratoire, sans partenaire industriel ni calendrier de déploiement annoncé, une nuance qui le distingue nettement d'une annonce produit.

RecherchePaper

1 source