RecherchearXiv cs.RO 4 août 2026

Développer des compétences combinées de manipulation et de locomotion via une représentation d'interaction et une composition de compétences

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent une méthode pour apprendre à un robot humanoïde à combiner préhension et locomotion à partir de principes développementaux, dans un article déposé sur arXiv (2608.00208v1). La première brique est une politique de saisie corps entier inspirée de l'analyse harmonique : des harmoniques cubiques servent de poids pour représenter la relation spatiale main objet via une convolution spatiale, et un curriculum de découplage des articulations des doigts, appliqué au sein même de chaque épisode d'apprentissage, permet au robot d'apprendre à saisir sans dataset externe ni modèle pré-entraîné. La seconde brique combine cette politique de saisie avec une politique de lever et de marche apprise séparément, en s'appuyant sur des scores d'interaction main objet pour décider, à chaque instant, quelle politique pilote quelles articulations. Résultat : 93% de réussite en zero shot sur des objets jamais vus, et entre 96 et 100% de réussite pour se relever tout en tenant l'objet saisi.

L'intérêt pratique dépasse la simple prouesse technique : la plupart des démonstrations de manipulation mobile chez les humanoïdes empilent des compétences apprises isolément, avec un risque élevé d'interférence entre politiques au moment de les enchaîner. Ici, la généralisation zero shot à des objets inconnus, sans recourir à un modèle vision langage action massif comme Pi-0, GR00T N2 ou Helix, tranche avec la tendance dominante du secteur, qui mise sur l'échelle des données plutôt que sur des curricula développementaux. L'enseignement le plus transférable pour des ingénieurs robotique ou des intégrateurs concerne la composition de compétences : elle ne fonctionne de façon fiable que si chaque politique est entraînée sur le corps entier du robot, y compris des parties a priori inutiles à la tâche, comme garder les doigts actifs pendant l'apprentissage de la marche.

Le travail s'inscrit dans la course plus large à la manipulation mobile chez les humanoïdes, un problème que des acteurs commerciaux comme Figure, Agility ou plusieurs plateformes chinoises tentent aussi de résoudre, le plus souvent via des modèles VLA pré-entraînés à grande échelle plutôt que par apprentissage développemental from scratch. L'abstract ne mentionne ni déploiement réel ni acteur français ou européen, et les résultats restent issus d'environnements contrôlés de simulation ou de laboratoire ; reste à voir si l'approche passe l'échelle vers des comportements plus complexes ou vers d'autres plateformes matérielles.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

LUCID : contrôle unifié des compétences latentes via une dynamique imaginée pour la loco-manipulation humanoïde à long terme

Le laboratoire de recherche à l'origine du papier arXiv:2608.07746v1 (soumis en catégorie cross-listing, daté d'août 2026) présente LUCID, acronyme de "Latent-Skill Unified Control via Imagined Dynamics", un framework d'apprentissage par renforcement hiérarchique et basé sur un modèle du monde, destiné aux tâches de loco-manipulation humanoïde longue durée. La méthode se déroule en deux temps : une politique bas niveau, conditionnée par des codes latents structurés, est d'abord entraînée par imitation adversariale puis gelée ; un modèle de dynamique de haut niveau ("macro-dynamics world model") est ensuite appris conjointement avec une politique de décision, ce modèle prédisant les transitions d'état à horizon étendu induites par chaque décision latente, ce qui permet d'optimiser la politique haut niveau via des simulations imaginées plutôt que par essais réels. Les auteurs évaluent LUCID sur des scénarios simulés de réarrangement multi-objets et rapportent une amélioration du taux de réussite complète des tâches ainsi que des taux de complétion partielle, comparés à des méthodes de référence combinant planificateurs scriptés, automates à états finis ou politiques model-free spécifiques à une tâche. Le problème visé est celui de la coordination longue durée chez les robots humanoïdes : enchaîner marche, atteinte et préhension sur des séquences complexes sans dépendre d'automates codés à la main, un goulot d'étranglement que les démonstrations courtes de nombreux acteurs du secteur (modèles VLA type Pi-0, GR00T N2 ou Helix) laissent souvent dans l'ombre. En remplaçant la planification scriptée par un modèle du monde appris, capable de projeter les conséquences de décisions latentes avant de les exécuter, LUCID propose une alternative architecturale aux pipelines VLA end-to-end dominants, ce qui intéresse directement les intégrateurs cherchant à fiabiliser des tâches multi-étapes en logistique ou en usine plutôt qu'à empiler des démonstrations isolées. Il s'agit toutefois d'une contribution strictement académique et simulée : aucun robot physique, aucune entreprise ni aucun site de déploiement n'est mentionné dans l'abstract, et les gains rapportés portent uniquement sur des environnements de simulation de réarrangement d'objets, sans chiffres de charge utile, de degrés de liberté ou de temps de cycle réels. LUCID s'inscrit dans la lignée des travaux sur les modèles du monde appliqués à la robotique (dans l'esprit de Dreamer ou TD-MPC), en offrant une voie hiérarchique et modulaire face à l'approche monolithique des modèles VLA. Aucun essai matériel, partenariat industriel ou calendrier de transfert vers un robot réel n'est annoncé à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

B-spline Policy : accélérer les politiques de manipulation via des représentations d'action B-spline

Des chercheurs viennent de publier sur arXiv (référence 2607.09648v1) une nouvelle méthode baptisée B-spline Policy, ou BSP, conçue pour accélérer l'exécution des politiques de manipulation robotique apprises par imitation. Contrairement à l'approche dominante qui consiste à prédire des séquences d'actions discrètes dans le temps ("action chunks"), BSP paramètre les actions du robot sous forme de courbes B-spline continues, définies par un ensemble de noeuds et de points de contrôle. Cette représentation produit des trajectoires lisses et continues dans le temps, qui peuvent ensuite être mises à l'échelle temporellement et exécutées par les contrôleurs bas niveau à des fréquences et des vitesses plus élevées. Les auteurs montrent que ces paramètres B-spline peuvent être prédits directement par des architectures de policy learning existantes, sans refonte majeure du pipeline d'entraînement. Les expériences, menées à la fois en simulation et sur des tâches de manipulation réelles, indiquent une réduction significative du temps d'exécution des tâches par rapport aux méthodes de référence, tout en conservant des taux de réussite comparables. L'enjeu est concret pour les équipes qui déploient des politiques de manipulation en usine ou en entrepôt: le goulot d'étranglement des approches par chunks discrets vient souvent de la fréquence de commande limitée et des à-coups introduits entre segments d'actions, ce qui oblige à ralentir l'exécution pour rester stable. En rendant la trajectoire continue et rééchelonnable dans le temps, BSP permettrait de gagner en vitesse de cycle sans changer de modèle de perception ni de politique d'apprentissage, un argument qui parle directement aux intégrateurs cherchant à rapprocher les démonstrations en laboratoire des cadences industrielles réelles. Cette contribution s'inscrit dans la lignée des travaux sur les représentations d'actions pour l'apprentissage par imitation, où des méthodes comme les chunks d'actions ou les politiques de diffusion ont dominé ces deux dernières années sans toujours résoudre le compromis entre vitesse d'exécution et fluidité des mouvements. En proposant une alternative paramétrique compatible avec les pipelines existants, les auteurs ouvrent une piste d'optimisation orthogonale, potentiellement combinable avec d'autres avancées récentes en manipulation robotique. Des résultats supplémentaires et le code sont disponibles sur b-spline-policy.github.io.

RecherchePaper

1 source

3arXiv cs.RO

L'imagination du toucher : manipulation guidée par le toucher via des représentations tactiles imaginées

Des chercheurs présentent TacImag, un framework qui apprend à un robot à « imaginer » le toucher plutôt que de le mesurer physiquement. Le système prédit des signaux tactiles à partir de la vision et de la proprioception seules, en s'entraînant sur des démonstrations où vision et tactile réel sont enregistrés en parallèle. Une fois entraîné, TacImag guide les politiques de manipulation sans capteur tactile au moment du déploiement. L'équipe l'a évalué sur six tâches en simulation et quatre tâches réelles. Les résultats montrent que les champs de force imaginés améliorent les tâches sensibles au contact de 44,4% en moyenne, tandis que les images tactiles imaginées améliorent les tâches sensibles à la texture de 23,3%, un écart qui révèle que l'efficacité de la méthode dépend fortement du type de représentation choisi selon la tâche visée. Article publié sur arXiv (2607.01684v1). L'enjeu pratique est significatif pour l'industrie de la manipulation robotique : les capteurs tactiles restent fragiles, nécessitent un étalonnage régulier et alourdissent la maintenance, ce qui freine leur adoption à grande échelle chez les intégrateurs. En montrant qu'un robot peut bénéficier des avantages du toucher sans embarquer de matériel tactile en production, TacImag ouvre une voie pour réduire coûts et complexité tout en gardant les gains de performance sur les tâches de contact fin, comme l'insertion ou la manipulation d'objets fragiles. Point notable soulevé par les auteurs eux-mêmes : le système ne se contente pas de reconstituer une mesure tactile manquante. Il agit plutôt comme une forme de supervision consciente du contact, qui transforme des indices visuels d'interaction subtils en représentations plus facilement exploitables par les politiques d'apprentissage. Le travail s'inscrit dans la recherche sur la manipulation robotique riche en contacts, un domaine où le tactile est étudié depuis plusieurs années comme complément à la vision pour les gestes fins. Il s'agit ici d'une contribution académique, sans déploiement industriel ni produit commercial associé. Les auteurs suggèrent que la prochaine étape consistera à généraliser l'approche à des scénarios de contact plus divers et à l'intégrer dans des pipelines d'apprentissage de politiques plus larges, notamment les modèles vision-langage-action.

RecherchePaper

1 source

4arXiv cs.RO

MoMo : composer le mode de mouvement en manipulation robotique via une tokenisation spatio-temporelle de l'action

Une équipe de recherche présente MoMo, un framework d'apprentissage par imitation en deux étapes qui permet de faire varier non plus seulement la précision d'un geste robotique, mais sa manière d'être exécuté. Le système combine un tokeniseur d'actions spatio-temporel et un transformeur de clonage comportemental, qui reçoit en entrée à la fois la tâche à accomplir et une condition continue de « mode de mouvement ». Testé sur six tâches de manipulation avec un robot réel, ce paramètre permet de produire des comportements qualifiés de posés, dynamiques ou intermédiaires, que des évaluateurs humains parviennent à distinguer de façon fiable. Les différences se mesurent concrètement dans la vitesse et l'accélération des articulations, ainsi que dans l'angle d'approche de l'effecteur terminal. Fait notable, lorsqu'une tâche n'a été démontrée que dans un seul mode d'exécution, MoMo parvient à transférer un mode demandé mais jamais vu pour cette tâche précise, tout en conservant l'essentiel du taux de réussite. Le papier est publié sur arXiv (2607.26315v1). Cette capacité de généralisation compositionnelle, à savoir combiner une tâche connue avec un style d'exécution inédit, touche un point sensible du déploiement industriel des robots manipulateurs: jusqu'ici, les modèles vision-langage-action (VLA) de type Pi-0, GR00T N2 ou Helix se concentrent surtout sur le « quoi faire », rarement sur le « comment le faire ». Or pour un intégrateur, la manière d'exécuter un geste compte autant que sa réussite: un préhenseur qui va vite sur une pièce robuste mais qui doit ralentir sur un composant fragile, ou une cadence différente selon la proximité d'un opérateur humain. Que ce réglage de style soit réutilisable d'une tâche à l'autre, sans réentraîner un modèle dédié par comportement, laisse entrevoir une réduction du coût de personnalisation des compétences robotiques en usine. Ce travail s'inscrit dans la lignée des recherches en clonage comportemental et en apprentissage par imitation, qui cherchent depuis plusieurs années à dépasser la simple reproduction de trajectoires démontrées pour capturer des facteurs de comportement transférables. Il reste, à ce stade, une preuve de concept académique limitée à six tâches et un seul bras robotique en laboratoire, sans indication de partenariat industriel ni de calendrier de déploiement. La suite logique serait une validation sur davantage de plateformes et de familles de tâches, pour vérifier si ce contrôle du style de mouvement tient à l'échelle des modèles VLA généralistes actuellement commercialisés.

RecherchePaper

1 source