RecherchearXiv cs.RO 4 août 2026

Développer des compétences combinées de manipulation et de locomotion via une représentation d'interaction et une composition de compétences

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent une méthode pour apprendre à un robot humanoïde à combiner préhension et locomotion à partir de principes développementaux, dans un article déposé sur arXiv (2608.00208v1). La première brique est une politique de saisie corps entier inspirée de l'analyse harmonique : des harmoniques cubiques servent de poids pour représenter la relation spatiale main objet via une convolution spatiale, et un curriculum de découplage des articulations des doigts, appliqué au sein même de chaque épisode d'apprentissage, permet au robot d'apprendre à saisir sans dataset externe ni modèle pré-entraîné. La seconde brique combine cette politique de saisie avec une politique de lever et de marche apprise séparément, en s'appuyant sur des scores d'interaction main objet pour décider, à chaque instant, quelle politique pilote quelles articulations. Résultat : 93% de réussite en zero shot sur des objets jamais vus, et entre 96 et 100% de réussite pour se relever tout en tenant l'objet saisi.

L'intérêt pratique dépasse la simple prouesse technique : la plupart des démonstrations de manipulation mobile chez les humanoïdes empilent des compétences apprises isolément, avec un risque élevé d'interférence entre politiques au moment de les enchaîner. Ici, la généralisation zero shot à des objets inconnus, sans recourir à un modèle vision langage action massif comme Pi-0, GR00T N2 ou Helix, tranche avec la tendance dominante du secteur, qui mise sur l'échelle des données plutôt que sur des curricula développementaux. L'enseignement le plus transférable pour des ingénieurs robotique ou des intégrateurs concerne la composition de compétences : elle ne fonctionne de façon fiable que si chaque politique est entraînée sur le corps entier du robot, y compris des parties a priori inutiles à la tâche, comme garder les doigts actifs pendant l'apprentissage de la marche.

Le travail s'inscrit dans la course plus large à la manipulation mobile chez les humanoïdes, un problème que des acteurs commerciaux comme Figure, Agility ou plusieurs plateformes chinoises tentent aussi de résoudre, le plus souvent via des modèles VLA pré-entraînés à grande échelle plutôt que par apprentissage développemental from scratch. L'abstract ne mentionne ni déploiement réel ni acteur français ou européen, et les résultats restent issus d'environnements contrôlés de simulation ou de laboratoire ; reste à voir si l'approche passe l'échelle vers des comportements plus complexes ou vers d'autres plateformes matérielles.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage d'une représentation du mouvement expressive et compositionnelle via des compétences spectrales

Des chercheurs proposent les « spectral skills », une représentation latente qui sert d'interface de commande entre un planificateur de haut niveau et un contrôleur bas niveau pour humanoïdes. Ces skills encodent de courts segments de mouvement sous forme compacte. Elles sont apprises par apprentissage prédictif : l'encodeur doit prédire le mouvement suivant, et non reconstruire son entrée. Sur un humanoïde de 29 DOF, un contrôleur conditionné par ces skills réduit l'erreur de suivi global de 62 % par rapport à l'état de l'art. Le même contrôleur, gelé, enchaîne des skills encodées indépendamment sans politique de transition dédiée. Il compose aussi de nouveaux comportements en ajoutant des directions orthogonales à une skill de base compatible, ce qui produit des combinaisons absentes des données d'entraînement. Les auteurs présentent du suivi de mouvement, de l'enchaînement et de la composition, ainsi qu'un pilotage par un planificateur conditionné par le langage, sur un Unitree G1 réel. Le travail, publié sur arXiv (2609.37677), est accompagné d'une page projet. L'enjeu porte sur l'interface entre planificateur et contrôleur, un point de friction des architectures hiérarchiques pour humanoïdes. Cette interface doit permettre une exécution précise, rester assez simple pour être prédite par un modèle de fondation (VLA ou planificateur de langage) et se prêter à la composition. Les représentations actuelles sacrifient en général l'un de ces critères. Si les résultats se confirment, un contrôleur unique et figé pourrait exécuter des comportements variés sans réentraîner de module de transition. Cela réduirait le coût d'intégration pour ceux qui greffent un planificateur sur une base de locomotion existante. Deux réserves : la réduction de 62 % est relative à un état de l'art que le résumé ne nomme pas, et les démonstrations matérielles sur G1 restent qualitatives. Aucun chiffre de robustesse, de taux de réussite ni de durée d'exécution n'est fourni. Le passage de la démonstration de laboratoire à un déploiement industriel n'est donc pas établi. Ce travail s'inscrit dans le mouvement des modèles de fondation robotiques pour humanoïdes. Ceux-ci adoptent souvent une architecture à deux niveaux, comme les systèmes duaux de type Helix chez Figure ou GR00T chez NVIDIA, avec un module « lent » qui décide et un module « rapide » qui exécute. Le Unitree G1, plateforme abordable et très répandue dans les laboratoires, sert ici de banc d'essai. Il rend la méthode reproductible par d'autres équipes, mais les 29 DOF et les capacités du G1 ne reflètent pas les contraintes de charge utile ou d'endurance d'un humanoïde industriel. Les suites logiques sont la validation sur d'autres morphologies, la comparaison publique avec les méthodes de suivi de mouvement existantes et l'intégration avec des planificateurs de type VLA à grande échelle. Aucun pilote industriel ni calendrier n'est annoncé.

RecherchePaper

1 source

2arXiv cs.RO

Vers une représentation unifiée inter-domaines pour la manipulation par pince à deux doigts, centrée sur l'interaction

Un article publié le 28 septembre 2026 sur arXiv (référence 2609.31207) décrit une méthode d'apprentissage par imitation pour pinces robotiques à deux doigts, censée transférer une politique d'un robot à un autre sans réentraînement. Un modèle vision-langage interprète une instruction et un flux RGB-D pour former un triplet pince, objet tenu, objet cible, tandis que SAM 2.1, de Meta, suit les masques et limite les appels au VLM. La scène est encodée dans une représentation canonique centrée sur la pince, combinée à des champs de potentiel pour le guidage global et des nuages de points en repère pince pour la géométrie locale, puis traduite en actions lisses à 7 degrés de liberté par un Flow-Matching Transformer. Les auteurs rapportent des tests en simulation et en conditions réelles, avec transfert zero-shot vers des plateformes robotiques et angles de caméra inédits. La question visée, la généralisation cross-embodiment, est centrale pour l'industrie: la plupart des politiques de manipulation restent liées à la géométrie du bras et de la pince d'entraînement, obligeant à tout recollecter dès qu'un intégrateur change de matériel ou de caméra. En séparant sémantique de la tâche et géométrie matérielle, l'approche vise directement ce goulot d'étranglement, potentiellement utile aux intégrateurs opérant des flottes hétérogènes de bras et de pinces. Les auteurs revendiquent être les premiers à conjuguer scores de benchmark compétitifs et transfert sim-to-real zero-shot aussi étendu, une affirmation d'abstract académique à prendre avec prudence tant qu'elle n'a pas été reproduite sur du matériel industriel varié, le travail restant un résultat de recherche, non un produit déployé. Cette contribution s'inscrit dans la vague actuelle des modèles vision-langage-action (VLA) généralistes pour la robotique, tels Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, qui butent sur cet enchevêtrement entre sémantique et géométrie matérielle, ici traité pour les pinces à deux doigts, configuration la plus répandue en manipulation industrielle. Le recours à SAM 2.1 et à un Flow-Matching Transformer, courants dans les politiques d'action génératives récentes, relève de la boîte à outils standard du secteur plutôt que d'une rupture technologique. Aucun acteur ni institution française ou européenne n'apparaît dans cet article. Les étapes suivantes attendues sont la publication du code et des poids, une validation sur davantage de plateformes et une revue par les pairs avant toute reprise commerciale.

RechercheOpinion

1 source

3arXiv cs.RO

LUCID : contrôle unifié des compétences latentes via une dynamique imaginée pour la loco-manipulation humanoïde à long terme

Le laboratoire de recherche à l'origine du papier arXiv:2608.07746v1 (soumis en catégorie cross-listing, daté d'août 2026) présente LUCID, acronyme de "Latent-Skill Unified Control via Imagined Dynamics", un framework d'apprentissage par renforcement hiérarchique et basé sur un modèle du monde, destiné aux tâches de loco-manipulation humanoïde longue durée. La méthode se déroule en deux temps : une politique bas niveau, conditionnée par des codes latents structurés, est d'abord entraînée par imitation adversariale puis gelée ; un modèle de dynamique de haut niveau ("macro-dynamics world model") est ensuite appris conjointement avec une politique de décision, ce modèle prédisant les transitions d'état à horizon étendu induites par chaque décision latente, ce qui permet d'optimiser la politique haut niveau via des simulations imaginées plutôt que par essais réels. Les auteurs évaluent LUCID sur des scénarios simulés de réarrangement multi-objets et rapportent une amélioration du taux de réussite complète des tâches ainsi que des taux de complétion partielle, comparés à des méthodes de référence combinant planificateurs scriptés, automates à états finis ou politiques model-free spécifiques à une tâche. Le problème visé est celui de la coordination longue durée chez les robots humanoïdes : enchaîner marche, atteinte et préhension sur des séquences complexes sans dépendre d'automates codés à la main, un goulot d'étranglement que les démonstrations courtes de nombreux acteurs du secteur (modèles VLA type Pi-0, GR00T N2 ou Helix) laissent souvent dans l'ombre. En remplaçant la planification scriptée par un modèle du monde appris, capable de projeter les conséquences de décisions latentes avant de les exécuter, LUCID propose une alternative architecturale aux pipelines VLA end-to-end dominants, ce qui intéresse directement les intégrateurs cherchant à fiabiliser des tâches multi-étapes en logistique ou en usine plutôt qu'à empiler des démonstrations isolées. Il s'agit toutefois d'une contribution strictement académique et simulée : aucun robot physique, aucune entreprise ni aucun site de déploiement n'est mentionné dans l'abstract, et les gains rapportés portent uniquement sur des environnements de simulation de réarrangement d'objets, sans chiffres de charge utile, de degrés de liberté ou de temps de cycle réels. LUCID s'inscrit dans la lignée des travaux sur les modèles du monde appliqués à la robotique (dans l'esprit de Dreamer ou TD-MPC), en offrant une voie hiérarchique et modulaire face à l'approche monolithique des modèles VLA. Aucun essai matériel, partenariat industriel ou calendrier de transfert vers un robot réel n'est annoncé à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

B-spline Policy : accélérer les politiques de manipulation via des représentations d'action B-spline

Des chercheurs viennent de publier sur arXiv (référence 2607.09648v1) une nouvelle méthode baptisée B-spline Policy, ou BSP, conçue pour accélérer l'exécution des politiques de manipulation robotique apprises par imitation. Contrairement à l'approche dominante qui consiste à prédire des séquences d'actions discrètes dans le temps ("action chunks"), BSP paramètre les actions du robot sous forme de courbes B-spline continues, définies par un ensemble de noeuds et de points de contrôle. Cette représentation produit des trajectoires lisses et continues dans le temps, qui peuvent ensuite être mises à l'échelle temporellement et exécutées par les contrôleurs bas niveau à des fréquences et des vitesses plus élevées. Les auteurs montrent que ces paramètres B-spline peuvent être prédits directement par des architectures de policy learning existantes, sans refonte majeure du pipeline d'entraînement. Les expériences, menées à la fois en simulation et sur des tâches de manipulation réelles, indiquent une réduction significative du temps d'exécution des tâches par rapport aux méthodes de référence, tout en conservant des taux de réussite comparables. L'enjeu est concret pour les équipes qui déploient des politiques de manipulation en usine ou en entrepôt: le goulot d'étranglement des approches par chunks discrets vient souvent de la fréquence de commande limitée et des à-coups introduits entre segments d'actions, ce qui oblige à ralentir l'exécution pour rester stable. En rendant la trajectoire continue et rééchelonnable dans le temps, BSP permettrait de gagner en vitesse de cycle sans changer de modèle de perception ni de politique d'apprentissage, un argument qui parle directement aux intégrateurs cherchant à rapprocher les démonstrations en laboratoire des cadences industrielles réelles. Cette contribution s'inscrit dans la lignée des travaux sur les représentations d'actions pour l'apprentissage par imitation, où des méthodes comme les chunks d'actions ou les politiques de diffusion ont dominé ces deux dernières années sans toujours résoudre le compromis entre vitesse d'exécution et fluidité des mouvements. En proposant une alternative paramétrique compatible avec les pipelines existants, les auteurs ouvrent une piste d'optimisation orthogonale, potentiellement combinable avec d'autres avancées récentes en manipulation robotique. Des résultats supplémentaires et le code sont disponibles sur b-spline-policy.github.io.

RecherchePaper

1 source