RecherchearXiv cs.RO 2 juin 2026

HALO : apprentissage de la collaboration humain-robot par optimisation de politique de Lyapunov multi-agents

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs de Tsinghua University ont publié HALO (Heterogeneous-Agent Lyapunov Policy Optimization), un framework d'apprentissage par renforcement multi-agents (MARL) dédié à la collaboration humain-robot (HRC), disponible sur arXiv (2603.03741, version 2). Le problème ciblé est ce que les auteurs nomment le "rationality gap" (RG) : en apprentissage décentralisé, les mises à jour de politique du robot et de l'humain divergent structurellement, car l'humain n'optimise pas selon le même objectif formel que l'algorithme. Le problème d'entraînement devient alors un jeu différentiable à somme générale, où les gradients de politique indépendants peuvent osciller ou diverger sans contrainte supplémentaire. HALO résout ce verrou en imposant une contraction au sens de Lyapunov dans l'espace des paramètres de politique, via des projections quadratiques optimales qui rectifient les gradients décentralisés pour garantir une contraction monotone du RG. Les validations couvrent des simulations étendues et des expériences en conditions réelles sur des robots humanoïdes.

La contribution centrale est d'avoir transposé la certification de Lyapunov, outil classique de la théorie du contrôle pour garantir la stabilité d'un système dynamique, à la stabilisation de la dynamique d'apprentissage elle-même dans un jeu multi-agents hétérogènes. En pratique, le système peut explorer des espaces d'interaction ouverts, incluant des comportements humains imprévus, sans que l'entraînement ne diverge. Les résultats montrent une meilleure généralisation sur les cas limites collaboratifs où MAPPO ou HATRPO échouent. Pour un intégrateur déployant un humanoïde en co-manutention, cela adresse directement le gap sim-to-real : une stabilité garantie à l'entraînement se traduit par une robustesse accrue face à la variabilité comportementale humaine, condition non-négociable pour tout déploiement industriel.

Ce travail s'inscrit dans une littérature croissante sur le MARL pour HRC, où les approches CTDE (Centralized Training, Decentralized Execution) comme QMIX peinent face à l'hétérogénéité humain-robot. L'utilisation de la théorie de Lyapunov en RL existait déjà dans le safe RL pour contraindre les trajectoires d'état ; HALO l'applique à un objectif différent et moins exploré, celui de stabiliser la convergence dans un jeu multi-agents. Les détails des expériences humanoïdes en conditions réelles ne figurent pas dans le résumé et méritent une lecture approfondie avant de conclure sur la portée pratique. Le code et les résultats sont accessibles sur le site du projet, ce qui facilitera la reproductibilité. Des extensions naturelles concerneraient des équipes mixtes impliquant plusieurs humains, ou des scénarios où la politique humaine est elle-même apprise plutôt que supposée fixe.

Impact France/UE

Impact indirect pour les intégrateurs européens en co-manutention humanoïde : HALO adresse le gap sim-to-real dans les scénarios HRC, un verrou clé pour toute certification industrielle en Europe.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage de politiques par simulation pour la loco-manipulation des robots humanoïdes

Une équipe de chercheurs a publié le 9 juin 2026 sur arXiv (2606.08278) SIMPLE, un banc de test de simulation unifié pour l'apprentissage et l'évaluation de politiques de contrôle de robots humanoïdes. La plateforme couple la simulation de dynamique de contact de MuJoCo avec le rendu photoréaliste d'IsaacSim, et propose 60 tâches de loco-manipulation plein corps, 50 scènes d'intérieur et plus de 1 000 assets d'objets. Pour la collecte de données, deux pipelines sont intégrés : génération automatisée de trajectoires par planification de mouvement, et interface de téléopération VR à faible latence. Les auteurs y benchmarkent plusieurs familles de politiques humanoïdes : réseaux d'imitation légers, grands modèles vision-langage-action (VLA) et les récents modèles d'action du monde (WAM, World Action Models). Les expériences démontrent, selon les auteurs, un transfert zero-shot vers des robots humanoïdes physiques dans des configurations similaires. L'enjeu central est un goulot d'étranglement d'évaluation : les modèles fondationnels humanoïdes progressent plus vite que les protocoles pour les tester. Les benchmarks existants se concentrent sur la robotique de table ou les robots à roues, sans couvrir la loco-manipulation plein corps, compétence clé pour les humanoïdes déployés en environnement industriel ou domestique. Si la corrélation sim-to-real revendiquée dans l'article se confirme à plus grande échelle, elle légitime le recours massif à la simulation pour entraîner des politiques de contrôle, réduisant drastiquement les coûts de collecte de données en conditions réelles. C'est précisément le pari industriel de Physical Intelligence avec pi-0, et de Figure AI avec Figure 02 : remplacer les démos téléopérées coûteuses par des pipelines simulés reproductibles. La fragmentation des benchmarks est un problème structurel en robotique humanoïde : chaque laboratoire publie sur ses propres protocoles, rendant toute comparaison inter-équipes difficile. Des initiatives comme HumanoidBench, RoboVerse ou Isaac Lab ont tenté d'y répondre, mais sans couvrir la chaîne complète loco-manipulation avec rendu photoréaliste et pipelines de données intégrés. SIMPLE se positionne à cette intersection. Les équipes de Google DeepMind (GR00T N2, Helix), Agility Robotics (Digit) et Boston Dynamics sont directement concernées. Ce preprint arXiv n'est pas encore évalué par les pairs ; l'adoption par la communauté dépendra de la disponibilité publique du code et des assets, non encore confirmée.

RecherchePaper

1 source

2arXiv cs.RO

Robots collaborants : imitation séquentielle asymétrique pour l'apprentissage de politiques couplées

Des chercheurs ont présenté Sequential Asymmetric Imitation (SAI), une méthode d'apprentissage par imitation pour entraîner deux robots manipulateurs mobiles bimanuels à collaborer physiquement sur des tâches conjointes impliquant des objets rigides ou déformables. Publiée en pré-impression sur arXiv (2606.16490v1), l'étude part d'un constat précis : les échecs en manipulation collaborative ne proviennent pas d'un manque de compétence individuelle, mais de problèmes de synchronisation, notamment les attentes mal timées, le cédage insuffisant et les conflits lors du saisissement ou du relâchement d'objets. SAI propose un curriculum en trois étapes piloté par un seul téléopérateur : Robot A est d'abord entraîné à partir de démonstrations unilatérales avec un partenaire humain compliant ; Robot B est ensuite entraîné contre la politique déployée de Robot A ; enfin, Robot A est affiné par des interventions ponctuelles ciblées sur les zones de défaillance de coordination. Les expériences en conditions réelles montrent des gains mesurés sur la réussite des tâches, la synchronisation de phase et le comportement de cédage adaptatif, par rapport à des baselines d'imitation indépendante. L'apport principal de SAI réside dans l'élimination de la contrainte des démonstrations synchronisées à deux opérateurs, un frein logistique majeur pour la collecte de données dans les systèmes multi-robots. En structurant le curriculum de manière asymétrique, la méthode expose progressivement chaque robot à des comportements partenaires de plus en plus réalistes, incluant délais, décalages de phase et résistance insuffisante, sans nécessiter de canal de communication explicite entre les robots. Pour les intégrateurs industriels, l'argument est concret : un seul opérateur qualifié suffit à générer un dataset multi-agent viable. L'étude suggère que la coordination physique peut émerger de la structure du curriculum d'imitation elle-même, plutôt que d'un mécanisme de coordination dédié, ce qui contredit l'hypothèse dominante selon laquelle la collaboration multi-robot nécessite obligatoirement une communication inter-agents ou des démonstrations co-téléopérées. Ce travail s'inscrit dans un corpus croissant sur la manipulation multi-robot en milieu non structuré, où les approches dominantes reposaient jusqu'ici soit sur des communications inter-robots explicites, soit sur des démonstrations co-téléopérées coûteuses. En n'utilisant aucun des deux, SAI propose une troisième voie potentiellement plus scalable pour les déploiements industriels impliquant des paires de bras robotiques. Il convient toutefois de souligner que la méthode n'est validée que sur un ensemble limité de tâches réelles, sans benchmark standardisé face à des méthodes récentes comme ACT ou Diffusion Policy en contexte multi-agent, et que ce document reste un pré-print non révisé par les pairs. La page projet est disponible sur GitHub (cyc0429.github.io/sai-project-page) ; les prochaines étapes naturelles incluront la généralisation à des topologies de tâches plus complexes et l'évaluation sur des horizons temporels plus longs.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage par renforcement multi-tâches sur GPU avec optimisation de politique guidée par démonstration

Une équipe de chercheurs a publié le 3 juin 2026 sur arXiv (2606.03335) une méthodologie pour construire des benchmarks d'apprentissage par renforcement multi-tâches sur GPU, et l'a instanciée sous le nom MT-Libero, en s'appuyant sur les assets et prédicats de tâches de LIBERO dans l'environnement de simulation Isaac Lab de NVIDIA. Le benchmark permet d'entraîner simultanément des politiques sur des suites de tâches hétérogènes de manipulation, avec rendu parallèle, randomisation physique, et support des entrées par état ou par caméra. En parallèle, les auteurs proposent DGPO (Demonstration Guided Policy Optimization), une méthode on-policy qui combine PPO pondéré par importance avec un clonage comportemental adaptatif sur des actions de démonstration appariées, permettant de doser l'influence des données de démo sur la politique apprise. L'intérêt de cette contribution est double. D'abord, elle s'attaque à un goulot d'étranglement structurel du domaine : la plupart des pipelines RL actuels en robotique entraînent une politique spécialisée par tâche, ce qui explose les coûts de calcul et limite la généralisation. Passer à un entraînement multi-tâches sur GPU en parallèle change fondamentalement l'économie de la simulation. Ensuite, DGPO résout un problème pratique récurrent : avec des signaux de récompense parcimonieux et peu de données de démonstration, les méthodes RL pures peinent à converger. Les auteurs montrent que leur approche surpasse à la fois le RL sans démonstration et les méthodes existantes à base de démonstration, tout en conservant la stabilité caractéristique de PPO on-policy et sa capacité d'amélioration continue en ligne. Le benchmark LIBERO, développé par des équipes académiques, est devenu une référence pour évaluer le transfert et la généralisation en manipulation robotique. Isaac Lab, le simulateur physique de NVIDIA, est de plus en plus utilisé pour le sim-to-real à grande échelle, notamment par Physical Intelligence (pi0), Figure AI et 1X Technologies. La problématique multi-tâches est au coeur des travaux actuels sur les VLA (Vision-Language-Action models) et les foundation models pour la robotique, où des acteurs comme DeepMind (RT-2, RT-X), Stanford et Berkeley (RoboAgent) cherchent à mutualiser l'apprentissage entre tâches. MT-Libero et DGPO sont publiés en preprint et n'ont pas encore été validés par un processus de peer-review ; les résultats restent à confirmer sur hardware réel.

RechercheOpinion

1 source

4arXiv cs.RO

LyEvO : optimisation évolutionnaire guidée par Lyapunov pour un apprentissage de politique sûr et robuste en transfert simulation-réel

Une équipe de recherche publie sur arXiv (référence 2608.06481) LyEvO, une méthode combinant optimisation évolutionnaire contrainte, vérification statistique de modèles (Statistical Model Checking) et analyse de stabilité de Lyapunov pour entraîner des politiques de contrôle sûres et transférables de la simulation au réel. À partir de la dynamique connue du système, LyEvO calcule d'abord une région de stabilité candidate par analyse de Lyapunov, puis une boucle itérative optimise et vérifie statistiquement la politique sur des scénarios tirés de cette région, avant d'élargir ses frontières selon les résultats obtenus. Ce processus fournit un critère pratique pour juger si un contrôleur est prêt au déploiement réel. La méthode est testée sur deux bancs d'essai classiques, le pendule inversé sur chariot (Cartpole) et un quadrirotor 3D, via des simulations puis des expériences physiques, avec un transfert simulation-réel jugé sûr et robuste par les auteurs. Le problème visé est central pour la robotique apprenante : les politiques entraînées en simulation, notamment par renforcement, échouent souvent une fois transférées sur du matériel réel, faute de garanties sur leur stabilité en dehors des conditions d'entraînement. En couplant vérification statistique et analyse de stabilité issue de la théorie du contrôle classique, LyEvO propose une alternative aux pratiques dominantes, randomisation de domaine et essais-erreurs empiriques, qui n'offrent aucune preuve formelle de robustesse. Pour des ingénieurs devant certifier qu'un contrôleur tiendra face à des perturbations non vues à l'entraînement, disposer d'un critère explicite de préparation au déploiement plutôt qu'une simple confiance empirique constitue un apport méthodologique réel, même si la validation reste ici cantonnée à des systèmes académiques standards plutôt qu'à des robots commerciaux complexes. L'écart entre simulation et réel reste un goulot d'étranglement historique du contrôle apprenant, les erreurs de modélisation, le bruit des capteurs et les dynamiques non capturées en simulation pouvant faire échouer en conditions réelles un contrôleur performant sur banc virtuel. Les approches existantes reposent généralement soit sur la randomisation de domaine pour gagner en robustesse par diversité d'entraînement, soit sur des méthodes de vérification formelle, précises mais coûteuses en calcul et difficiles à mettre à l'échelle. LyEvO se positionne entre ces deux traditions en réintroduisant la stabilité de Lyapunov, un outil classique du contrôle, dans une boucle moderne d'optimisation évolutionnaire et de vérification statistique. Publié comme nouvelle soumission arXiv, l'article ne mentionne aucun partenariat industriel ni déploiement commercial ; la suite logique pour ce type de travaux académiques serait l'extension à des systèmes robotiques plus complexes, bras manipulateurs ou robots à pattes, où les garanties de stabilité formelle restent aujourd'hui rares.

RecherchePaper

1 source