RecherchearXiv cs.RO 31 juillet 2026

PAC-MAN : apprentissage par renforcement avec CBF conscient de la perception pour la sécurité corporelle en dodgeball humanoïde

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent PAC-MAN (Perception-Aware CBF-RL), un cadre d'apprentissage par renforcement associé à des fonctions barrières de contrôle (CBF) pour la sécurité corporelle complète d'un robot humanoïde soumis à un jeu de ballon prisonnier. La politique déployée ne perçoit la balle que via une profondeur segmentée sémantiquement, captée par une caméra montée sur la tête, tandis que l'entraînement utilise une guidance CBF calculant la distance de sécurité pour chaque segment du corps, régularisée par un prior de mouvement adversarial. Le système a été testé sur un banc d'essai contrôlé avec lancers programmés, selon deux régimes : lancers isolés et boucle de déploiement où le robot retourne à son poste et récupère entre deux lancers. Déployée sans réentraînement (zero-shot) sur un Unitree G1 réel, la politique légère "Link-CBF" réussit à esquiver 95% des lancers et s'appuie sur la segmentation sémantique pour éviter différents types de balles.

L'enseignement principal dépasse le simple exercice ludique : la politique embarquée, limitée à une caméra fixe, arrive à quelques points seulement des performances d'un oracle disposant d'un état complet et privilégié de la scène, ce qui suggère qu'une perception réaliste et peu coûteuse suffit pour des réflexes d'évitement corporel complet. C'est un signal notable pour l'industrie robotique alors que la sécurité réactive reste un point faible des humanoïdes déployés en environnement partagé avec des humains : le travail montre que le fossé habituel entre démonstration en simulation et réalité de terrain peut être réduit sur des tâches de sécurité, sans capteurs de suivi dédiés ni filtrage d'état privilégié à l'exécution.

Le papier s'inscrit dans la lignée des travaux combinant CBF, technique établie en robotique de contrôle pour garantir des contraintes de sécurité, et apprentissage par renforcement, un couplage de plus en plus exploré pour le contrôle corporel complet des humanoïdes. Les auteurs montrent aussi qu'une structure de barrière par articulation (Joint-CBF) offre les meilleures performances avec un état de balle précis, mais se dégrade avec une caméra fixe seule, sauf à ajouter un gimbal de suivi ou un filtre d'état privilégié à l'exécution, d'où le choix d'une variante par liaison (Link-CBF) plus robuste pour le déploiement réel sur le G1.

Dans nos dossiers

Unitree

À lire aussi

1arXiv cs.RO

ResSafe : filtrage de sécurité par apprentissage par renforcement résiduel pour humanoïdes

ResSafe, une architecture de contrôle en deux politiques pour les robots humanoïdes, a été publiée le 15 septembre 2026 sur arXiv sous la référence 2609.15988. La méthode sépare performance et sécurité : une politique nominale est entraînée uniquement pour accomplir la tâche, tandis qu'une politique résiduelle apprend en parallèle des corrections de sécurité qui ajustent ses actions. Cette seconde politique agit comme un filtre de sécurité implicite, censé limiter chutes et instabilités liées à la dynamique à haute dimensionnalité et aux interactions riches en contacts propres aux humanoïdes. L'abstract ne cite aucune plateforme robotique ni aucun chiffre de performance (taux de chute, distance parcourue, degrés de liberté), signe d'une recherche encore amont, sans validation matérielle détaillée. Pour l'industrie, ce découplage répond à un problème connu : faire arbitrer par une seule politique performance, robustesse et sécurité oblige à régler manuellement plusieurs termes de récompense concurrents, un exercice fragile qui complique le passage du simulateur au robot réel. En sortant la sécurité de cette équation unique, ResSafe propose une approche modulaire qui, si elle se confirme sur du matériel, pourrait faciliter l'ajout de correctifs de sécurité sans réentraîner toute la politique de locomotion. L'enjeu parle directement aux intégrateurs et décideurs du secteur, confrontés à un écart persistant entre démonstrations en simulation et fiabilité en conditions réelles. Le travail s'inscrit dans une recherche académique plus large sur le contrôle par apprentissage des humanoïdes, où le RL pour la locomotion et le suivi de mouvement s'est largement généralisé ces dernières années. Il se distingue des méthodes de filtrage de sécurité explicite, fondées sur des barrières de contrôle ou des modèles analytiques de la dynamique, souvent coûteuses ou difficiles à généraliser à un système aussi complexe. L'article ne mentionne ni code source, ni partenaire industriel, ni calendrier d'essais sur robot physique : ResSafe reste, à ce stade, une contribution de recherche dont l'apport devra être confirmé au-delà de la simulation.

RecherchePaper

1 source

2arXiv cs.RO

Adaptation des compétences avec prise en compte de la sécurité pour l'apprentissage par renforcement en environnements dynamiques

Une équipe de chercheurs présente Dist-GPRL, un framework d'apprentissage par renforcement guidé par la sécurité pour l'adaptation de compétences robotiques, dans une prépublication arXiv (2609.11433v1). Construit sur une paramétrisation de trajectoires par processus gaussiens (GP), le système adapte séquentiellement des fenêtres locales de points de passage plutôt que la trajectoire complète à chaque étape, la covariance du GP assurant des mises à jour cohérentes dans le temps et réduisant les difficultés d'attribution de crédit propres à l'adaptation globale. La sécurité combine un a priori de sous-espace faisable dérivé du planificateur Hausdorff Approximation Planner (HAP) et des récompenses fondées sur un champ de distance aux obstacles mis à jour dynamiquement, complétées par un régularisateur qui préserve les profils de vitesse et d'accélération démontrés. Testé sur deux tâches de manipulation d'objets dynamiques, d'abord en simulation puis transféré à l'exécution réelle sur robot, Dist-GPRL affiche un taux de réussite plus élevé, moins de collisions et un apprentissage plus stable que les méthodes de référence. L'enjeu dépasse la démonstration académique. La plupart des cadres RL d'adaptation de compétences imposent des observations fixes ou des schedules d'exploration rigides pour rester stables, ce qui les rend inadaptés dès qu'un environnement encombré ou des objets mobiles entrent en jeu, un scénario courant en manipulation industrielle. En intégrant la sécurité directement dans la boucle d'exploration plutôt qu'en garde-fou externe, ce travail s'attaque à un point de friction réel pour les intégrateurs qui veulent déployer des politiques apprises près d'obstacles ou d'opérateurs. Le transfert simulation vers réel réussi, même circonscrit à deux tâches, reste un indice utile mais ne vaut pas preuve de robustesse à grande échelle. La méthode s'inscrit dans la lignée des approches de paramétrisation de compétences par processus gaussiens, réputées compactes mais fragiles face aux changements d'environnement, défaut que Dist-GPRL cherche à corriger en s'appuyant sur le planificateur HAP pour la garantie géométrique de sécurité. Elle se distingue ainsi des architectures VLA de bout en bout type Pi-0 ou GR00T N2, en combinant planification classique et apprentissage par renforcement plutôt qu'un modèle unique bout à bout. La publication ne mentionne ni partenaire industriel, ni robot commercial, ni calendrier de déploiement: il s'agit à ce stade d'une contribution de recherche validée en simulation et sur un banc réel limité, sans pilote industriel annoncé.

RecherchePaper

1 source

3arXiv cs.RO

MARCH : apprentissage par renforcement assisté par modèle pour le contrôle perceptif de robots humanoïdes sur appuis rares

Des chercheurs ont publié sur arXiv (2606.10288) MARCH, un cadre d'apprentissage par renforcement assisté par modèles pour la locomotion bipedale sur appuis épars. La méthode repose sur trois étapes : générer une trajectoire de référence sûre à partir de modèles dynamiques simplifiés, entraîner une politique "enseignante" guidée par un reward basé sur une Control Lyapunov Function (CLF), puis distiller cette politique dans une politique "étudiante" visuelle déployable sur robot réel. L'ensemble a été validé en simulation et déployé sur un Unitree G1, humanoïde commercialisé autour de 16 000 dollars, naviguant sur des appuis épars avec contraintes latérales. L'enjeu est de réconcilier deux familles de méthodes historiquement opposées : les approches basées modèle (MPC, optimisation de contact) sont précises mais fragiles face à l'incertitude de terrain, tandis que le RL pur est robuste mais peine à découvrir les mouvements finement contraints nécessaires à la locomotion safety-critical, où une erreur de quelques centimètres peut provoquer une chute. Le reward CLF injecte une connaissance physique dans la boucle d'apprentissage sans curriculum d'entraînement complexe, améliorant l'efficacité d'échantillonnage et produisant une locomotion plus fluide. Les performances sur stepping stones sont déclarées comparables aux baselines RL purs, ce qui suggère que l'hybridation modèle/apprentissage est viable à coût computationnel comparable. Ce travail s'inscrit dans l'axe locomotion perceptive porté par ETH Zurich (parkour RL, 2023), Carnegie Mellon et Berkeley. La distillation teacher-student, popularisée par Agility Robotics et ANYbotics dans leurs pipelines de développement, est ici enrichie d'une contrainte CLF théoriquement fondée. Le Unitree G1 est devenu une plateforme quasi-standard dans les labos de locomotion pour sa documentation et son prix accessible. Il s'agit d'un preprint arXiv non évalué par les pairs, sans déploiement industriel ni timeline commerciale annoncés. Les prochaines étapes naturelles seraient une validation sur terrain extérieur non structuré et une comparaison directe avec les approches MPC de nouvelle génération.

UEImpact marginal : ETH Zurich (Suisse, hors UE) est cité en travaux connexes, mais aucun labo ou industriel européen n'est directement impliqué dans ce preprint.

RecherchePaper

1 source

4arXiv cs.RO

RGB : MPPI corps entier pour humanoïdes guidé par apprentissage par renforcement

Une équipe de recherche a publié sur arXiv (référence 2606.25123) une architecture de contrôle hybride baptisée RGB, pour "RL Guided whole-body MPPI", destinée aux robots humanoïdes évoluant dans des environnements à contacts complexes. Le framework a été évalué en simulation MuJoCo sur un Unitree G1 à 29 degrés de liberté, avec une fréquence de contrôle moyenne de 280 Hz. Le principe : au lieu d'utiliser une politique d'apprentissage par renforcement (RL) comme contrôleur final, RGB l'emploie comme prior d'échantillonnage pour guider les rollouts d'un algorithme MPPI (Model Predictive Path Integral). Les objectifs de tâche sont définis via des termes de coût modulaires MPPI, qui corrigent en ligne la politique RL pour satisfaire ces objectifs sans nécessiter de réentraînement. Les tests montrent une réduction de la dérive systématique en marche rectiligne et une meilleure capacité à suivre des signaux de référence corps entier supplémentaires, comparé à une politique RL pure sous la même interface de commande. L'intérêt industriel de cette approche réside dans la rigidité structurelle des politiques RL actuelles : une fois entraînée, une politique couple fortement son comportement à l'objectif d'entraînement et à l'interface de commande. Ajouter un nouvel objectif de feedback (correction de trajectoire, contrainte de contact, suivi d'un membre spécifique) exige généralement un réentraînement complet, coûteux et long. RGB court-circuite cette contrainte en déléguant la précision et la modularité au MPPI, qui opère en boucle fermée à haute fréquence. Pour un intégrateur industriel ou un COO qui doit adapter un humanoïde à plusieurs lignes de production, la possibilité de spécifier de nouveaux comportements via des termes de coût, sans retouch au modèle RL sous-jacent, représente un gain de flexibilité concret. La fréquence de 280 Hz en simulation est encourageante, mais les auteurs ne démontrent pas encore le transfert sim-to-real, ce qui reste le saut critique pour toute validation industrielle. Le cadre MPPI est une technique de contrôle prédictif par échantillonnage bien établie en robotique mobile et manipulation, mais son couplage avec une politique RL comme prior pour les humanoïdes corps entier est une direction récente. Unitree, dont le G1 est devenu une plateforme de recherche courante grâce à son accessibilité commerciale (autour de 16 000 dollars), est au coeur de nombreux travaux académiques concurrents, notamment autour des architectures VLA (Vision-Language-Action) de type GR00T N2 de NVIDIA ou Pi-0 de Physical Intelligence. RGB se positionne dans un créneau distinct : il ne vise pas la généralisation via des données de démonstration, mais l'optimisation en ligne de politiques existantes. La prochaine étape logique sera une validation sur hardware réel, déterminante pour établir si les 280 Hz de simulation se maintiennent face aux incertitudes mécaniques et aux latences capteurs d'un vrai G1.

RecherchePaper

1 source