RecherchearXiv cs.RO 15 octobre 2026

E2DRL : apprentissage par renforcement différentiable de bout en bout pour l'évitement d'obstacles 3D chez les robots quadrupèdes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

E2DRL est un cadre d'apprentissage par renforcement différentiable de bout en bout, présenté sur arXiv (2610.19627v1), qui permet à un robot quadrupède d'éviter des obstacles 3D à partir de la vision seule. Les auteurs l'ont validé en conditions réelles sur un Unitree Go2, dans des environnements statiques et dynamiques. Le système repose sur un enseignant privilégié, entraîné avec Soft Analytic Policy Optimization (SAPO) dans un simulateur différentiable. Cet enseignant est distillé par DAgger vers un étudiant récurrent qui exploite des images de profondeur. L'étudiant est ensuite fusionné avec une politique de locomotion de base par un module de gating sensible au terrain. En simulation, E2DRL est plus efficace en échantillons que PPO. Il offre aussi un meilleur suivi de vitesse et une meilleure capacité d'évitement 3D que PPO et qu'un NMPC à DCBF par dualité. Le résumé ne fournit aucun chiffre sur ces écarts, ni sur les taux de réussite ou les temps de cycle.

L'enjeu est technique mais concret. Le RL différentiable exploite les gradients du simulateur pour apprendre plus vite que le RL classique, mais il restait cantonné à la marche aveugle ou à des tâches 2D simulées. Les contraintes de collision dures et l'arrêt anticipé de l'épisode au contact corrompent les gradients de premier ordre et enferment l'optimiseur dans des minima locaux. Les auteurs contournent ce blocage avec une formulation « molle » : des pénalités de pénétration sur plusieurs points clés du corps, combinées à un façonnage par stop-gradient conditionné à la vitesse. Si ces résultats se confirment, la méthode réduit le coût d'entraînement des politiques de perception-locomotion, un poste lourd pour les intégrateurs de robots à pattes en inspection ou en logistique. Elle propose aussi une alternative apprise aux contrôleurs prédictifs, plus coûteux à calibrer. La validation se limite toutefois à un Go2, une plateforme de recherche peu chère, dans des scénarios probablement contrôlés. Rien n'indique une robustesse en environnement industriel non structuré.

Ce travail prolonge deux courants. Le premier est le RL massivement parallèle avec PPO, devenu la référence pour la locomotion à pattes. Le second est l'essor des simulateurs différentiables, dont les méthodes analytiques de type SAPO sont des variantes récentes. Les approches d'évitement d'obstacles par optimisation, comme le NMPC avec barrières de contrôle (DCBF), servent ici de base de comparaison. Aucune suite commerciale n'est annoncée, car il s'agit d'un préprint non évalué par des pairs. Les prochaines étapes naturelles seraient des tests sur d'autres morphologies, des obstacles dynamiques plus rapides et des terrains plus variés. Un code ouvert permettrait aussi de vérifier les gains annoncés.

Dans nos dossiers

Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage par renforcement guidé pour les sauts omnidirectionnels en 3D dans les robots quadrupèdes

Une équipe de chercheurs a publié sur arXiv (référence 2507.16481, troisième version) une méthode d'apprentissage par renforcement guidé destinée à permettre aux robots quadrupèdes d'effectuer des sauts omnidirectionnels en trois dimensions. L'approche combine des courbes de Bézier, classiquement utilisées pour la planification de trajectoires lissées, avec un modèle de mouvement rectiligne uniformément accéléré (UARM), qui encode une intuition physique du saut directement dans la boucle d'entraînement. Les résultats sont validés en simulation et sur robot réel, mais le résumé ne précise ni la plateforme matérielle utilisée ni les métriques chiffrées de performance, ce qui limite l'évaluation indépendante de la contribution. L'intérêt principal de ce travail réside dans l'adresse simultanée de deux limitations majeures des approches existantes. Les méthodes d'optimisation classiques (MPC, trajectory optimization) produisent des sauts contrôlables mais exigent une connaissance fine des paramètres du robot et du terrain, ce qui fragilise leur robustesse en conditions réelles. À l'inverse, l'apprentissage par renforcement bout-en-bout souffre d'une complexité d'échantillonnage élevée, de millions de simulations nécessaires, et d'une imprévisibilité des trajectoires qui complique la certification de sécurité, un prérequis non négociable pour les déploiements industriels. En injectant une structure physique dans la boucle d'entraînement, les auteurs visent à réduire le coût d'apprentissage tout en produisant des mouvements explicables, dont la logique peut être auditée et certifiée. Le saut dynamique pour robots quadrupèdes est un problème ouvert depuis plusieurs années, car il concentre les défis du transfert sim-to-réel : contacts impulsionnels, rigidité des actionneurs, imprécision des estimations d'état. Le Robotics Systems Lab d'ETH Zurich (ANYmal) et les équipes de l'UC Berkeley ont déjà démontré des sauts via RL pur, tandis que Boston Dynamics et Unitree intègrent ces capacités dans leurs plateformes commerciales. Ce papier s'inscrit dans la tendance des approches hybrides modèle-apprentissage, qui cherchent à concilier la robustesse du RL avec la prévisibilité des méthodes analytiques, une direction que poursuivent également des équipes européennes comme le LAAS-CNRS ou l'INRIA.

UEDes équipes européennes comme le LAAS-CNRS et l'INRIA travaillent sur des approches hybrides modèle-apprentissage similaires pour la locomotion quadrupède, ce travail s'inscrit dans un domaine de recherche où l'Europe est présente mais sans impact direct immédiat.

RecherchePaper

1 source

2arXiv cs.RO

PROMO : apprentissage par renforcement multi-objectif conditionné par les préférences pour robots quadrupèdes

Des chercheurs proposent PROMO (Preference-Conditioned Multi-Objective Reinforcement Learning), une méthode qui transforme l'arbitrage entre objectifs de locomotion en entrée modifiable à l'exécution d'une politique unique pour robot quadrupède. Le travail, publié sur arXiv (2610.01260), vise un problème classique : le suivi de commande, la stabilité et l'efficacité énergétique entrent en conflit, et l'apprentissage par renforcement (RL) conventionnel fige leur hiérarchie dans une récompense scalaire fixée à l'entraînement. PROMO conditionne la politique sur des préférences exprimées au déploiement, tout en gardant fixes les a priori propres à l'embodiment, nécessaires à la génération d'une marche viable. En simulation, sur 100 préférences échantillonnées, 67 comportements sont non dominés au sens strict de Pareto, avec une corrélation moyenne préférence-objectif de 0,843. Sur un Unitree Go2, la même politique est transférée en zero-shot. Le seul changement de préférence, par rapport au réglage équilibré, réduit l'énergie spécifique jusqu'à 30,4 %, l'erreur de position de 38,7 % et l'écart maximal d'attitude du corps de 59,0 %. Le code et des vidéos sont en open source. L'intérêt pratique tient à l'interface. Aujourd'hui, adapter un contrôleur à une mission (économiser la batterie en inspection, privilégier la précision de placement, stabiliser une charge utile) impose souvent de réentraîner ou de maintenir plusieurs spécialistes. Une politique unique réglable à chaud simplifie la validation, le déploiement et la maintenance d'une flotte, ce qui parle aux intégrateurs de robots à pattes pour l'inspection industrielle. Les auteurs affirment qu'elle égale ou dépasse contrôleurs à objectif fixe, baselines multi-objectifs et spécialistes entraînés séparément, ce qui, si cela se confirme, rendrait la spécialisation par réentraînement moins nécessaire. Des réserves s'imposent toutefois : les gains réels sont mesurés sur une seule plateforme, relatifs à un réglage « équilibré » choisi par les auteurs, sans information sur la variété des terrains ni le nombre d'essais. Ce résultat relève de la recherche, pas d'un produit livré ni d'un déploiement. Le RL multi-objectif existait surtout comme outil hors ligne, pour construire des ensembles de Pareto que l'on exploitait ensuite en choisissant un point de fonctionnement. PROMO prolonge ce rôle en faisant de la préférence une variable de commande au runtime. Le Go2 d'Unitree est devenu la plateforme de référence de la recherche académique en locomotion par RL, ce qui facilite la comparaison et la reproduction, et l'ouverture du code va dans ce sens. La suite logique serait de tester l'approche sur d'autres morphologies, sur terrains difficiles, et de l'articuler avec des interfaces de commande de plus haut niveau, par exemple des modèles vision-langage-action ou des opérateurs humains traduisant une intention en préférence. Aucun pilote industriel ni calendrier n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Robot quadrupède : apprentissage par renforcement de bout en bout pour monter et descendre des escaliers en intervention incendie intérieure

Des chercheurs ont développé une approche d'apprentissage par renforcement profond en deux étapes pour entraîner des robots quadrupèdes Unitree Go2 à monter et descendre des escaliers de manière autonome, dans le cadre de recherches en intérieur lors d'incendies. L'étude, publiée sur arXiv (2602.03087v2, version révisée), s'appuie entièrement sur le moteur de simulation Isaac Lab de NVIDIA. Dans une première phase, les robots sont entraînés sur un terrain abstrait en forme de pyramide d'escaliers. Dans une seconde phase, la politique apprise est transférée vers des configurations d'escaliers réalistes et variées, droits, en L et en spirale, représentatives des bâtiments réels. Le système repose sur une perception locale par carte de hauteur et une formulation de navigation basée sur une ligne centrale, qui unifie l'apprentissage de la navigation et de la locomotion sans recourir à une planification hiérarchique séparée. L'enjeu pratique est direct: lors d'une recherche primaire en intérieur après un départ de feu, un robot doit balayer rapidement des zones dangereuses, repérer des victimes potentielles et surveiller des matériaux inflammables, souvent en empruntant des cages d'escalier de formes différentes selon les bâtiments. La difficulté classique pour les quadrupèdes n'est pas seulement de gravir des marches, mais de généraliser ce savoir-faire à des topologies d'escaliers jamais vues, sans replanification lourde à chaque changement de géométrie. En démontrant qu'une politique unique, entraînée d'abord sur un terrain simplifié puis affinée sur des cas réalistes, généralise à des formes variées à partir de perception locale seulement, les auteurs apportent un élément de preuve en faveur des architectures de bout en bout face aux pipelines de navigation classiques, plus modulaires mais plus coûteux à adapter. Le travail reste cependant limité à la simulation: aucun transfert vers un robot physique n'est rapporté dans cette version, ce qui laisse ouverte la question du sim-to-real. Le Go2 d'Unitree, plateforme quadrupède abordable largement utilisée dans la recherche académique, sert ici de base matérielle de référence, dans un secteur où Boston Dynamics (Spot) et ANYbotics occupent le segment industriel haut de gamme. Isaac Lab, environnement de simulation robotique de NVIDIA basé sur Isaac Sim, s'impose comme plateforme standard pour ce type d'entraînement RL à grande échelle. Les auteurs présentent aussi une analyse empirique des taux de réussite, de l'efficacité et des modes d'échec à mesure que la difficulté des escaliers augmente, un exercice de transparence utile pour situer les limites actuelles de la méthode avant d'envisager des essais sur robot réel.

RecherchePaper

1 source

4arXiv cs.RO

WARL : apprentissage par renforcement augmenté par la clé pour l'apprentissage indépendant de la tâche chez les robots à pattes

Il s'agit d'un article de recherche (arXiv), sans annonce commerciale ni acteur industriel identifié. Voici le résumé en trois paragraphes autonomes : Une équipe de recherche présente WARL (Wrench-Augmented Reinforcement Learning), une méthode d'apprentissage par renforcement pour robots à pattes qui ajoute un wrench, c'est-à-dire une force et un couple, à l'espace d'action habituellement limité aux seules commandes articulaires. L'idée centrale consiste à combiner une exploration guidée par ce wrench avec un mécanisme de curriculum basé sur le taux de réussite, afin d'élargir les capacités d'exploration en début d'entraînement, tout en visant à terme des comportements pilotés uniquement par le contrôle articulaire classique. Les expériences ont été menées sur un robot quadrupède, testé sur des terrains variés et plusieurs tâches motrices, sans ajustement de récompense spécifique à chaque terrain ni conception de curriculum complexe. Une étude d'ablation a confirmé l'efficacité du "Switching Curriculum", le mécanisme qui élimine progressivement le wrench au fil de l'apprentissage. Pour le secteur de la robotique à pattes, ce travail s'attaque à un goulot d'étranglement connu de l'apprentissage par renforcement : la difficulté d'explorer efficacement quand l'espace d'action se limite aux articulations, ce qui oblige souvent les équipes à multiplier les réglages de récompense terrain par terrain. En démontrant qu'un espace d'action augmenté par un wrench permet un apprentissage robuste sans cette ingénierie manuelle, WARL propose une piste pour réduire le temps de développement des politiques de locomotion. Mais l'étude apporte aussi un bémol important pour les praticiens : l'introduction du wrench peut favoriser des comportements qui n'exploitent pas pleinement les capacités physiques réelles du robot, un compromis entre facilité d'entraînement et fidélité à l'embodiment mécanique. Ce travail s'inscrit dans la lignée des recherches en RL pour la locomotion des quadrupèdes, où le compromis entre efficacité de l'exploration et réalisme physique reste un défi ouvert. Les auteurs positionnent explicitement leur contribution comme une amélioration de l'efficacité d'apprentissage plutôt qu'une solution définitive, et identifient comme prochaine étape critique la conception d'un espace d'action augmenté qui reste cohérent avec la structure physique du robot. Aucune date de publication de code, aucun partenaire industriel ni déploiement réel n'est mentionné à ce stade : il s'agit d'une contribution méthodologique en amont, destinée à la communauté recherche en robotique et apprentissage par renforcement.

RecherchePaper

1 source