RecherchearXiv cs.RO 4 août 2026

Robot quadrupède aveugle : Open-DiffLoco, apprentissage différentiable open source pour la locomotion déployable

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un preprint publié le 2 août 2026 sur arXiv (arXiv:2608.02069) présente Open-DiffLoco, un framework open source pour entraîner des politiques de locomotion quadrupède "aveugle" (sans caméra, uniquement proprioceptive) via simulation différentiable. Le système implémente l'algorithme SHAC (Short-Horizon Actor-Critic) dans MuJoCo XLA (MJX) et a été testé sur un robot Unitree Go2. La politique déployée se passe d'observations privilégiées comme la vitesse linéaire du corps et ne repose sur aucune trajectoire de référence, avec une fonction de récompense fortement simplifiée par rapport aux pipelines RL classiques. Sur le robot physique, elle suit des commandes de vitesse omnidirectionnelles avec une erreur quadratique moyenne inférieure à 0,2 m/s, atteint des vitesses supérieures à 1 m/s, et résiste aux terrains irréguliers ainsi qu'aux poussées latérales externes. L'entraînement consomme moins de 6 Go de VRAM sur une seule GPU RTX 5080 et se termine en 20 à 60 minutes. Les auteurs introduisent aussi JAVE (Jacobian-Augmented Value Estimation), une extension qui supervise les jacobiennes du critique pour améliorer l'apprentissage du gradient de politique en début d'entraînement. Code et vidéos sont disponibles sur diffloco.martin-opat.com.

L'apport principal n'est pas la performance brute mais l'accessibilité. La simulation différentiable promettait depuis plusieurs années des gains d'efficacité face au RL classique, mais aucun outil open source ne permettait jusqu'ici un transfert simulation-vers-réel complet et reproductible. En abaissant le coût de calcul à moins d'une heure sur du matériel grand public, Open-DiffLoco réduit la barrière d'entrée pour les labos académiques et petites équipes sans accès aux clusters des grands groupes. Supprimer les observations privilégiées et les trajectoires de référence répond aussi au problème classique du "reality gap": une politique entraînée sans ces béquilles simulées généralise statistiquement mieux sur le terrain réel. C'est une contribution méthodologique, pas un produit commercial, mais elle valide l'idée que la simulation différentiable peut remplacer une part de l'ingénierie de récompense complexe encore dominante dans le secteur.

Le travail s'appuie sur SHAC, algorithme acteur-critique à horizon court développé initialement chez Nvidia, adapté ici à MuJoCo XLA, moteur de simulation différentiable de Google DeepMind optimisé pour le calcul vectorisé sur GPU. Le choix du Unitree Go2, plateforme quadrupède peu coûteuse largement adoptée en recherche académique face aux robots industriels type Boston Dynamics, traduit une volonté de reproductibilité par des équipes aux moyens limités. Les auteurs, autour de Martin Opat, revendiquent la première implémentation open source complète pour la locomotion déployable via simulation différentiable. La suite logique pointe vers des morphologies plus complexes, notamment humanoïdes, et vers l'ajout de perception visuelle au-delà de la seule proprioception testée ici.

Impact France/UE

Aucun acteur francais ou europeen n'est implique dans cette publication, mais l'outil open source et peu couteux en calcul pourrait beneficier aux laboratoires de robotique europeens aux moyens limites.

Dans nos dossiers

Boston Dynamics Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage de contrôleurs de locomotion perceptifs et adaptatifs pour robots quadrupèdes

Une équipe de chercheurs a publié le 25 juin 2026 sur arXiv (2606.25179) une étude portant sur la conception de contrôleurs de locomotion universels pour robots quadrupèdes, capables de s'adapter à plusieurs morphologies de robots différents tout en intégrant de la perception en temps réel. Les auteurs s'appuient sur le cadre MorAL (Morphology-Aware Locomotion), qu'ils étendent en comparant trois architectures : un contrôleur aveugle (baseline sans perception), MorAL+ (perception intégrée uniquement dans le critique du réseau, pas dans l'acteur), et PPAL (acteur-critique entièrement perceptif). Les politiques ont été évaluées en simulation sur terrains plats et accidentés, puis déployées sur du matériel réel via le robot ANYmal d'ANYbotics. Résultat principal : MorAL+ surpasse les deux autres configurations en robustesse et en cohérence de suivi de trajectoire, notamment parce qu'un acteur entièrement perceptif se révèle sensible au bruit de capteur, tandis qu'un acteur aveugle manque de conscience du terrain. Ce résultat va à contre-courant d'une intuition répandue dans la communauté robotique : intégrer plus de perception n'est pas toujours meilleur. Le fait que la perception placée uniquement dans le critique (et non dans l'acteur) améliore la robustesse sans fragiliser la politique face au bruit de capteur est une contribution architecturale concrète. Pour les intégrateurs industriels qui déploient des quadrupèdes en environnements non structurés (entrepôts, sites industriels, inspection d'infrastructures), cette distinction a des implications directes sur la conception des pipelines de contrôle. Elle indique aussi que le problème du sim-to-real pour la locomotion quadrupède n'est pas uniquement une question de quantité de données perceptives, mais de leur positionnement dans l'architecture d'apprentissage par renforcement. ANYmal, développé par ANYbotics (spin-off de l'ETH Zurich), est l'un des robots quadrupèdes les plus utilisés en recherche académique et en déploiements industriels pilotes, aux côtés de Spot de Boston Dynamics et des modèles Unitree (Go2, B2) qui dominent le segment prix bas. Le cadre MorAL, sur lequel s'appuie ce travail, visait déjà à entraîner des politiques transférables entre morphologies de robots différents, un problème ouvert dans la course à la généralisation inter-robots (cross-embodiment). Ce papier reste pour l'instant un preprint académique sans déploiement industriel annoncé ; les suites naturelles seraient une validation sur un ensemble plus large de morphologies quadrupèdes et des tests en conditions réelles prolongées, en dehors du cadre contrôlé d'un labo.

UEANYbotics étant un spin-off suisse de l'ETH Zurich, les conclusions architecturales sur MorAL+ intéressent directement les intégrateurs européens qui déploient des quadrupèdes en inspection industrielle ou en environnements non structurés.

RecherchePaper

1 source

2arXiv cs.RO

Vers un apprentissage par renforcement piloté par couple pour la locomotion quadrupède

Des chercheurs publient sur arXiv (référence 2607.18365v1) un nouveau cadre d'apprentissage par renforcement (RL) piloté par le couple moteur, plutôt que par la position, pour la locomotion de robots quadrupèdes. Contrairement aux approches RL classiques qui commandent les articulations en position et nécessitent une estimation d'état complexe (notamment la vitesse linéaire de l'engin), ce framework agit directement sur le couple et permet à un robot de suivre une vitesse cible sans connaître sa propre vitesse en temps réel. L'équipe a testé son approche en simulation sur Nvidia Isaac Sim et Isaac Lab, en utilisant le quadrupède Unitree B1, une plateforme lourde et à fort couple par rapport aux petits robots légers habituellement employés dans ce type de recherche. Résultat : le robot simulé atteint 3,5 m/s en vitesse linéaire et 1,5 rad/s en rotation, et parvient à monter et descendre des escaliers sans capteur extéroceptif (caméra ou lidar), en s'appuyant uniquement sur sa perception proprioceptive. L'enjeu dépasse la simple performance chiffrée : la plupart des frameworks RL actuels butent sur des robots légers, limités dès qu'il s'agit de tâches à forte exigence mécanique (charge utile, franchissement d'obstacles robustes). En démontrant qu'un contrôle par couple peut fonctionner sur une plateforme lourde et à haut couple sans état de vitesse explicite, ce travail ouvre la voie à des quadrupèdes RL capables d'opérations industrielles plus exigeantes, un axe clé pour les intégrateurs qui cherchent à sortir la locomotion apprise des laboratoires vers des usages réels (inspection, logistique en terrain difficile). Il faut toutefois noter que ces résultats restent purement issus de la simulation, sans validation sur robot physique à ce stade, ce qui laisse ouverte la question classique du transfert sim-to-real. Le choix du Unitree B1, une plateforme commerciale déjà répandue dans la recherche en robotique mobile, suggère une intention de test réel à venir, mais aucun calendrier n'est communiqué dans l'article.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage par renforcement neuromorphique pour la locomotion de robots quadrupèdes sur terrain accidenté

Une équipe de chercheurs a publié mi-mai 2026 sur arXiv (réf. 2605.09595) un framework d'apprentissage par renforcement basé sur l'équilibrium propagation (EP) pour contrôler la locomotion d'un quadrupède Unitree A1 à 12 degrés de liberté sur terrain accidenté. Plutôt que la rétropropagation classique, ils substituent les gradients globaux par des règles d'apprentissage locales pilotées par les états neuronaux, compatibles avec les substrats neuromorphiques et de calcul en mémoire. Le contrôleur combine un générateur de motif central (CPG) bio-inspiré avec une politique d'ajustement postural résiduel, entraîné via une variante PPO (Proximal Policy Optimization) adaptée à l'EP avec un mécanisme de clipping bilatéral du ratio pour stabiliser les mises à jour lors de la relaxation. Les résultats montrent des performances comparables à une baseline PPO classique en taux de succès, suivi de vitesse, consommation des actionneurs et stabilité corporelle, tout en réduisant la mémoire GPU de 4,3× par rapport à la rétropropagation à travers le temps (BPTT). L'ensemble des expériences reste en simulation, aucun déploiement terrain n'est documenté dans la publication. L'enjeu structurel est clair : les politiques de locomotion RL actuelles sont entraînées hors-ligne en simulation massivement parallèle, puis figées au déploiement. Elles ne s'adaptent pas à l'usure des actionneurs, aux variations de charge utile, ou au drift mécanique sur robot réel, limites critiques pour une industrialisation. En remplaçant la rétropropagation par un apprentissage local compatible avec des puces neuromorphiques (type Intel Loihi), cette approche ouvre la voie à une adaptation continue on-robot à faible consommation, sans dépendance à un GPU externe. Le gain de 4,3× en mémoire est déjà tangible pour les équipes embarquées, même si la validation reste entièrement simulée. Ces travaux s'inscrivent dans l'intense activité autour de la locomotion quadrupède par RL, dominée par l'ETH Zurich sur ANYmal et les robots Unitree. L'équilibrium propagation, formalisé par Scellier et Bengio en 2017, reste peu exploré pour le contrôle continu haute dimension, c'est l'une des premières démonstrations sur un robot à 12 DOF. Les approches concurrentes pour l'adaptation en ligne incluent RMA (Rapid Motor Adaptation, UC Berkeley) et les politiques méta-adaptatives de type MAML. L'étape suivante critique serait de valider sur hardware réel avec une puce neuromorphique embarquée et de mesurer la consommation effective en watts, deux points absents de la publication actuelle.

RecherchePaper

1 source

4arXiv cs.RO

E2DRL : apprentissage par renforcement différentiable de bout en bout pour l'évitement d'obstacles 3D chez les robots quadrupèdes

E2DRL est un cadre d'apprentissage par renforcement différentiable de bout en bout, présenté sur arXiv (2610.19627v1), qui permet à un robot quadrupède d'éviter des obstacles 3D à partir de la vision seule. Les auteurs l'ont validé en conditions réelles sur un Unitree Go2, dans des environnements statiques et dynamiques. Le système repose sur un enseignant privilégié, entraîné avec Soft Analytic Policy Optimization (SAPO) dans un simulateur différentiable. Cet enseignant est distillé par DAgger vers un étudiant récurrent qui exploite des images de profondeur. L'étudiant est ensuite fusionné avec une politique de locomotion de base par un module de gating sensible au terrain. En simulation, E2DRL est plus efficace en échantillons que PPO. Il offre aussi un meilleur suivi de vitesse et une meilleure capacité d'évitement 3D que PPO et qu'un NMPC à DCBF par dualité. Le résumé ne fournit aucun chiffre sur ces écarts, ni sur les taux de réussite ou les temps de cycle. L'enjeu est technique mais concret. Le RL différentiable exploite les gradients du simulateur pour apprendre plus vite que le RL classique, mais il restait cantonné à la marche aveugle ou à des tâches 2D simulées. Les contraintes de collision dures et l'arrêt anticipé de l'épisode au contact corrompent les gradients de premier ordre et enferment l'optimiseur dans des minima locaux. Les auteurs contournent ce blocage avec une formulation « molle » : des pénalités de pénétration sur plusieurs points clés du corps, combinées à un façonnage par stop-gradient conditionné à la vitesse. Si ces résultats se confirment, la méthode réduit le coût d'entraînement des politiques de perception-locomotion, un poste lourd pour les intégrateurs de robots à pattes en inspection ou en logistique. Elle propose aussi une alternative apprise aux contrôleurs prédictifs, plus coûteux à calibrer. La validation se limite toutefois à un Go2, une plateforme de recherche peu chère, dans des scénarios probablement contrôlés. Rien n'indique une robustesse en environnement industriel non structuré. Ce travail prolonge deux courants. Le premier est le RL massivement parallèle avec PPO, devenu la référence pour la locomotion à pattes. Le second est l'essor des simulateurs différentiables, dont les méthodes analytiques de type SAPO sont des variantes récentes. Les approches d'évitement d'obstacles par optimisation, comme le NMPC avec barrières de contrôle (DCBF), servent ici de base de comparaison. Aucune suite commerciale n'est annoncée, car il s'agit d'un préprint non évalué par des pairs. Les prochaines étapes naturelles seraient des tests sur d'autres morphologies, des obstacles dynamiques plus rapides et des terrains plus variés. Un code ouvert permettrait aussi de vérifier les gains annoncés.

RecherchePaper

1 source