RecherchearXiv cs.RO 28 juillet 2026

CReF : fusion croisée et récurrente pour la locomotion humanoïde conditionnée par la profondeur

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Cette avancée en recherche fournit une méthode de bout en bout pour permettre à un robot humanoïde de marcher sur des terrains complexes en utilisant seulement une caméra de profondeur, sans passer par une carte 3D intermédiaire du terrain. Baptisée CReF (Cross-modal and Recurrent Fusion), l'approche fusionne directement les données de profondeur brutes captées à l'avant du robot avec les signaux de proprioception (l'état interne des articulations et du corps), via un mécanisme d'attention croisée piloté par la proprioception. Cette fusion passe ensuite par un bloc résiduel à porte, puis par une unité récurrente GRU dotée d'une porte de sortie de type "highway", qui pondère dynamiquement la contribution des informations récurrentes et instantanées selon le contexte. Les chercheurs ajoutent une récompense d'appui au sol qui identifie, à partir de nuages de points sous les pieds, les zones porteuses les plus proches et incite le robot à y poser le pied. Testée en simulation puis sur un humanoïde physique, la méthode montre un transfert zero-shot réussi vers des environnements réels variés : mains courantes, palettes ajourées, surfaces fortement réfléchissantes et terrains extérieurs encombrés visuellement.

L'intérêt pour l'industrie tient à la simplification radicale du pipeline perception-vers-contrôle. Les méthodes précédentes s'appuyaient souvent sur des représentations de terrain 2.5D centrées sur le robot ou sur des objectifs géométriques auxiliaires pendant l'apprentissage, ce qui imposait des étapes de construction de carte ou des transferts de compétences en plusieurs stades. En évitant ces intermédiaires géométriques explicites, CReF réduit la latence et la complexité d'intégration, un enjeu direct pour les intégrateurs qui cherchent à déployer des humanoïdes en environnement logistique ou industriel réel plutôt qu'en démonstration contrôlée. Le succès du transfert zero-shot sur des surfaces réfléchissantes et des structures ajourées, deux cas connus pour perturber les capteurs de profondeur, est une preuve empirique concrète que l'apprentissage bout-en-bout depth-vers-contrôle peut tenir la route hors laboratoire, un point encore débattu dans le secteur.

Ce travail s'inscrit dans la lignée des recherches sur la locomotion perceptive des humanoïdes, où la tension entre robustesse et simplicité d'architecture reste un problème ouvert, à côté des approches concurrentes utilisant des cartes d'élévation ou des skills pré-entraînés séparément. L'article, disponible sur arXiv, en est à sa troisième version révisée, signe d'itérations après retours de relecture. Les auteurs ne précisent pas de plateforme commerciale ni de partenaire industriel associé à ces travaux, qui relèvent pour l'instant de la recherche académique plutôt que d'un produit déployé ; la prochaine étape naturelle serait une validation sur davantage de plateformes humanoïdes et en conditions de production prolongées.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

DPL : locomotion humanoïde perceptive par profondeur seule, via synthèse de profondeur réaliste et reconstruction du terrain par attention croisée

Une équipe de recherche en robotique publie sur arXiv (identifiant 2510.07152, version 3, une révision d'un article déjà soumis) un nouveau cadre baptisé DPL, pour Depth-only Perceptive Locomotion, destiné à la marche adaptative des robots humanoïdes sur terrain accidenté. Le constat de départ : la perception de terrain pour humanoïdes reste coincée entre deux approches limitées. L'apprentissage de bout en bout à partir d'images de profondeur souffre d'une efficacité d'entraînement faible et d'un écart important entre simulation et réel. Les méthodes fondées sur des cartes d'élévation, elles, exigent plusieurs capteurs visuels et un système de localisation, ce qui ajoute de la latence et fragilise la robustesse. DPL combine trois briques : une politique de marche guidée par une perception pré-entraînée à base de carte d'élévation mais fonctionnant avec un minimum d'entrée visuelle réelle (architecture dite "blind backbone"), un transformeur à attention croisée multimodale qui reconstruit une représentation structurée du terrain à partir d'images de profondeur bruitées, et une méthode de synthèse d'images de profondeur réalistes, combinant lancer de rayons sensible à l'auto-occlusion et modélisation du bruit, qui réduit de plus de 30 % l'erreur de reconstruction du terrain. Le tout a été validé sur un robot humanoïde grandeur nature, avec une locomotion agile sur des terrains variés et complexes. L'enjeu pratique est clair pour les intégrateurs et les fabricants de robots humanoïdes déployés en usine ou en environnement extérieur : les systèmes multi-capteurs avec cartographie d'élévation restent coûteux et sensibles aux dérives de localisation, tandis qu'une simple caméra de profondeur est bien moins chère mais historiquement peu fiable en conditions réelles. Si l'écart sim-to-real annoncé est effectivement comblé, cela ouvrirait la voie à des humanoïdes moins instrumentés, donc moins chers à produire et à maintenir, sans sacrifier la capacité à franchir marches, gravats ou sols irréguliers, un point critique pour toute la course actuelle à la commercialisation des humanoïdes. Le papier s'inscrit dans un champ de recherche académique actif où plusieurs laboratoires explorent des alternatives à la cartographie d'élévation classique pour réduire la dépendance au matériel. Comme pour beaucoup de publications arXiv de ce type, aucun partenaire industriel ni date de déploiement commercial n'est mentionné : il s'agit d'une preuve de concept en robot réel, sans indication de suite annoncée par les auteurs.

RecherchePaper

1 source

2arXiv cs.RO

La fluidité comme contrainte pour une locomotion humanoïde stable

Un article de recherche publié sur arXiv (2609.24552) présente DeCap, un algorithme d'apprentissage par renforcement sous contraintes pour le contrôle corps entier des robots humanoïdes. Le constat de départ : le bas du corps doit rester réactif pour l'équilibre, tandis que le haut du corps doit être fortement régulé pour la stabilité, une distinction que les méthodes RL classiques ignorent en imposant la fluidité via des récompenses auxiliaires uniformes, qui entrent en concurrence avec les objectifs de tâche. DeCap découple les contraintes en deux groupes, haut et bas du corps, formulées comme des limites physiques explicites de vitesse et d'accélération, complétées par une pénalité barrière qui s'active dès l'approche de ces limites sans diverger. Sur une tâche réelle de contrôle corps entier, il réduit le taux de variation des actions du haut du corps d'un facteur 2,50 et l'accélération d'un facteur 2,18 par rapport aux politiques basées récompense, tout en améliorant aussi la fluidité du bas du corps. Ce résultat s'attaque à un compromis concret pour l'industrie : un haut du corps trop rigide limite la dextérité utile, un haut du corps mal amorti compromet l'équilibre et use l'actionnement, un frein réel au déploiement en usine ou en entrepôt où sécurité et répétabilité priment. Le tuning manuel des récompenses selon le terrain ou la tâche est un goulot d'étranglement connu du RL appliqué à la locomotion humanoïde ; qu'un même jeu de contraintes se transfère sans retuning à des terrains variés, si confirmé au-delà des conditions testées, réduirait le coût d'ingénierie pour les intégrateurs. L'approche questionne aussi la pratique dominante du reward shaping en RL, en montrant qu'une contrainte physique explicite offre un contrôle plus direct et prévisible que des pénalités négociées. Le travail s'inscrit dans le champ du RL sous contraintes, une alternative au RL par récompense pure qui gagne du terrain à mesure que les humanoïdes passent des démonstrations en laboratoire à des essais en conditions réelles, où la marge d'erreur mécanique est faible. Il agit à un niveau différent de celui des modèles vision-langage-action qui pilotent la planification haut niveau des humanoïdes : DeCap se concentre sur la couche bas niveau de génération de mouvement. Classé comme nouvelle publication sur arXiv, l'article ne précise ni le robot ni le laboratoire à l'origine des essais réels et n'annonce aucun calendrier de déploiement : il s'agit à ce stade d'une contribution de recherche méthodologique, validée expérimentalement mais non commercialisée.

RecherchePaper

1 source

3arXiv cs.RO

Locomotion humanoïde grâce à un contrôleur récurrent inspiré de la mouche

Une étude arXiv publiée sous la référence 2609.27001v1 ("Humanoid Locomotion with a Fly-Inspired Recurrent Controller") détaille un contrôleur récurrent inspiré du circuit neuronal de la mouche, testé exclusivement en simulation sur un robot humanoïde Unitree G1. Le système relie 3 609 états neuronaux continus au corps du robot via des projections d'observation corporelle, une couche de lecture étiquetée par neurones moteurs, et les servomoteurs articulaires. Un unique checkpoint figé a été évalué sur 7 types de terrain, 3 vitesses et 3 décalages de lacet initiaux, soit 63 configurations : le contrôleur réussit 61 d'entre elles selon un critère de survie et de progression vers l'avant, contre 62/63 pour une référence dite "privilégiée" disposant d'informations supplémentaires. Une expérience clé révèle la dépendance du système à sa mémoire interne : réinitialiser l'état moteur récurrent avant chaque appel de la politique, à lacet nominal, fait chuter le taux de réussite de 19/21 à 0/21. À l'inverse, substituer la perception de profondeur et les états en amont sur 252 états enregistrés ne modifie pas les actions produites, avec une sortie descendante nulle mesurée sur l'ensemble des trajectoires intactes. Ce résultat intéresse la robotique humanoïde à un moment où l'industrie mise majoritairement sur des modèles vision-langage-action de type Pi-0, GR00T N2 ou Helix, entraînés sur de vastes corpus de démonstrations. L'approche testée ici emprunt une voie différente : un contrôleur récurrent de taille modeste, structuré d'après une architecture neuronale biologique plutôt qu'un transformeur massif, dont la robustesse tient à un état moteur porté dans le temps plutôt qu'à une réactivité purement sensorielle. Pour les intégrateurs et chercheurs, l'enseignement principal est méthodologique : démontrer que retirer la mémoire récurrente fait s'effondrer la marche (0/21) alors que perturber les entrées sensorielles ne change rien aux actions isole précisément quelle partie du circuit porte le comportement. Le travail reste néanmoins cantonné à la simulation, sans validation sur robot physique, sur un jeu de terrains limité, ce qui borne la portée de ses conclusions à ce stade de recherche. La démarche s'inscrit dans un courant qui s'appuie sur la connectomique, la cartographie détaillée des circuits neuronaux d'insectes comme la drosophile, pour concevoir des architectures de contrôle alternatives aux réseaux appris de bout en bout. Contrairement aux humanoïdes commerciaux tels Figure 03 ou Optimus Gen 3, dont les annonces mettent en avant cycles de production et déploiements en usine, cette étude ne vise pas un produit mais la compréhension des mécanismes internes d'un contrôleur, avec un Unitree G1 simulé comme plateforme d'essai standard en recherche académique. Les auteurs présentent leurs résultats comme une base pour de futures comparaisons de structures de circuits et de ressources de contrôle, sans annoncer de calendrier de transfert vers du matériel réel ni de partenariat industriel. Aucun acteur français ou européen n'apparaît dans cette publication.

RecherchePaper

1 source

4arXiv cs.RO

T-GMP : des modèles de mouvement génératifs conditionnés par le terrain pour une locomotion humanoïde naturelle et polyvalente

Des chercheurs ont mis en ligne une version révisée sur arXiv (arXiv:2606.06944v2) d'un article présentant T-GMP (Terrain-conditioned Generative Motion Priors), un module destiné à améliorer la marche des robots humanoïdes sur des terrains variés. Contrairement aux méthodes classiques d'apprentissage par renforcement, qui s'appuient sur des priors de mouvement figés, T-GMP apprend une variété latente de mouvements conditionnée par le terrain à partir d'un petit nombre de démonstrations expert associant états du robot et type de sol. Ce module permet des transitions de style fluides entre modes de marche, ce qui autorise une politique de contrôle unique capable de s'adapter aux variations de terrain plutôt que de nécessiter des politiques séparées. T-GMP est intégré dans un pipeline d'apprentissage adversarial : un discriminateur module dynamiquement les contraintes de naturel du mouvement selon les caractéristiques locales du sol, guidant la génération vers des trajectoires à la fois variées et proches du mouvement humain. Les auteurs ajoutent une pénalité de pose du pied (Foothold Penalty) pour favoriser des appuis sûrs sur terrains difficiles. Les expériences montrent que T-GMP surpasse les méthodes de référence sur trois critères : naturel du mouvement, diversité des mouvements et taux de réussite de la traversée, tout en conservant une coordination physique cohérente du corps. L'enjeu soulevé est un compromis récurrent en locomotion humanoïde : les politiques entraînées par imitation adversariale produisent des mouvements naturels mais figés sur un style unique, alors que diversifier le comportement dégrade en général le réalisme du geste. En conditionnant explicitement les priors sur le terrain plutôt que sur un style fixe, T-GMP vise à lever ce compromis, une seule politique restant capable de traverser des sols hétérogènes sans changer de réseau ni perdre en naturel. Pour les équipes qui développent des humanoïdes destinés à sortir des sols plats d'usine ou de laboratoire, entrepôts, chantiers, extérieurs, cette robustesse du déplacement touche directement l'un des principaux freins actuels à la commercialisation des humanoïdes généralistes. L'approche s'inscrit dans la tendance à rapprocher imitation de mouvement et généralisation par renforcement, plutôt qu'à multiplier des contrôleurs spécialisés par type de terrain. T-GMP prolonge la lignée des méthodes d'apprentissage de mouvement adversarial (proches des Adversarial Motion Priors désormais courantes en recherche sur la locomotion humanoïde), en y ajoutant un conditionnement terrain absent des approches à style fixe. Le document est une version révisée (v2) d'un preprint, sans mention de partenaire industriel, de plateforme robotique nommée ni de déploiement sur matériel réel : les résultats rapportés relèvent donc de benchmarks en simulation face à des méthodes concurrentes, pas d'une validation sur robot physique en conditions réelles. Aucun calendrier de transfert vers du matériel ni d'intégration à une plateforme humanoïde commerciale n'est communiqué, ce qui situe T-GMP au stade de la recherche méthodologique plutôt que du produit prêt à déployer.

RecherchePaper

1 source