Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
PACE : augmentation physique pour un apprentissage par renforcement coordonné de bout en bout, vers un tennis de table humanoïde polyvalent
RecherchearXiv cs.RO 

PACE : augmentation physique pour un apprentissage par renforcement coordonné de bout en bout, vers un tennis de table humanoïde polyvalent

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs du TRACE Lab de l'université Purdue ont publié PACE, un système d'apprentissage par renforcement qui traduit directement les positions de balle observées en commandes articulaires pour tout le corps, bras et jambes, au tennis de table humanoïde. Un prédicteur léger anticipe la trajectoire future de la balle, tandis qu'un second prédicteur physique fournit, à l'entraînement, des récompenses denses guidant l'exploration. En simulation, sur une plage variée de services, la politique atteint un taux de frappe réussie supérieur ou égal à 96% et un taux de succès supérieur ou égal à 92%. Déployé en zero-shot sur un robot Booster T1 à 23 articulations rotatives, le système produit un jeu de jambes coordonné avec des retours rapides et précis; le code est publié en open source en vue d'ICRA 2026.

Ce résultat s'attaque à l'un des écarts les plus tenaces de la robotique humanoïde, celui entre démonstration et réalité: le tennis de table exige perception rapide, locomotion proactive et coordination bras-jambes sous contrainte de timing serré, un registre longtemps hors de portée du contrôle bout-en-bout. Le transfert zero-shot, fonctionnel sans réentraînement spécifique, apporte une preuve concrète que l'approche sim-to-real peut tenir sur des tâches dynamiques rapides, pas seulement sur de la marche ou de la manipulation lente. Pour les équipes de recherche, cela valide l'usage de prédicteurs physiques comme mécanisme de récompense à l'entraînement, une piste transférable à d'autres sports de raquette ou tâches exigeant réactivité et coordination corps entier.

Ce travail s'inscrit dans une vague plus large de recherche sur les humanoïdes sportifs, alimentée par des démonstrations de course ou de manipulation dynamique chez Boston Dynamics, Unitree ou Figure, mais rarement documentée avec un tel niveau de détail méthodologique et de code ouvert. Le choix du Booster T1, plateforme chinoise de Booster Robotics, confirme sa place croissante dans la recherche académique en RL humanoïde, aux côtés des Unitree G1 et H1 plus répandus dans les laboratoires occidentaux. Les prochaines étapes attendues, en vue d'ICRA 2026, incluent des échanges plus longs et compétitifs, au-delà du simple retour de service, et des tests face à des adversaires humains réels.

Dans nos dossiers

Boston DynamicsUnitreeICRA / IROS / CoRL

À lire aussi

Apprentissage par renforcement résiduel guidé par la physique pour la traversée de chemins étroits par humanoïdes
1arXiv cs.RO 

Apprentissage par renforcement résiduel guidé par la physique pour la traversée de chemins étroits par humanoïdes

Une équipe de recherche a publié une nouvelle version (v5) d'un article arXiv (2508.20661) décrivant une méthode d'apprentissage par renforcement en deux étapes pour la traversée de chemins étroits par des robots humanoïdes, terrain où les approches purement basées sur des templates physiques ou purement par renforcement échouent généralement. La première étape combine un planificateur d'appuis au sol issu d'un template physique avec un contrôleur bas niveau de suivi de trajectoire ; la seconde ajoute un module léger de correction des appuis assisté par perception, entraîné selon un curriculum progressif allant du sol plat aux chemins étroits. Testée sur un robot humanoïde Unitree G1, la méthode a permis de franchir sans échec, à 20 reprises consécutives, une poutre de 0,2 mètre de large et 3 mètres de long. Le résultat s'attaque à un problème concret pour l'industrie robotique : le placement précis des pieds sur des appuis rares et critiques pour la sécurité, comme des passerelles ou poutrelles de chantier, reste un point faible connu des humanoïdes malgré des démonstrations vidéo souvent flatteuses. En associant l'interprétabilité d'un planificateur physique classique à la capacité de généralisation du renforcement, les auteurs revendiquent un meilleur taux de réussite, une meilleure adhérence à la trajectoire centrale et de meilleures marges de sécurité que les approches purement template ou purement RL, avec un transfert simulateur-vers-réel facilité, obstacle récurrent pour le secteur. Pour les intégrateurs évaluant des humanoïdes sur chantiers ou sites industriels contraints, ces résultats restent une preuve de concept en laboratoire, limitée à une seule configuration de poutre testée 20 fois, loin d'une validation en déploiement réel. Ces travaux s'inscrivent dans un effort de recherche plus large visant à réduire l'écart entre les démonstrations soignées de locomotion humanoïde, qu'il s'agisse de Figure 03, d'Optimus chez Tesla ou des modèles Unitree, et une robustesse réellement transférable sur terrain contraint. Le choix du G1 d'Unitree, humanoïde compact et abordable très utilisé par les laboratoires académiques, confirme son rôle de plateforme de référence pour la recherche sur la locomotion, face à des systèmes plus coûteux comme l'Atlas de Boston Dynamics. Aucun acteur français ou européen n'intervient dans cette publication, qui reste à ce stade une contribution académique en preprint sur arXiv, sans calendrier de transfert industriel ni partenariat commercial annoncé.

RecherchePaper
1 source
Robo-ValueRL : une estimation fiable de la valeur pour l'apprentissage par renforcement hors ligne vers en ligne
2arXiv cs.RO 

Robo-ValueRL : une estimation fiable de la valeur pour l'apprentissage par renforcement hors ligne vers en ligne

Des chercheurs publient Robo-ValueRL, un framework d'apprentissage par renforcement offline-to-online pour la manipulation robotique, décrit dans un article arXiv (2607.09866v1) diffusé cette semaine. Le système entraîne un estimateur de valeur conditionné par l'historique des actions, dont la fiabilité est mesurée via deux métriques, la progression globale et la préférence locale. Ces estimations de valeur alimentent ensuite deux étapes : un pré-entraînement de politique par cohérence conditionnée à la qualité des données, puis un module d'adaptation résiduelle appliqué lors des déploiements en ligne. Les expériences s'appuient sur un volume conséquent, 240 heures de démonstrations hors ligne et plus de 3 000 trajectoires de rollout en ligne. Sur deux tâches de précision, l'insertion de puces électroniques au millimètre près et le désassemblage générique de blocs, le système atteint respectivement 86% et 84% de taux de réussite. L'apport principal ne se situe pas dans un nouveau record de performance mais dans la démonstration d'un lien direct entre la fiabilité de la fonction de valeur et la qualité de la politique finale. Concrètement, un estimateur de valeur fiable permet de prioriser les données de meilleure qualité parmi un ensemble hétérogène de démonstrations, ce qui bat le clonage comportemental classique, indifférent à la qualité des données, et stabilise la phase d'amélioration en ligne. Pour les équipes qui construisent des pipelines de RL robotique à partir de données de téléopération ou de simulation de qualité inégale, ce résultat justifie d'investir dans le diagnostic de la fonction de valeur plutôt que de simplement augmenter le volume de données ou la taille des modèles de politique. Le travail s'inscrit dans la tendance actuelle du secteur à combiner pré-entraînement hors ligne sur de larges jeux de démonstrations et affinage en ligne par rollouts réels, une approche jugée prometteuse pour la manipulation robotique généralisable mais dont la complexité technique rend la reproduction et le diagnostic difficiles, un point que les auteurs soulignent explicitement comme motivation de leur étude. Robo-ValueRL se positionne comme un banc d'essai unifié plutôt qu'un produit fini, destiné à isoler l'effet de la fiabilité de l'estimation de valeur des autres composants du pipeline. L'article ne précise pas de suite industrielle ni de partenaire de déploiement identifié à ce stade, le travail restant à un niveau de recherche académique.

RecherchePaper
1 source
Cartographie de terrain à faible coût pour la locomotion humanoïde par apprentissage par renforcement : Loco-Loco-RL
3arXiv cs.RO 

Cartographie de terrain à faible coût pour la locomotion humanoïde par apprentissage par renforcement : Loco-Loco-RL

Un article de recherche publié sur arXiv (2609.19041v1) en septembre 2026, intitulé "Loco-Loco-RL: Low-Cost Terrain Mapping for Humanoid Locomotion with Reinforcement Learning", propose une méthode de perception de terrain low-cost pour la locomotion humanoïde. Plutôt que les caméras de profondeur ou LiDAR habituels, coûteux et gourmands en calcul, les auteurs utilisent un simple capteur time-of-flight bon marché pour construire une représentation 3D locale du terrain. Pour exploiter ce signal épars, ils introduisent une politique transformer temporelle à compression de tokens: les observations proprioceptives et de terrain sont tokenisées, traitées par un transformer à self-attention multi-tête, compressées via un module MLP en espace latent, puis stockées dans un historique glissant de 15 pas de temps qu'un second transformer à cross-attention exploite pour la politique de renforcement. La méthode a été validée par transfert sim-to-real sur un robot humanoïde physique, sur un benchmark de locomotion en terrain accidenté, avec une marche jugée robuste malgré la faible résolution du capteur. Aucun partenaire industriel ni déploiement commercial n'est mentionné: c'est un travail de recherche, pas une annonce produit, et aucune plateforme humanoïde n'est nommée. L'intérêt pour les intégrateurs reste néanmoins direct, car le coût et la consommation des capteurs de perception pèsent lourd dans le bill of materials des humanoïdes et freinent leur déploiement en volume. En montrant qu'un capteur ToF bon marché et basse résolution suffit à une locomotion robuste sur terrain accidenté grâce à une architecture transformer compressée, le travail apporte un contre-exemple concret à l'idée qu'une perception haute résolution est indispensable au franchissement d'obstacles, une piste pour réduire les coûts de production à l'échelle. L'approche s'inscrit dans une lignée de travaux en apprentissage par renforcement pour la locomotion de robots à pattes, où la perception extéroceptive du terrain reste coûteuse à traiter face à la simple proprioception. Elle se positionne face aux approches concurrentes misant sur des caméras de profondeur ou LiDAR embarqués, plus riches mais plus chers et plus lourds à calculer en temps réel. L'article ne précise ni le robot utilisé pour les essais ni de calendrier de déploiement industriel: à ce stade, c'est un preprint validant un principe en laboratoire, sans partenaire ni pilote annoncés. La suite logique, non détaillée par les auteurs, serait une extension à des terrains plus variés et une comparaison directe des coûts et performances face aux stacks LiDAR ou caméra de profondeur standards du secteur.

RecherchePaper
1 source
PRICE des segments d'actions : attribution de crédit physique et relationnelle pour l'apprentissage par renforcement incarné
4arXiv cs.RO 

PRICE des segments d'actions : attribution de crédit physique et relationnelle pour l'apprentissage par renforcement incarné

Des chercheurs proposent PRICE (Physical Relations for Inferring Credit from Episodes), une méthode d'apprentissage par renforcement (RL) pour post-entraîner des politiques vision-langage-action (VLA) à partir du seul signal de succès ou d'échec en fin d'épisode. Le problème visé est connu : le RL basé sur le résultat attribue le même avantage à tous les « action chunks » (blocs d'actions) d'une trajectoire. Un épisode raté pénalise donc des gestes initiaux pourtant utiles, comme s'ils avaient causé l'échec. PRICE s'appuie sur deux composants : un graphe relationnel physique, qui regroupe les résultats d'épisodes courants et passés aux frontières de chunks correspondantes pour estimer des « potentiels de succès », et une attribution de crédit filtrée par un seuil de confiance, qui utilise les variations de ces potentiels pour affiner la supervision au niveau de la trajectoire. Les tests couvrent les benchmarks LIBERO et RoboTwin 2.0, ainsi que des robots réels. Les auteurs annoncent un taux de réussite supérieur aux références basées sur le résultat et un apprentissage plus rapide. L'article ne fournit pas, dans son résumé, de chiffres précis ni de détail sur les robots ou les tâches réels. L'enjeu est pratique : le RL de post-entraînement des VLA se heurte à la rareté du signal. Les approches existantes de granularité fine passent par des évaluateurs appris (modèles de récompense, critiques), qui exigent une supervision propre à chaque tâche ou un entraînement supplémentaire. PRICE vise à s'en passer, en exploitant l'idée que des rollouts atteignant des situations physiques comparables peuvent se servir mutuellement de référence. Si ce principe tient hors des benchmarks, il réduirait le coût d'adaptation d'une politique à un nouveau poste de travail, un point sensible pour les intégrateurs qui doivent affiner un VLA sur site avec peu d'ingénierie de récompense. Les auteurs ajoutent une analyse reliant les changements de potentiel « oracle » à l'objectif de succès terminal, avec une borne directionnelle à échantillon fini, et des tests de continuation indépendants montrant que les crédits retenus correspondent bien à une progression locale. Reste une réserve : LIBERO et RoboTwin 2.0 sont des environnements simulés, et la validation réelle, dont l'ampleur n'est pas précisée ici, est le vrai test de la robustesse du graphe de correspondance face au bruit physique. Ce travail s'inscrit dans la course au post-entraînement des VLA par RL, après les premières familles de modèles généralistes (Pi-0, GR00T, Helix), où le fine-tuning supervisé atteint ses limites et où le RL devient le levier de fiabilité. Les auteurs revendiquent une première, à leur connaissance, pour l'attribution de crédit au niveau des chunks sans évaluateur auxiliaire, une affirmation non vérifiée indépendamment à ce stade. Il s'agit d'une prépublication arXiv, sans produit ni déploiement industriel annoncé. Les prochaines étapes à surveiller sont la réplication par d'autres laboratoires, l'application à de plus grands modèles VLA et la démonstration sur des tâches longues, où le problème d'attribution de crédit est le plus aigu.

RecherchePaper
1 source