Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Refonte de la trajectoire par apprentissage par renforcement : REFINE-DP affine le contrôle locomoteur-manipulateur des humanoïdes
IA physiquearXiv cs.RO 

Refonte de la trajectoire par apprentissage par renforcement : REFINE-DP affine le contrôle locomoteur-manipulateur des humanoïdes

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Traduction et synthèse de l'article demandée :

Des chercheurs présentent REFINE-DP, un framework qui combine une diffusion policy (DP) pour la planification de mouvement avec un contrôleur d'apprentissage par renforcement pour la loco-manipulation humanoïde. L'approche s'attaque à un problème connu : quand une DP est entraînée hors ligne par démonstrations puis déployée sur un robot, elle reste découplée du contrôleur de loco-manipulation, ce qui dégrade le suivi de commande et provoque un décalage de distribution qui s'accumule au fil des tâches. Plutôt que de multiplier les démonstrations, une stratégie prohibitivement coûteuse pour un système humanoïde à haute dimension, REFINE-DP affine simultanément le planificateur DP via un gradient de politique de diffusion basé sur PPO et le contrôleur RL, afin que ce dernier suive la distribution de commandes évolutive du planificateur. Testé sur des tâches de franchissement de porte et de transport d'objets sur de longs horizons, le système atteint plus de 90% de taux de réussite en simulation, y compris sur des cas hors distribution absents des données d'entraînement, et s'exécute en conditions réelles sans recourir à des informations d'état privilégiées.

Le résultat cible un point de friction bien identifié dans la robotique humanoïde actuelle : les diffusion policies apprises par imitation fonctionnent bien en démonstration mais se dégradent vite en déploiement réel, les erreurs de suivi de commande s'accumulant tâche après tâche. En couplant explicitement planification et contrôle plutôt qu'en les entraînant séparément, REFINE-DP s'attaque directement à l'écart démo/réalité que beaucoup de laboratoires contournent en multipliant les données de démonstration, une stratégie vite hors de prix à l'échelle d'un corps humanoïde complet. Pour les intégrateurs et équipes R&D qui évaluent des piles VLA ou DP pour la loco-manipulation, ce travail suggère qu'un affinage par renforcement ciblé peut améliorer la fiabilité sans multiplier le volume de téléopération nécessaire, un argument économique important tant que la collecte de démonstrations humanoïdes reste rare et coûteuse.

REFINE-DP s'inscrit dans une lignée de travaux cherchant à combiner apprentissage par imitation et apprentissage par renforcement pour la robotique humanoïde, un terrain déjà exploré par des approches vision-language-action comme Pi-0 ou GR00T N2, mais avec un accent particulier sur le couplage planificateur-contrôleur plutôt que sur l'échelle des données. Le papier, publié sur arXiv (identifiant 2603.13707, version de remplacement), reste à ce stade une validation en simulation et sur un seul robot humanoïde de laboratoire, sans nom de plateforme commerciale ni annonce de déploiement industriel. La suite logique pour ce type de travaux consiste généralement à étendre les tâches testées, valider sur plusieurs plateformes matérielles, et voir si des acteurs commerciaux du secteur, américains ou européens comme Wandercraft ou Enchanted Tools, intègrent ces techniques de fine-tuning par RL dans leurs propres piles de contrôle.

Dans nos dossiers

WandercraftEnchanted Tools — MirokaïNVIDIA GR00TarXiv cs.RO

À lire aussi

ROVE : l'apprentissage par renforcement pour débloquer les interventions humaines dans la manipulation par humanoïdes
1arXiv cs.RO 

ROVE : l'apprentissage par renforcement pour débloquer les interventions humaines dans la manipulation par humanoïdes

Une équipe de chercheurs a publié fin juin 2026 ROVE (Reinforcement learning for humanoid VLA post-training with imperfect human interventions), un framework de renforcement dédié à l'amélioration des modèles Vision-Language-Action (VLA) sur robots humanoïdes à partir d'interventions humaines imparfaites. Le principe : un opérateur prend la main sur le robot lors des phases d'échec, générant des trajectoires correctives qui servent ensuite à affiner le modèle. Le problème bien identifié par les auteurs est que ces interventions humaines sont souvent hésitantes, sous-optimales, voire erronées, ce qui rend l'imitation naïve contre-productive. ROVE introduit deux mécanismes centraux : un pipeline human-in-the-loop capable de collecter simultanément des données de déploiement autonome et d'intervention, et une méthode d'estimation de valeur dite "optimiste" (Optimistic Value Estimation, OVE) qui filtre les comportements à haute valeur depuis des trajectoires de qualité mixte. Le framework intègre également des vidéos d'expériences humaines cross-embodiment pour enrichir la supervision sur les modes de défaillance et de récupération rares. Sur des tâches réelles de manipulation à contact-riche et fine-grained, ROVE surpasse les baselines par apprentissage par expérience et s'améliore de manière consistante à chaque itération rollout-intervention. L'enjeu central ici est la scalabilité du déploiement humanoïde en conditions réelles. Les modèles VLA, Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, OpenVLA -- ont démontré des capacités de généralisation remarquables, mais leur post-training sur hardware humanoïde reste un goulot d'étranglement : la cinématique whole-body et le contrôle de mains dextères compliquent radicalement la collecte de données téléopérées de qualité. ROVE invalide l'hypothèse selon laquelle l'intervention humaine doit être experte pour être utile : OVE permet d'extraire un signal d'avantage informatif même depuis des démonstrations imparfaites, ce qui signifie qu'on peut utiliser des opérateurs non-spécialistes pour améliorer continûment le modèle en production. C'est un changement de paradigme potentiellement significatif pour les intégrateurs : la qualité du déploiement n'est plus bornée par la disponibilité d'experts en téléopération. Ce travail s'inscrit dans une vague de recherches sur le RLHF appliqué à la robotique physique, après les travaux pionniers sur l'imitation par intervention (HATO, HITL-TAMER) et les approches par feedback correctif. Les humanoïdes ciblés restent non précisés dans l'abstract (preprint arXiv, les détails hardware seront à vérifier dans le papier complet), mais les résultats sur tâches contact-rich suggèrent une applicabilité aux plateformes type Figure 03, Unitree H1/G1 ou Agility Digit. Le positionnement concurrentiel est clair : là où Physical Intelligence mise sur la qualité des données téléopérées en amont, ROVE parie sur la rectification en boucle fermée en aval. Les prochaines étapes probables incluent des tests à plus grande échelle et une évaluation sur plusieurs architectures VLA, mais en l'état de preprint, aucun déploiement commercial n'est annoncé.

IA physiqueOpinion
1 source
Scalabot HERON-CRA ajoute une mémoire contextuelle et un moteur d'apprentissage par renforcement pour le contrôle incarné
2Pandaily 

Scalabot HERON-CRA ajoute une mémoire contextuelle et un moteur d'apprentissage par renforcement pour le contrôle incarné

Songyan Dynamics, via sa marque d'intelligence incarnée Scalabot, a publié HERON-CRA (Context Reinforcement Action Model), second modèle de sa pile HERON après le HERON-World Model dévoilé une semaine plus tôt. Trois briques composent le système : un Context Expert qui encode l'historique multimodal en tokens spatio-temporels 4D pour conditionner la politique sur plus d'une minute de contexte passé, au-delà de la seule image courante ; un RL Engine, acteur-critique résiduel léger qui réutilise les clés et valeurs figées du Context Expert pour corriger les dérives de l'imitation pure ; et un pré-entraînement cross-embodiment mélangeant téléopération, simulation, données de type UMI et vidéos humaines à la première personne, sur des bras, des plateformes à roues, des pinces et des mains dextres. Sur une tâche de pliage de chaussette, Scalabot rapporte un taux de réussite passant de 38,5% avec une base purement imitative à 97,8% une fois le RL Engine activé. D'autres vidéos montrent une séquence longue de préparation de café (mouture, versement de lait) bouclée en moins de 30 secondes, un transfert de compétences entre un bras ARX et l'humanoïde à roues Noetix M1, ainsi qu'une reprise après déplacement d'une tasse en cours de préhension et la poursuite de certains mouvements lors d'occlusions visuelles brèves. Pour les intégrateurs et décideurs B2B de la robotique, l'annonce cible le point faible récurrent des modèles vision-langage-action : la manipulation à horizon long, où le clonage de comportement dérive dès que la tâche s'étire dans le temps ou que l'environnement varie légèrement. En combinant mémoire contextuelle et RL résiduel plutôt qu'imitation pure, Scalabot cherche à combler l'écart entre démonstration et déploiement réel, un écart que le secteur a souvent minimisé dans ses communications. Le saut de 38,5% à 97,8% de réussite, s'il se vérifie hors laboratoire, validerait cette hypothèse ; le transfert de compétences entre un bras fixe et un humanoïde à roues constitue par ailleurs un signal concret sur la portabilité inter-corps, enjeu clé pour amortir les coûts d'entraînement sur plusieurs plateformes matérielles. Ces chiffres restent néanmoins issus de communications de l'entreprise, appuyés sur des vidéos vraisemblablement sélectionnées et sans protocole indépendant publié ; des équipes tierces devront reproduire les résultats du pliage de chaussette et de la séquence café sur leur propre matériel avant de les tenir pour acquis. HERON-CRA s'inscrit dans une pile modulaire amorcée avec HERON-World Model, utilisé ici pour simuler des trajectoires imaginées sans risque matériel supplémentaire ; Context Expert et Action Expert sont entraînés comme un mélange de transformers, complété d'un modèle de valeur à contraintes de différence temporelle. Ce chantier place Scalabot, marque de Songyan Dynamics, dans la compétition mondiale des modèles fondation pour la robotique incarnée, aux côtés de Physical Intelligence (Pi-0), NVIDIA (GR00T N2), Figure AI (Helix) et des programmes humanoïdes type Optimus. Aucun acteur français ou européen n'apparaît dans cette annonce. La suite dépendra de la capacité de Scalabot à faire valider ces résultats par des tiers et à préciser un calendrier de déploiement pilote : l'entreprise n'a pour l'instant communiqué que des démonstrations vidéo et des chiffres internes, sans date de disponibilité commerciale ni partenaire industriel nommé.

IA physiqueActu
1 source
TORL-VLA : apprentissage par renforcement en ligne à guidage tactile pour la manipulation à contacts intensifs
3arXiv cs.RO 

TORL-VLA : apprentissage par renforcement en ligne à guidage tactile pour la manipulation à contacts intensifs

Des chercheurs ont publié le 10 juin 2026 sur arXiv (arXiv:2606.09337) un framework baptisé TORL-VLA (Tactile-guided Online Reinforcement Learning for Vision-Language-Action), conçu pour résoudre un point de blocage précis des VLA en robotique de manipulation : l'inadaptation en temps réel aux conditions de contact. TORL-VLA couple un module VLA enrichi de retour tactile, capable de prédire à la fois une action de référence et une séquence de forces futures (wrench sequences), avec un module d'apprentissage par renforcement en ligne, léger, qui raffine ces actions au fil des tentatives. Le système a été validé sur des tâches longues et en contact soutenu avec l'environnement : manipulation d'une serrure (latch manipulation), placement précis d'une tasse à café, et manipulation d'un œuf cru. Sur l'ensemble de ces scénarios, TORL-VLA améliore les taux de succès à l'échelle des sous-tâches et des tâches complètes, ainsi que l'efficacité temporelle d'exécution par rapport aux baselines comparées. L'enjeu technique est bien réel : les VLA actuels sont déployés comme des politiques hors ligne (offline policies), c'est-à-dire figées après entraînement. Dès que les conditions de contact s'écartent de la distribution d'entraînement, friction différente, compliance d'objet inattendue, positionnement imprécis, la politique échoue sans mécanisme de correction. Le résultat concret est une accumulation de forces de contact inappropriées et des boucles de retry inefficaces, problème critique pour tout déploiement industriel où la reproductibilité du geste est exigée. TORL-VLA introduit également un "intervention-censored critic", un mécanisme qui évite d'attribuer à tort un succès post-intervention humaine aux actions de la politique générées avant cette intervention, ce qui stabilise l'apprentissage sur des données mixtes (exploration autonome + corrections opérateur). Cette approche est méthodologiquement significative : elle rend l'apprentissage en ligne viable dans un contexte d'apprentissage par démonstration avec supervision humaine intermittente, ce qui correspond précisément aux conditions réelles de mise en service. Les VLA comme Pi-0 (Physical Intelligence), OpenVLA, ou les architectures dérivées de RT-2 (Google DeepMind) ont démontré une généralisation impressionnante en manipulation, mais leur rigidité post-entraînement constitue un frein reconnu au déploiement en production. Des travaux comme DexVLA ou des approches avec force feedback (ForceSight, TacVLA) ont commencé à intégrer la modalité tactile, mais sans adaptation en ligne. TORL-VLA se positionne à l'intersection de ces deux axes : adaptation dynamique et perception haptique. Aucun chiffre de performance absolu (taux de succès brut, temps de cycle) n'est communiqué dans l'abstract, ce qui limite la comparaison directe avec d'autres systèmes, les résultats complets sont dans le papier complet. Du côté européen, des acteurs comme Enchanted Tools (France, robot Mirokaï) ou Wandercraft travaillent sur la compliance et l'interaction physique, mais sur des architectures différentes. Les prochaines étapes naturelles pour TORL-VLA concernent la généralisation à d'autres objets déformables, la réduction de la latence du module RL en ligne, et une validation à plus grande échelle avant tout positionnement comme solution industrielle.

UELes équipes françaises comme Enchanted Tools ou Wandercraft, actives sur la compliance et l'interaction physique, pourraient s'appuyer sur cette méthodologie d'adaptation tactile en ligne pour améliorer la robustesse au contact de leurs robots, bien qu'aucun transfert direct ne soit documenté.

IA physiqueOpinion
1 source
Vers des robots durables : affiner les modèles VLA par apprentissage par renforcement continu
4arXiv cs.RO 

Vers des robots durables : affiner les modèles VLA par apprentissage par renforcement continu

Une équipe de chercheurs publie sur arXiv (2602.10503, février 2026) une méthode de fine-tuning appelée LifeLong-RFT, conçue pour permettre aux modèles VLA (Vision-Language-Action) de s'adapter en continu à de nouvelles tâches sans effacer les précédentes. Les VLA, tels que pi-0 de Physical Intelligence ou OpenVLA, sont pré-entraînés sur des datasets massifs et variés, ce qui leur confère une bonne généralisation. Leur adaptation à des domaines spécifiques repose cependant majoritairement sur le Supervised Fine-Tuning (SFT), une approche qui exige de larges volumes de données tâche-spécifiques et souffre du catastrophic forgetting : le modèle oublie ses acquis antérieurs en assimilant de nouvelles compétences. LifeLong-RFT substitue au SFT un mécanisme de Reinforcement Fine-Tuning (RFT) indépendant de tout feedback environnemental en ligne et de tout reward model pré-entraîné. La méthode repose sur trois signaux de récompense combinés : le QACR (Quantized Action Consistency Reward), qui vérifie la cohérence de la prédiction d'actions dans l'espace discret ; le CTAR (Continuous Trajectory Alignment Reward), qui aligne les chunks d'actions continues sur des trajectoires de référence ; et le FCR (Format Compliance Reward), qui garantit la validité structurelle des sorties. Sur le benchmark LIBERO dédié à l'apprentissage continu, LifeLong-RFT affiche un gain de 22 points de taux de succès moyen par rapport au SFT, en n'utilisant que 20 % des données d'entraînement pour s'adapter à de nouvelles tâches. Les expériences couvrent SimplerEnv, LIBERO et des scénarios réels. Ce résultat s'attaque directement au principal frein à l'apprentissage continu en déploiement : la nécessité de réentraîner un modèle depuis un checkpoint dès qu'on veut lui enseigner une nouvelle opération. Le fait que LifeLong-RFT ne nécessite ni feedback en ligne (interactions réelles avec l'environnement, coûteuses et parfois dangereuses en production) ni reward model séparé réduit considérablement la barrière à l'adaptation terrain. Pour un intégrateur ou un COO industriel, cela signifie qu'un bras manipulateur ou un robot mobile basé VLA pourrait théoriquement apprendre de nouvelles tâches avec un cinquième des données actuellement nécessaires, sans régresser sur ses acquis. La validation partielle sur des tâches réelles renforce la crédibilité des résultats, même si le papier reste un preprint arXiv et que les conditions expérimentales real-world ne sont pas détaillées dans le résumé public. La course aux VLA comme politique unifiée pour la robotique généraliste s'est intensifiée depuis 2024 avec pi-0 (Physical Intelligence), OpenVLA (UC Berkeley), GR00T N2 (NVIDIA) et Helix (Figure AI), tous cherchant à résoudre l'adaptation domaine-spécifique avec un minimum de données supplémentaires. LifeLong-RFT s'inspire directement des techniques GRPO et RLHF qui ont transformé le post-training des LLMs, les transposant ici au niveau des chunks d'actions robotiques. Il se positionne comme un paradigme post-training alternatif au SFT, sans contrainte d'infrastructure lourde. Aucun déploiement ni partenariat industriel n'est annoncé : il s'agit d'une contribution académique avec page projet dédiée. Les suites naturelles incluent l'extension à des architectures VLA plus récentes et des benchmarks multi-tâches à plus longue durée, critères encore absents de cette évaluation.

IA physiqueOpinion
1 source