RecherchearXiv cs.RO 5 août 2026

EvoHIL : optimisation évolutive de la récompense et de la politique par flow matching pour l'apprentissage par renforcement robuste avec humain dans la boucle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche vient de publier sur arXiv (2608.03872, début août 2026) EvoHIL, un framework d'apprentissage par renforcement avec humain dans la boucle (HIL-RL) pour la manipulation robotique riche en contacts. Le système combine trois mécanismes : une récompense auto-évolutive (SER) qui met à jour le classificateur de succès à partir d'exemples positifs validés par un humain et de négatifs faibles provisoires ; une stabilisation de flux d'actions (AFS), qui génère des séquences temporellement cohérentes via flow matching en s'appuyant sur les préfixes d'actions déjà exécutés et les démonstrations ; et un fine-tuning hors ligne dit « rétention-aware », qui rejoue des données d'interaction rééclairées tout en ancrant l'acteur-critique AFS au comportement antérieur, sans interaction robotique supplémentaire. Les auteurs ont testé EvoHIL sur six tâches de manipulation, sur des bras Franka FR3 et SO-101, sous un changement contrôlé d'éclairage. Comparé aux méthodes HIL-RL classiques et à l'imitation learning, EvoHIL améliore le taux de réussite, l'accord avec les labels de confirmation humaine, la fluidité du mouvement et le temps de complétion.

L'intérêt tient à la façon dont le papier attaque trois faiblesses couplées qui plombent le HIL-RL en conditions réelles : un modèle de récompense visuel statique qui s'effondre dès que la scène change, des actions échantillonnées indépendamment qui produisent des mouvements saccadés, et des politiques vision-based fragiles face aux changements d'apparence. C'est exactement ce type de fragilité qui sépare les démonstrations de labo des déploiements industriels, où l'éclairage, le fond ou la position des objets varient en permanence. En montrant qu'un reward model, un générateur d'actions et un domaine visuel peuvent être adaptés conjointement plutôt que séparément, EvoHIL nourrit le débat sur la viabilité des politiques VLA à l'échelle, une question centrale pour tout intégrateur cherchant à sortir un bras collaboratif ou un humanoïde des conditions contrôlées d'une démo.

Le travail s'inscrit dans la lignée des recherches récentes sur le flow matching appliqué aux politiques robotiques, une approche popularisée par des modèles comme Pi-0 ou GR00T N2 pour produire des trajectoires plus fluides que les méthodes de diffusion classiques. Il s'agit toutefois d'un article académique soumis en double-aveugle, avec une page projet hébergée sous un identifiant anonyme et sans affiliation d'entreprise ni de laboratoire revendiquée à ce stade, ni déploiement industriel annoncé. Les essais se limitent à deux plateformes de bras manipulateurs en environnement contrôlé, loin des volumes d'un déploiement commercial. La suite logique, si les résultats tiennent lors de la publication définitive, serait une extension à davantage de tâches, de plateformes et de variations environnementales pour confirmer la robustesse au-delà du simple changement d'éclairage testé ici.

Dans nos dossiers

NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Stabilité de la récompense par transition d'étapes pour l'apprentissage par renforcement

Une équipe de recherche présente STDR (Stage-Transition Dense Reward), un framework qui transforme des vidéos de démonstration non structurées en récompenses denses pour entraîner des agents d'apprentissage par renforcement (RL) sur des tâches de manipulation robotique à long horizon, sans design manuel de fonction de récompense. Le système infère automatiquement la structure en étapes d'une tâche à partir des démonstrations, puis fournit deux signaux complémentaires pendant l'entraînement en ligne : une récompense orientée objectif à chaque transition d'étape, et un signal de progression fine à l'intérieur de chaque étape. Un mécanisme de détection hors distribution (OOD) et un module de régulation de la préhension ont été ajoutés pour éviter le "reward hacking", ce biais classique où l'agent exploite des failles de la fonction de récompense plutôt que d'accomplir réellement la tâche. Les tests couvrent 14 tâches de manipulation réparties sur trois bancs d'essai standards du domaine, MetaWorld, ManiSkill et Franka Kitchen, avec des validations complémentaires sur robot réel. L'enjeu dépasse la seule performance académique. Concevoir des récompenses denses à la main reste l'un des goulots d'étranglement majeurs du RL appliqué à la robotique industrielle : chaque nouvelle tâche, chaque nouvelle configuration d'objets impose de retravailler manuellement le signal d'apprentissage, ce qui freine le déploiement à grande échelle chez les intégrateurs. En montrant que STDR égale voire dépasse les récompenses handcrafted sur plusieurs tâches complexes, tout en gagnant en efficacité d'échantillonnage, l'étude appuie l'hypothèse selon laquelle l'apprentissage par vidéos de démonstration peut remplacer l'ingénierie de récompense ad hoc, un argument déterminant pour accélérer l'entraînement de bras robotiques ou de mains manipulatrices en environnement réel plutôt qu'en simulation pure. Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage de récompenses par vision (reward learning from video), un axe actif face aux limites du reward shaping manuel et aux coûts d'annotation. Les résultats sur robot réel, où STDR assigne des récompenses stables et bien calibrées sur les exécutions réussies tout en pénalisant correctement les échecs, suggèrent une robustesse au bruit visuel qui manquait souvent aux approches précédentes. Les prochaines étapes attendues porteront sur l'extension à des tâches encore plus longues et sur l'intégration avec des politiques de type VLA (vision-language-action) pour la généralisation multi-tâches.

RecherchePaper

1 source

2arXiv cs.RO

RoHIL : apprentissage par renforcement robotique robuste avec supervision humaine face aux variations d'éclairage

Les systèmes de reinforcement learning avec humain dans la boucle (HIL-RL) atteignent des taux de succès quasi parfaits sur le poste de travail où ils sont entraînés, mais s'effondrent lorsque le même robot est déplacé de quelques mètres vers un poste différent. La cause est simple : des variations d'éclairage (position des lampes, lumière naturelle) perturbent suffisamment la distribution des entrées visuelles pour invalider la politique apprise. Pour combler ce "cross-domain gap" sans recollecte de données terrain, des chercheurs présentent RoHIL (Robust Human-in-the-Loop), un framework de fine-tuning hors ligne évalué sur quatre tâches de manipulation robotique réelle. RoHIL repose sur trois mécanismes : un re-lighting basé sur un world model qui resynthétise le flux visuel des trajectoires sources sous plusieurs environnements HDRI virtuels sans modifier les actions ni les récompenses, un mécanisme anti-oubli appelé Illumination-Retention Replay (IRR) qui entrelace transitions d'adaptation et transitions de rétention, et un régulariseur Bellman-acteur ancré limitant la dérive de représentation par rapport à la politique source. L'enjeu industriel est direct : recollecte de démonstrations et ré-entraînement HIL à chaque nouveau poste sont incompatibles avec un déploiement à l'échelle. La fragilité aux variations lumineuses reste l'un des obstacles les plus sous-estimés entre laboratoire et production réelle. RoHIL répond à ce problème sans interaction robot supplémentaire, ce qui réduit le coût d'intégration pour les opérateurs. La combinaison IRR et régulariseur Bellman démontre qu'il est possible d'adapter une politique à de nouvelles conditions visuelles tout en préservant les performances sur l'environnement d'origine, résultat non trivial face à l'oubli catastrophique classique. Ce travail, déposé sur arXiv en mai 2025 sous soumission anonyme et vraisemblablement en cours d'évaluation par une conférence, s'inscrit dans la vague de recherches visant à rendre les politiques robotiques robustes aux variations de domaine. Les approches concurrentes incluent la randomisation de domaine à l'entraînement, les politiques multi-environnements ou l'augmentation visuelle agressive, mais ces techniques nécessitent d'anticiper les variations en amont. RoHIL se distingue par son mode entièrement offline. Aucun déploiement commercial ni partenariat industriel n'est mentionné : il s'agit d'un résultat académique à ce stade, dont les extensions naturelles porteront sur un plus grand nombre de postes, de conditions lumineuses et de tâches à degrés de liberté élevés.

RecherchePaper

1 source

3arXiv cs.RO

LyEvO : optimisation évolutionnaire guidée par Lyapunov pour un apprentissage de politique sûr et robuste en transfert simulation-réel

Une équipe de recherche publie sur arXiv (référence 2608.06481) LyEvO, une méthode combinant optimisation évolutionnaire contrainte, vérification statistique de modèles (Statistical Model Checking) et analyse de stabilité de Lyapunov pour entraîner des politiques de contrôle sûres et transférables de la simulation au réel. À partir de la dynamique connue du système, LyEvO calcule d'abord une région de stabilité candidate par analyse de Lyapunov, puis une boucle itérative optimise et vérifie statistiquement la politique sur des scénarios tirés de cette région, avant d'élargir ses frontières selon les résultats obtenus. Ce processus fournit un critère pratique pour juger si un contrôleur est prêt au déploiement réel. La méthode est testée sur deux bancs d'essai classiques, le pendule inversé sur chariot (Cartpole) et un quadrirotor 3D, via des simulations puis des expériences physiques, avec un transfert simulation-réel jugé sûr et robuste par les auteurs. Le problème visé est central pour la robotique apprenante : les politiques entraînées en simulation, notamment par renforcement, échouent souvent une fois transférées sur du matériel réel, faute de garanties sur leur stabilité en dehors des conditions d'entraînement. En couplant vérification statistique et analyse de stabilité issue de la théorie du contrôle classique, LyEvO propose une alternative aux pratiques dominantes, randomisation de domaine et essais-erreurs empiriques, qui n'offrent aucune preuve formelle de robustesse. Pour des ingénieurs devant certifier qu'un contrôleur tiendra face à des perturbations non vues à l'entraînement, disposer d'un critère explicite de préparation au déploiement plutôt qu'une simple confiance empirique constitue un apport méthodologique réel, même si la validation reste ici cantonnée à des systèmes académiques standards plutôt qu'à des robots commerciaux complexes. L'écart entre simulation et réel reste un goulot d'étranglement historique du contrôle apprenant, les erreurs de modélisation, le bruit des capteurs et les dynamiques non capturées en simulation pouvant faire échouer en conditions réelles un contrôleur performant sur banc virtuel. Les approches existantes reposent généralement soit sur la randomisation de domaine pour gagner en robustesse par diversité d'entraînement, soit sur des méthodes de vérification formelle, précises mais coûteuses en calcul et difficiles à mettre à l'échelle. LyEvO se positionne entre ces deux traditions en réintroduisant la stabilité de Lyapunov, un outil classique du contrôle, dans une boucle moderne d'optimisation évolutionnaire et de vérification statistique. Publié comme nouvelle soumission arXiv, l'article ne mentionne aucun partenariat industriel ni déploiement commercial ; la suite logique pour ce type de travaux académiques serait l'extension à des systèmes robotiques plus complexes, bras manipulateurs ou robots à pattes, où les garanties de stabilité formelle restent aujourd'hui rares.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage par renforcement avec supervision humaine calibré sur les préférences pour la manipulation robotique

Une équipe de chercheurs publie dans un préprint arXiv daté du 3 juin 2026 PACT (Preference-calibrated Actor-Critic Training), un cadre d'apprentissage par renforcement avec supervision humaine (HIL-RL) pour la manipulation robotique. Le problème ciblé est connu : quand un opérateur reprend la main pour corriger le robot, les trajectoires collectées contiennent des segments suboptimaux que les méthodes actuelles propagent indistinctement dans le calcul des récompenses, surestimant les Q-valeurs et biaisant la politique vers des comportements sous-performants. PACT introduit un modèle de progression entraîné sur des démonstrations humaines pour identifier ces segments défaillants, puis construit des paires de préférence entre l'action correctrice humaine et l'action rééchantillonnée de la politique au même état d'intervention. Cette comparaison génère un avantage contrefactuel qui pénalise les cibles de Bellman sur les segments suboptimaux, complété par un alignement direct de la politique sur les actions correctives dans l'espace des moyennes bornées. Sur cinq tâches de manipulation réelle-robot, PACT affiche une amélioration moyenne du taux de succès de 24,5 % et une convergence 1,3 fois plus rapide que les méthodes HIL-RL de référence. Le code est disponible en open source sur dépôt GitHub anonymisé. Ces résultats s'attaquent à un goulot d'étranglement pratique du HIL-RL : la supervision humaine améliore l'efficacité en échantillons, mais introduit du bruit quand les corrections arrivent après plusieurs actions déjà incorrectes. En extrayant les signaux de préférence implicitement des interventions, sans annotation post-hoc coûteuse, PACT permet à un opérateur non-expert d'intervenir naturellement pendant l'entraînement sans dégrader la qualité des données. La convergence accélérée réduit directement le temps d'adaptation sur de nouvelles tâches, un facteur critique pour le déploiement en environnements industriels variables. Le HIL-RL s'appuie sur des travaux fondateurs comme DAgger (Ross et al., 2011) et IWR (Mandlekar et al., 2020), complétés par des variantes comme HG-DAgger, qui pondèrent les transitions différemment sans toutefois distinguer explicitement les segments suboptimaux. PACT se positionne comme une extension ciblée de cette famille. La manipulation robotique est par ailleurs traversée par les approches VLA (Vision-Language-Action), comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui misent sur la généralisation zero-shot, une stratégie complémentaire plutôt qu'opposée au fine-tuning supervisé par intervention humaine. Le préprint, non encore peer-reviewed, ne mentionne ni partenaires industriels ni calendrier de déploiement ; la distance entre banc de test robotique de laboratoire et production industrielle reste entière.

UEImpact indirect : ce cadre HIL-RL open-source pourrait accélérer les travaux des équipes européennes de robotique industrielle cherchant à réduire le coût d'adaptation de robots à de nouvelles tâches en production.

RecherchePaper

1 source