RecherchearXiv cs.RO 15 septembre 2026

Exploitation de l'expertise humaine pour l'assemblage robotique de précision dans la construction industrialisée : un cadre d'apprentissage par renforcement interactif avec installateur dans la boucle, économe en échantillons

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche a publié sur arXiv, en septembre 2026, un cadre d'apprentissage par renforcement interactif pour l'assemblage robotique de fenêtres préfabriquées en construction industrialisée (arXiv:2609.13234). Le système combine démonstrations téléopérées hors ligne, reprises en main binaires de l'installateur aux seuls échecs de contact, et récompenses terminales alignées sur les critères d'acceptation, pilotées par une politique d'action séquentielle fondée sur Q-chunking et Flow Q-Learning. Testé dans le simulateur MuJoCo, de la préhension par ventouse jusqu'au positionnement à jeu serré, le pipeline atteint 100% de pose autonome réussie avec 12 à 15 minutes de supervision humaine cumulée sur 3 heures d'entraînement en ligne, pour un jeu de 2 mm par côté avec pose et frottement randomisés. Le seuil de 95% de réussite est atteint en 0,5 puis 1,5 heure selon les deux configurations testées.

Ce résultat cible un verrou classique de la robotique de construction: convertir le savoir-faire tacite d'un installateur en autonomie exploitable malgré un retour d'acceptation rare et une forte variabilité de contact. En ramenant à quelques minutes la supervision nécessaire pour approcher une fiabilité totale sur des tolérances millimétriques, l'étude suggère qu'un apprentissage par renforcement guidé par l'humain reste efficace même à récompense très sparse, un enjeu direct pour les intégrateurs visant l'automatisation d'assemblages jugés jusqu'ici trop précis pour la robotique classique. Une réserve s'impose: tous les résultats proviennent de simulation, sans essai sur robot physique ni déploiement réel rapporté, et le transfert sim-to-réel sur un jeu de 2 mm reste l'inconnue principale avant toute application industrielle.

La méthode prolonge les travaux récents sur l'apprentissage hors ligne vers en ligne et sur les politiques d'action segmentées (Q-chunking), associées ici à Flow Q-Learning pour capturer des manœuvres de récupération multimodales en cas d'échec de contact, avec une phase de warm-start pour stabiliser la transition. Elle se distingue des approches tout-autonome ou tout-téléopérées en ne sollicitant l'opérateur qu'aux frontières d'échec de contact. L'article ne cite ni partenaire industriel, ni site de déploiement, ni concurrent nommé, ni calendrier de pilote: il s'agit d'une contribution méthodologique validée par ablations isolant les apports de l'abstraction temporelle, de l'intervention humaine et du calibrage du warm-start, sans feuille de route de production précisée.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

E2HiL : sélection d'échantillons guidée par l'entropie pour un apprentissage par renforcement humain-dans-la-boucle efficace en conditions réelles

Des chercheurs présentent E2HiL, un framework d'apprentissage par renforcement en boucle humaine (human-in-the-loop RL) destiné à réduire le nombre d'interventions manuelles nécessaires pour entraîner des politiques de manipulation robotique en conditions réelles. Publié sur arXiv (2601.19969v2), le système a été évalué sur 10 tâches de manipulation réelle, couvrant plusieurs types de robots et plusieurs frameworks d'apprentissage. Comparé aux meilleures références HiL-RL existantes, E2HiL améliore le taux de réussite de 24,9% tout en réduisant de 9,3% les interventions humaines requises. Techniquement, la méthode calcule des fonctions d'influence mesurant l'effet de chaque échantillon sur l'entropie de la politique, via la covariance entre probabilités d'action et avantages softs, puis ne conserve que les échantillons à influence modérée, écartant les raccourcis provoquant une chute d'entropie brutale et le bruit sans effet mesurable. Les détails du projet sont disponibles sur e2hil.github.io. L'approche cible un goulot d'étranglement bien identifié du RL réel appliqué à la manipulation: la supervision humaine nécessaire pour guider l'exploration reste coûteuse en main d'oeuvre, ce qui freine le passage à l'échelle hors simulation. En sélectionnant activement les échantillons les plus informatifs plutôt qu'en traitant chaque intervention de façon uniforme, E2HiL améliore simultanément performance et coût de supervision, un compromis rarement obtenu dans la littérature HiL-RL. Présenté comme agnostique à la politique et à l'embodiment, le module est réutilisable avec différents robots et algorithmes d'apprentissage sans reconception spécifique, ce qui intéresse les équipes cherchant à industrialiser le RL réel plutôt que de rester dépendantes du fine-tuning de modèles vision-langage-action entraînés hors ligne. Les gains chiffrés restent toutefois mesurés par les auteurs face à leurs propres baselines, sans validation indépendante à ce stade. Le framework s'inscrit dans la lignée des méthodes de RL en boucle humaine apparues pour accélérer l'apprentissage en conditions réelles, en alternative aux approches purement imitatives ou aux grands modèles vision-langage-action entraînés hors ligne puis affinés. La mention "replace" associée à la version 2 de l'article indique une mise à jour d'une publication antérieure; le résumé fourni ne précise ni laboratoire ni affiliation institutionnelle des auteurs. Aucun partenariat industriel, pilote annoncé ou calendrier de déploiement n'est mentionné: il s'agit à ce stade d'une contribution de recherche méthodologique, conçue comme un module plug-and-play destiné à s'intégrer dans des pipelines HiL-RL existants plutôt que d'un produit ou d'un système robotique complet.

RecherchePaper

1 source

2arXiv cs.RO

Exploiter des démonstrations humaines en boucle dans l'apprentissage par renforcement pour la flexibilité des robots pilotés par jumeau numérique

Des chercheurs proposent un cadre d'entraînement en ligne « human-in-the-loop » qui combine jumeau numérique (DT), apprentissage par renforcement (RL) et démonstrations humaines, publié sur arXiv (2610.12140). Contrairement aux jumeaux numériques classiques, surtout employés pour générer des données synthétiques avant l'exécution d'une tâche, celui-ci est synchronisé en temps réel avec le système physique grâce à des flux caméra. Le robot virtuel met ainsi à jour ses observations et sa politique à partir du retour du monde réel. Une architecture à double acteur (« dual actor ») intègre l'apprentissage par imitation sans ajouter de perte d'imitation directe à l'acteur RL, de sorte que les démonstrations guident l'adaptation au lieu d'une reprogrammation manuelle. La démonstration repose sur un bras collaboratif Ufactory xArm5 (5 axes), dont l'effecteur doit atteindre une position cible en évitant des obstacles. Les résultats portent sur deux points. Le cadre peut reprendre l'entraînement après une modification de l'espace de travail physique, sans repartir de zéro. Avec un jeu fixe de démonstrations non optimales, l'architecture à double acteur atteint un taux de succès final nettement supérieur à celui de deux méthodes qui ajoutent une perte d'imitation à l'acteur. Le même schéma se confirme avec de vraies démonstrations humaines recueillies en réalité virtuelle (VR). Lorsque ces démonstrations n'atteignent jamais le but, le double acteur obtient 83 à 100 % de succès moyen en évaluation déterministe, contre 0 à 17 % pour les deux méthodes à perte d'imitation. Les auteurs ne précisent pas dans ce résumé le nombre d'essais, de graines aléatoires ou de démonstrations, ce qui invite à la prudence sur la robustesse statistique de l'écart. L'enjeu concerne les intégrateurs et les responsables d'atelier. Les cobots évoluent dans des environnements de plus en plus variables, et le coût de reprogrammation à chaque changement de poste ou d'obstacle freine leur rentabilité. L'étude suggère qu'une démonstration imparfaite, donnée par un opérateur non expert, peut orienter l'apprentissage sans le contaminer, alors que l'imitation forcée dégrade la politique quand l'exemple est mauvais. Cela vise un problème pratique du déploiement : on dispose rarement de démonstrations parfaites. À nuancer toutefois : la tâche est une simple atteinte de cible avec évitement d'obstacles sur un bras à 5 axes, loin de la manipulation fine, des tâches à contact ou des cadences industrielles. Aucune comparaison avec des modèles généralistes de type VLA n'est avancée, et le passage à l'échelle reste à démontrer. Le travail s'inscrit dans la convergence entre jumeaux numériques, RL et apprentissage par démonstration, où le problème du transfert simulation-réel (sim-to-real) reste central. Ici, la synchronisation continue par caméra réduit cet écart en remettant à jour le modèle virtuel plutôt qu'en le figeant avant le déploiement. Le xArm5 de Ufactory est une plateforme de recherche abordable, et la collecte en VR abaisse la barrière pour les opérateurs. Les prochaines étapes logiques seraient des tâches de manipulation avec contact, des environnements dynamiques plus complexes et des essais en conditions industrielles, qu'aucun pilote annoncé ne couvre à ce stade. Il s'agit d'une publication préliminaire (v1), non évaluée par les pairs.

RecherchePaper

1 source

3arXiv cs.RO

ReF-HIL : structurer le critique autour des voisinages d'actions humaines pour un apprentissage par renforcement avec humain dans la boucle plus efficace

Des chercheurs proposent ReF-HIL, un cadre d'apprentissage par renforcement avec humain dans la boucle (HIL-RL) destiné à entraîner des politiques de manipulation robotique directement dans le monde réel. Le principe est de combiner l'apprentissage autonome avec des démonstrations humaines et des corrections en ligne. Deux mécanismes sont introduits. Le premier, un « Human-Reference-Guided Value Shaping », apprend une référence de valeur indépendante à partir des seules expériences humaines réussies, pour guider l'apprentissage de la valeur en ligne, tout en intégrant des retours correctifs locaux. Le second, une « Human Action Fence », définit un voisinage d'actions humaines appris. À l'intérieur, l'optimisation guidée par la valeur s'applique sans pénalité d'imitation. À l'extérieur, les mises à jour de la politique et de la valeur sont contraintes. Testé sur cinq tâches de manipulation réelles, ReF-HIL atteint 90 % de succès autonome après 18 à 63 minutes d'entraînement actif, pour des taux de succès finaux de 91,7 à 100 %. Il s'agit d'une prépublication arXiv, sans relecture par les pairs. Le site du projet est anonymisé. Pour les intégrateurs, l'intérêt est le temps d'entraînement sur robot physique, qui reste le principal coût de l'apprentissage par renforcement réel. Une politique fiable en moins d'une heure de temps actif rapproche cette approche de la mise en service industrielle, là où l'imitation pure plafonne souvent sur les cas limites. Deux réserves s'imposent. Les résultats sont comparés à des références choisies par les auteurs (« the evaluated baselines »). Le résumé ne précise ni les tâches, ni le robot, ni le nombre d'essais, et l'écart entre 18 et 63 minutes reste large. Il s'agit d'une démonstration de laboratoire, pas d'un déploiement. Le HIL-RL s'est imposé ces dernières années comme alternative aux grands modèles vision-langage-action (VLA) entraînés par imitation à grande échelle, comme Pi-0. Il vise des tâches précises, avec peu de données et une correction humaine ciblée. Ses deux limites, que ReF-HIL cherche à lever, sont la sous-exploitation des succès humains dans l'estimation de la valeur et les pénalités d'imitation qui brident l'amélioration de la politique. La suite dépendra de la publication du code, d'une validation sur des tâches industrielles plus longues et d'une comparaison directe avec les méthodes de référence du domaine.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

L'enseignement comme processus : le cadre TOSS pour modéliser les décisions humaines d'enseignement dans l'apprentissage robotique interactif

Une étude exploratoire menée auprès de 34 participants (N=34) documente pour la première fois la logique intuitive que les humains appliquent lorsqu'ils enseignent à un robot par apprentissage par renforcement (RL). Les chercheurs ont fait observer aux participants deux scénarios distincts de RL robotique et ont analysé 204 réponses d'enseignement intuitif, réparties sur trois phases d'apprentissage du robot (précoce, intermédiaire, tardive). L'analyse révèle que les décisions d'enseignement ne sont pas de simples signaux de récompense ponctuels, mais forment un réseau structuré de quatre composantes: des déclencheurs (situations qui incitent à intervenir), des objectifs (ce que l'enseignant cherche subjectivement à obtenir), des signaux (les actes de communication effectivement produits) et des stratégies (une logique de pilotage de plus haut niveau). Les participants endossent spontanément des rôles différents selon les moments, tantôt coach, tantôt ingénieur, tantôt concepteur, avec des priorités d'objectifs qui varient en conséquence. Ces résultats sont formalisés dans le cadre théorique TOSS (Trigger-Objective-Signal-Strategy), publié le 24 août 2026 sur arXiv (2608.21083). Cette recherche met en évidence un décalage entre la manière dont les algorithmes de RL interactif attendent un retour humain, généralement un signal de récompense simple et homogène, et la façon dont les humains enseignent réellement, de manière contextuelle, changeante et stratégique. Pour les équipes qui conçoivent des pipelines d'apprentissage par démonstration ou des interfaces de feedback humain pour robots, ce constat suggère que les hypothèses simplificatrices actuelles limitent l'efficacité de l'apprentissage interactif et que des architectures capables d'intégrer des rôles et objectifs multiples pourraient mieux exploiter l'expertise humaine. Le travail s'inscrit dans le champ de l'interaction humain-robot appliquée à l'apprentissage par renforcement interactif, où la modélisation du comportement de l'enseignant humain reste peu formalisée malgré son rôle central dans l'apprentissage supervisé par démonstration. Les auteurs mettent à disposition un jeu de données ouvert accompagnant le cadre TOSS, destiné à servir de base pour simuler des oracles humains réalistes et concevoir de nouveaux algorithmes de RL ainsi que des interfaces d'enseignement centrées sur l'humain, au-delà des contraintes des configurations actuelles.

RecherchePaper

1 source