RecherchearXiv cs.RO 15 septembre 2026

Repenser les implications du retour humain pour l'apprentissage des préférences dans la collaboration homme-robot

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche en interaction homme-robot publie sur arXiv (2609.13982) une remise en cause de la méthode standard d'apprentissage des préférences pour le comportement des robots collaboratifs. Cette méthode standard fonctionne en trois étapes : le robot collecte un feedback humain direct limité, généralement binaire (positif ou négatif) ; il en déduit ensuite des étiquettes "acceptée" ou "rejetée" pour des actions faisables mais non choisies, via des règles d'implication fixes préétablies ; puis il met à jour son modèle de récompense avec l'ensemble de ces données. Une étude utilisateur menée sur deux environnements de simulation collaboratifs montre que les étiquettes d'implication réellement données par les humains divergent souvent de ce que prédit la règle fixe, et que l'usage des étiquettes humaines réelles améliore nettement l'apprentissage de récompense avec l'algorithme PIE (Preference Learning from Implicit and Explicit Feedback). Les chercheurs proposent en réponse IMPLIED, une méthode qui utilise la règle fixe comme simple point de départ tout en apprenant à inférer et corriger les étiquettes au fil des interactions. Testée sur des trajectoires d'interaction homme-robot enregistrées ainsi que sur une étude avec un robot physique préparant des pizzas, IMPLIED prédit les implications humaines plus fidèlement que la règle fixe et que des références basées sur des LLM, en se rapprochant des performances d'un oracle utilisant directement des étiquettes humaines.

Ce résultat questionne une hypothèse implicite largement répandue dans la conception des systèmes de robots collaboratifs : que des règles logiques figées suffisent à extrapoler les préférences humaines au-delà du feedback explicite donné. Pour les concepteurs de robots d'assistance ou de cobots industriels, cela signifie que les modèles de récompense actuels risquent de mal interpréter systématiquement l'intention des opérateurs sur les actions non directement évaluées, ce qui peut se traduire par un comportement robotique perçu comme irrationnel ou mal aligné en situation réelle de collaboration. En réduisant l'erreur d'estimation des préférences, IMPLIED promet des robots capables de s'adapter plus vite et plus fidèlement à un opérateur humain sans multiplier les sollicitations de feedback, un enjeu direct pour l'efficacité des déploiements en environnement partagé homme-robot.

Le travail s'inscrit dans la lignée des approches d'apprentissage de préférences par renforcement inverse appliquées à la robotique collaborative, où l'algorithme PIE sert de référence pour combiner feedback explicite et implicite. En comparant IMPLIED à la fois à la règle fixe classique et à des références utilisant des grands modèles de langage, les auteurs positionnent leur méthode comme une alternative apprise et adaptative aux heuristiques statiques du domaine. La validation combine environnements simulés et un cas d'usage physique concret de fabrication culinaire, suggérant une voie vers une intégration future dans des architectures de robots collaboratifs déployés en usine ou en environnement de service.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Repenser le désapprentissage des démonstrations dans l'apprentissage par imitation pour la robotique

Un article publié sur arXiv (2608.20784v1) propose un cadre d'audit pour l'oubli de démonstrations en apprentissage par imitation robotique, quand des contributeurs demandent le retrait de leurs démonstrations d'une politique déjà entraînée. Plutôt qu'un réentraînement complet, coûteux à mesure que grandissent modèle et données, les auteurs évaluent des opérateurs d'édition appliqués directement à la politique existante. Leur audit croise deux axes: le comportement, mesuré par la divergence d'action face à des réentraînements de référence, et la preuve, mesurée par une attaque d'appartenance rapportant rang et niveau absolu de perte. Sur cinq conditions préenregistrées, trois politiques robotiques réelles et deux suites de simulation, un édit de type redirection sur l'architecture ACT restaure un taux de succès de 18 essais sur 20 en évaluation en aveugle. Ce travail répond à un problème concret pour l'industrie robotique: à mesure que les politiques génératives de type VLA s'entraînent sur des volumes croissants de démonstrations téléopérées, les demandes de retrait de données individuelles se heurteront au coût du réentraînement complet. Les métriques héritées du machine unlearning classique, comme la perte d'oubli ou une simple attaque d'appartenance, ne suffisent pas à garantir qu'une édition a réellement supprimé l'influence d'une démonstration en boucle fermée: un édit peut réparer le comportement sans effacer la trace détectable, ou au contraire réduire cette détectabilité tout en éloignant le comportement du réentraînement réel. Pour des intégrateurs tentés par l'édition post-hoc plutôt que le réentraînement complet, un simple test de réussite de tâche ne suffit donc pas à certifier qu'une démonstration a été effectivement oubliée. Cette recherche prolonge les travaux de machine unlearning menés sur les grands modèles de langage et de vision, transposés ici au contrôle robotique en boucle fermée, où c'est l'action, non la seule prédiction, qui doit être auditée. Elle survient alors que l'apprentissage par imitation à partir de démonstrations téléopérées s'impose comme méthode dominante pour entraîner des politiques robotiques générales, dans la lignée d'architectures comme ACT, popularisée par les plateformes de téléopération de type ALOHA. La question du retrait de données gagne en importance à mesure que ces jeux de données reposent sur des opérateurs identifiables, avec des implications de consentement et de conformité. Les auteurs ont préenregistré leurs cinq conditions expérimentales, une rigueur rare dans la littérature robotique, sans annoncer de calendrier de déploiement industriel.

UELes enjeux de retrait de données et de conformité soulevés touchent directement les industriels européens de la téléopération robotique soumis aux exigences de consentement et de suppression de données (type RGPD).

RecherchePaper

1 source

2arXiv cs.RO

Apprendre à assister : des modèles VLA collaboratifs pour la coopération implicite humain-robot

Des chercheurs ont publié le 12 juin 2026 (arXiv:2606.12475) une étude sur l'usage de modèles vision-langage-action (VLA) entraînés par imitation learning pour la collaboration humain-robot (HRC) implicite, sans signal explicite déclenchant l'assistance robotique. Évaluant deux VLA de référence sur des tâches d'assemblage collaboratif, l'équipe identifie un défaut propre aux politiques d'action-chunking : la "fuite d'actions de démonstration" (demonstration action leakage). Ce phénomène survient lorsque des chunks d'actions enjambent des transitions latentes de sous-tâches, poussant le robot à assister l'humain trop tôt, comme tendre un outil avant que l'opérateur soit prêt à le saisir. Pour corriger ce comportement sans réentraîner le modèle, les auteurs proposent un pilotage à l'inférence (inference-time steering). Une étude à 16 participants sur une tâche d'assemblage longue horizon confirme que le steering réduit les interventions prématurées, accélère la collaboration et diminue les échecs par rapport à une politique à horizon court. Ce résultat ouvre une voie concrète pour l'intégration des VLA dans des workflows industriels collaboratifs, jusqu'ici dépendants de pipelines codés à la main, peu scalables vers de nouvelles tâches. La fuite d'actions constitue un avertissement direct pour les équipes déployant des politiques ACT ou diffusion en mode HRC : allonger l'horizon d'exécution, souvent souhaitable pour la fluidité du mouvement, aggrave le problème. Le steering à l'inférence fournit un correctif opérationnel sans modification du modèle entraîné, ce qui le rend attractif pour un déploiement rapide. Les VLA généralistes comme Pi-0 (Physical Intelligence), OpenVLA ou GR00T N2 (NVIDIA) ont prouvé leur efficacité en manipulation autonome, mais leur usage en HRC implicite restait peu documenté. Cette publication comble ce manque méthodologique. En Europe, des acteurs comme Enchanted Tools et Wandercraft, dont les robots sont conçus pour opérer aux côtés d'humains, pourraient réduire leur charge d'ingénierie manuelle en s'appuyant sur ces résultats. La prochaine étape sera d'étendre la méthode à des environnements industriels non contrôlés et à des tâches encore plus longues, afin d'évaluer la robustesse du steering face à la variabilité réelle des comportements humains.

UEEnchanted Tools et Wandercraft, acteurs européens de la robotique collaborative, pourraient réduire leur charge d'ingénierie manuelle en adoptant le steering à l'inférence pour corriger la fuite d'actions dans leurs déploiements VLA, sans réentraîner leurs modèles.

RechercheOpinion

1 source

3arXiv cs.RO

Apprendre de l'humain pour une assistance proactive dans le transport collaboratif homme-robot

Une équipe de recherche en robotique présente PROACT, un framework pour le transport collaboratif homme-robot, décrit dans un article arXiv (2609.25351v1) publié en septembre 2026. Le système combine anticipation du comportement humain et contrôle compliant du corps entier d'un robot, via une architecture transformer entraînée sur un vaste jeu de données réel de démonstrations de transport en binôme humain-humain. Ce modèle apprend à prédire le mouvement futur de l'objet transporté à partir du comportement collaboratif observé. Testé sur 108 essais réels avec un manipulateur mobile à 9 degrés de liberté, PROACT réduit le travail d'interaction moyen de 59,2% par rapport à une approche purement compliante, et de 20,4% par rapport à une commande prédictive (MPC) classique. Le temps de complétion moyen baisse de 12,9% et 6,9% respectivement face à ces deux références. Une vidéo des expériences a été mise en ligne pour illustrer les résultats. Le transport collaboratif d'objets lourds ou encombrants reste un problème non résolu en robotique, avec des applications directes en logistique, en manufacturing et à domicile. Jusqu'ici, les approches se scindaient en deux familles incompatibles: des robots efficaces pour déplacer l'objet mais rigides face aux ajustements de l'utilisateur, ou des robots souples et réactifs mais incapables d'agir sans guidage humain constant. En démontrant qu'un seul modèle peut réduire simultanément l'effort physique perçu par l'utilisateur et le temps d'exécution, PROACT apporte une preuve empirique que l'anticipation apprise et la compliance mécanique ne sont pas mutuellement exclusives, un résultat qui intéresse directement les intégrateurs travaillant sur la cobotique industrielle et l'assistance physique. Le travail s'inscrit dans la lignée des recherches sur le contrôle compliant et le model prédictive control appliqués à la manipulation collaborative, deux approches jusque-là traitées séparément dans la littérature. L'apport de PROACT est de fusionner ces deux paradigmes grâce à un modèle appris du comportement humain plutôt qu'à des règles ou une planification pure. L'article ne précise pas de partenariat industriel ni de calendrier de déploiement commercial: il s'agit à ce stade d'un résultat de recherche validé en environnement contrôlé, avec du matériel expérimental, et non d'un produit ou d'un pilote industriel annoncé.

RecherchePaper

1 source

4arXiv cs.RO

Revue de la littérature et étude expérimentale sur l'apprentissage par renforcement à partir de retours humains pour la collaboration humain-robot

Une équipe de chercheurs publie sur arXiv (2610.09891) une revue de cadrage suivie d'une expérience en réalité virtuelle sur l'apprentissage par renforcement à partir de retours humains (RLHF) appliqué à la collaboration humain-robot (HRC). La revue suit les lignes directrices PRISMA : sur 199 références examinées, 20 publications évaluées par des pairs (2020-2025) ont été retenues, couvrant plusieurs domaines de la HRC. Les auteurs affirment qu'il s'agit de la première revue centrée sur la conception bidirectionnelle en boucle fermée du RLHF. Elle recense plusieurs modalités de retour (donc plusieurs formats de données), qui peuvent être intégrées à différentes étapes de l'entraînement, ce qui donne un développement en plusieurs phases. Les systèmes sont le plus souvent évalués par des expériences pilotes, avec des métriques côté humain et côté robot. Pour tester une lacune identifiée, l'équipe a mené une expérience en environnement virtuel, en groupes indépendants (between-subjects), comparant un retour initié par le système et un retour initié par l'utilisateur, sur le comportement proxémique d'un robot qui navigue en sécurité autour d'une personne. Les résultats reposent sur des modèles bayésiens qui relient les retours collectés à deux mesures de sécurité : la sécurité psychologique, relevée par questionnaire après l'expérience, et la sécurité physique, mesurée par l'inverse du temps avant collision. Le retour initié par l'utilisateur traduit mieux la sécurité perçue que celui déclenché par le système. Le moment où le retour est demandé influence donc directement sa qualité. L'abstract ne donne ni taille d'échantillon ni effets chiffrés, et l'expérience porte sur un scénario simulé et un seul comportement (la navigation), de sorte que la portée industrielle reste à démontrer. Pour les intégrateurs, le message est pragmatique : la manière de collecter les retours (quand, à l'initiative de qui) pèse autant que l'algorithme sur la sécurité d'un robot collaboratif. Une interface où l'opérateur signale lui-même un inconfort ou une trajectoire trop proche produirait des signaux d'entraînement plus fiables que des sondages automatiques à intervalles fixes. Le travail relativise aussi l'idée que davantage de données humaines suffit, puisque leur qualité dépend du protocole de collecte. Le contexte est celui de l'Industrie 4.0 et de la personnalisation de masse, où la HRC doit permettre des lignes flexibles sans cloisonner l'homme et la machine. Le RLHF, popularisé par les modèles de langage, est transposé à la robotique physique avec des contraintes propres : la sécurité pendant l'apprentissage, le bruit et la fatigue des évaluateurs humains, et l'adaptation mutuelle entre l'humain et le robot. Les auteurs identifient un manque d'expériences HRC réalistes qui comparent les méthodes de collecte de retours. Ils recommandent d'en faire la priorité de la recherche à venir, en mesurant leurs effets sur des métriques humaines et robotiques. Il s'agit d'un travail académique sans produit ni déploiement annoncé, et ses conclusions devront être confirmées sur robots réels, en environnement industriel et avec des échantillons plus larges.

RecherchePaper

1 source