Sécurisation de l'exécution de politiques RL par contrainte CBF-QP basée sur l'accélération pour des déploiements robotiques réels

Une équipe de recherche présente Acc-CBF-QP, un filtre de sécurité formulé comme un programme quadratique (QP) basé sur l'accélération et des fonctions de barrière de contrôle (CBF), destiné à contraindre en temps réel n'importe quelle politique d'apprentissage par renforcement (RL) sans toucher à son entraînement. Le système impose simultanément des limites de position articulaire, de vitesse, de couple et d'évitement de collision dans un seul cadre d'optimisation. Sa contribution centrale réside dans deux nouvelles tâches RL+QP : TorqueTask, qui minimise l'écart de couple par rapport à la commande RL, et Forward Dynamics Task, qui minimise l'écart d'accélération induite, permettant d'arbitrer finement entre sécurité et performance. La méthode a été validée en simulation et sur matériel réel, sur un bras manipulateur Kinova Gen3 à 7 degrés de liberté et sur l'humanoïde Unitree H1 à 19 degrés de liberté. Sur H1 en conditions réelles, une politique Safe-RL seule produisait 10,04 violations de contraintes par seconde ; ajoutée à Acc-CBF-QP, ce taux chute de 92%, à 0,80 violation par seconde. Sur le Kinova Gen3, les violations sont totalement éliminées. Le pipeline complet est publié en open source.

L'enjeu dépasse la simple métrique de sécurité : le RL peine à passer du laboratoire au terrain précisément parce qu'il ne fournit aucune garantie formelle face aux états hors distribution, un problème critique pour des robots à pattes ou des manipulateurs opérant près de leurs limites physiques. En montrant que ce filtre préserve les performances nominales de la tâche RL dans les régimes sans violation, et qu'il évite même les arrêts d'urgence déclenchés par des dépassements de contrainte lors de commandes de vitesse agressives sur H1 (donc une durée de fonctionnement prolongée), les auteurs répondent directement à un frein connu à l'adoption industrielle : la difficulté de certifier des comportements appris pour un déploiement en sécurité sur du matériel réel.

Ce travail s'inscrit dans la lignée des fonctions de barrière de contrôle, un outil de sécurité formelle de plus en plus combiné au RL et au Safe-RL pour compenser l'absence de garanties intrinsèques de ces politiques. Contrairement à des approches qui modifient l'entraînement lui-même, Acc-CBF-QP agit en aval, comme une couche de filtrage appliquée à l'exécution, ce qui facilite son adoption sur des politiques déjà entraînées. La publication du code laisse entrevoir une adoption possible par d'autres équipes travaillant sur l'humanoïde ou la manipulation, sans qu'aucun calendrier de déploiement industriel ne soit pour l'instant annoncé.