RecherchearXiv cs.RO 17 septembre 2026

WeaveRL : entrelacer la reconstruction dans des tissus sensibles à la scène pour l'apprentissage par renforcement perceptif

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un preprint publié sur arXiv en septembre 2026 (référence 2609.18685) présente WeaveRL, une méthode accélérée par GPU qui reconstruit une scène de manipulation sous forme de surfels, en parallèle dans des milliers d'instances de simulation pendant l'entraînement par renforcement. Elle remplace les représentations de scène statiques et codées à la main des contrôleurs anti-collision dits "geometric fabrics" par une géométrie dérivée directement des capteurs. Sur une série de tâches de manipulation denses en collisions, ces "surfel fabrics" réussissent là où des méthodes de référence à primitives géométriques échouent, tout en conservant un transfert sim-to-real fonctionnel. Face à des obstacles inédits introduits au moment du test, le taux de complétion de tâche sans collision passe de 35% à 61%. Les auteurs publient en accès libre le système de reconstruction, le code d'entraînement et un jeu de données de test.

Cette avancée s'attaque à un verrou connu du RL en robotique: jusqu'ici, intégrer une perception 3D active et en ligne dans un entraînement massivement parallélisé sur GPU restait hors de portée faute de méthode de reconstruction assez rapide, ce qui obligeait les équipes à coder la géométrie des scènes à la main, une pratique mal adaptée à des environnements réels où objets et obstacles varient. En démontrant que la reconstruction par surfels tient la cadence sur des milliers de simulations simultanées, WeaveRL déplace cette limite technique. Pour les intégrateurs et les équipes robotiques industrielles, l'écart mesuré entre 35% et 61% de réussite face à des obstacles inédits illustre concrètement le fossé récurrent entre démonstrations en environnement contrôlé et généralisation en conditions réelles, et suggère que coupler perception active et contrôle anti-collision est une piste crédible pour le réduire, sans pour autant régler la question du passage à l'échelle hors laboratoire.

Le travail prolonge la lignée des "geometric fabrics", des contrôleurs anti-collision déjà utilisés comme socle du RL en manipulation mais jusqu'ici cantonnés à des scènes statiques faute de perception embarquée compatible avec l'entraînement massivement parallèle. WeaveRL se positionne explicitement face aux méthodes à primitives géométriques, qu'il surpasse sur les tâches denses en collisions, sans toutefois se comparer dans ce preprint aux approches génériques de type vision-langage-action employées par ailleurs dans le secteur humanoïde. Il s'agit à ce stade d'une publication de recherche non encore relue par les pairs, et non d'un produit ou d'un système déployé en usine: aucun pilote industriel ni calendrier de commercialisation n'est annoncé. En publiant leur code d'entraînement, leur système de reconstruction et leur jeu de données de test, les auteurs cherchent explicitement à ce que d'autres laboratoires reproduisent et prolongent cette approche.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

eRLT : apprentissage par renforcement efficace pour les VLA grâce au routage des tokens pertinents pour l'action

Des chercheurs proposent eRLT, une méthode qui adapte par apprentissage par renforcement (RL) en ligne un modèle Vision-Langage-Action (VLA) dont les poids restent gelés. Le point de départ est l'efficacité en échantillons : elle dépend de la qualité de la représentation d'état fournie à l'acteur et au critique. Les approches existantes utilisent soit des encodeurs visuels indépendants du VLA, soit une compression fixe de ses représentations internes. eRLT construit cette représentation en acheminant l'information utile à l'action à travers les tokens et les couches du VLA. Des « tokens de routage » appris agrègent les caractéristiques visuo-linguistiques à plusieurs profondeurs. Un routeur de couches léger fusionne ensuite ces résumés en un unique « token RL » de dimension fixe. Le module est d'abord initialisé sur des démonstrations expertes, pour capter les caractéristiques qui prédisent les actions de l'expert. Il est ensuite affiné avec le retour du critique pendant les interactions en ligne, afin d'améliorer l'estimation de la valeur des actions. Sur sept tâches des benchmarks LIBERO et RoboTwin, la méthode améliore l'aire sous la courbe d'apprentissage normalisée (AUC) moyenne jusqu'à 23,7 % par rapport aux références représentatives. Sur robot réel, l'insertion d'un connecteur USB et celle d'un câble ruban de carte mère progressent respectivement de 108,9 % et 46,7 % d'AUC face à la meilleure référence. L'enjeu tient à la dernière étape du déploiement des VLA. Ces modèles fournissent de bons a priori comportementaux, mais les adapter à une tâche de précision reste coûteux en essais physiques. Les deux tâches réelles retenues, des insertions de connecteurs et de nappes, relèvent de l'assemblage électronique, où la tolérance est faible et où les démonstrations seules suffisent rarement. Si l'idée se confirme, elle réduirait le temps de mise au point sur site, un coût que supportent les intégrateurs. Elle suggère aussi que le goulot d'étranglement n'est pas toujours le modèle de base, mais la façon d'en extraire un état exploitable pour le RL. Il faut toutefois relativiser. Les gains sont exprimés en AUC relative, une mesure de vitesse d'apprentissage, et non en taux de réussite final, en temps de cycle ou en fiabilité sur de longues séries. Les résultats réels portent sur deux tâches, sans volumes ni durées d'essai communiqués dans ce résumé. Ce travail s'inscrit dans le courant de l'adaptation par RL de VLA gelés, qui cherche à dépasser le simple clonage de comportement. Il se positionne contre deux familles de référence : les encodeurs visuels séparés du VLA et la compression fixe de ses représentations. LIBERO et RoboTwin sont des benchmarks de simulation très utilisés, ce qui facilite la comparaison mais n'équivaut pas à un déploiement industriel. Il s'agit d'une prépublication arXiv (v1), sans pilote ni calendrier annoncés. Les prochaines étapes à surveiller sont une validation sur davantage de tâches et de plateformes, ainsi qu'une mesure du coût de calcul réel et de la robustesse face aux variations de conditions, des critères décisifs pour une adoption en atelier.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage par renforcement sensible à la force : estimation hybride sans capteur pour la loco-manipulation de robots à roues et jambes

Un article scientifique publié sur arXiv (arXiv:2609.13779, prépublication non encore relue par les pairs) présente une méthode d'apprentissage par renforcement sensible à la force pour des robots à locomotion mixte roues-pattes effectuant simultanément déplacement et manipulation. Le système estime la force exercée par l'effecteur terminal sans capteur de force/couple dédié, en combinant trois briques : une observation du moment généralisé du robot, une projection du torseur des efforts sous contrainte de contact, et un réseau de neurones qui apprend en résiduel les biais liés au mouvement non captés par les modèles physiques. Cette estimation alimente une politique de contrôle « corps entier » conditionnée par mode, dotée d'un sélecteur axe par axe entre position et force, permettant de basculer entre mouvement libre, régulation de force pure et contrôle hybride force/position au sein d'un seul contrôleur. Les auteurs rapportent des gains en simulation sur la précision de l'estimation de force sans capteur et sur les performances de contrôle en force, puis valident l'approche sur un robot à roues-pattes réel lors de quatre tâches : rotation de valve, essuyage en mode hybride, ouverture de porte guidée par la force, et suivi à force nulle lorsqu'un humain guide le bras manuellement. Pour l'industrie, l'intérêt est d'abord économique : supprimer le capteur de force/couple dédié à l'effecteur réduit le coût, la fragilité et la maintenance des bras manipulateurs montés sur plateformes mobiles, un frein connu au déploiement des robots mobiles à bras dans des tâches à contact physique comme les vannes, les portes ou l'essuyage de surfaces. Qu'un seul contrôleur passe de façon fluide entre mouvement libre et régulation de force, sans recalibrage ni bascule manuelle de mode, répond à une limite fréquente des contrôleurs hybrides classiques sur bases flottantes à contacts changeants, typiques des plateformes combinant roues et pattes. Les gains annoncés restent toutefois qualitatifs, sans chiffres de précision ou de temps de cycle publiés dans le résumé, et les essais matériels portent sur un nombre limité de tâches et une seule plateforme, ce qui invite à la prudence avant d'en déduire une généralisation à d'autres robots ou environnements industriels. Le travail prolonge des recherches antérieures sur les observateurs de moment généralisé, déjà utilisés en robotique à pattes pour détecter des forces externes et des contacts, en les associant pour la première fois à un apprentissage par renforcement conditionné par mode sur une base mobile roues-pattes, catégorie intermédiaire entre robots à roues purs et humanoïdes bipèdes, plus rapide que la marche et plus stable que les roues seules sur terrain irrégulier. L'article ne précise ni le laboratoire ni l'industriel à l'origine des travaux, ni le nom du robot utilisé pour les essais, ce qui limite la comparaison directe avec des acteurs identifiés du secteur des plateformes hybrides. Il s'agit à ce stade d'une publication de recherche, sans annonce de produit ni de calendrier de déploiement commercial ; la suite logique évoquée serait une extension à davantage de tâches de manipulation en contact et une comparaison quantitative face à des contrôleurs équipés de capteurs de force réels.

RecherchePaper

1 source

3arXiv cs.RO

Directives d'exploration efficace dans l'apprentissage par renforcement sûr

Ce papier de recherche, publié sur arXiv le 15 juillet 2026, présente ATACOM Directional Constraints (ATACOM-DC), une extension du framework ATACOM (safety layer) destinée à l'apprentissage par renforcement sûr pour la robotique. Le problème de départ est connu du secteur : en simulation, le RL permet d'apprendre des comportements robotiques complexes, mais un déploiement réel en environnement ouvert exige des garanties de sécurité fortes pour éviter tout geste dangereux. Les méthodes de Safe RL existantes imposent des contraintes de sécurité issues de la connaissance du système ou apprises depuis les données, mais cette contrainte ralentit généralement l'apprentissage et dégrade les performances de la tâche, l'agent devant résoudre un problème d'optimisation contraint plus complexe qu'en configuration non contrainte. L'innovation proposée introduit des contraintes directionnelles qui distinguent les actions s'approchant d'une frontière de sécurité de celles qui s'en éloignent, n'activant l'enforcement de la contrainte que lorsque c'est réellement nécessaire. Les auteurs évaluent leur méthode sur plusieurs tâches de contrôle robotique complexes en simulation, en mesurant à la fois le coût de violation des contraintes et les performances de tâche obtenues. Code et matériel supplémentaire disponibles sur atacom-dc.robot-learning.net. Pour l'industrie robotique, l'enjeu dépasse la seule performance académique : le compromis sécurité/performance est justement ce qui bloque aujourd'hui le passage de nombreux systèmes RL de la simulation au déploiement réel, notamment pour des bras manipulateurs ou des robots mobiles opérant en environnement humain. Une méthode qui réduit ce compromis sans sacrifier les garanties de sécurité intéresse directement les intégrateurs et les équipes R&D qui cherchent à industrialiser des politiques apprises plutôt que programmées à la main. Cela dit, il s'agit ici de résultats en simulation uniquement, sur un ensemble de tâches de contrôle choisies par les auteurs, sans validation sur robot physique ni déploiement industriel : le gap sim-to-real reste entier, et la portée réelle du gain de performance annoncé demande à être confirmée hors laboratoire. ATACOM-DC s'inscrit dans la lignée d'ATACOM, une safety layer déjà reconnue comme référence pour intégrer des contraintes de sécurité à des algorithmes de RL existants sans les reconcevoir entièrement. Le positionnement se fait ainsi moins face à des concurrents commerciaux que face aux autres approches académiques de Safe RL, généralement critiquées pour leur coût en vitesse d'apprentissage. Aucun acteur français ou européen n'est associé à ces travaux. Les auteurs annoncent la mise à disposition du code et de matériel complémentaire en ligne, ce qui ouvre la voie à une reproduction et une extension par d'autres équipes de recherche en robotique et RL sûr, sans toutefois qu'un calendrier de tests sur systèmes réels ne soit mentionné à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

Guidage par imitation dans l'espace des tâches pour un apprentissage par renforcement efficace

TIGER (Task-Space Imitation Guidance for Efficient Reinforcement Learning) est un cadre de construction de récompense et de préentraînement pour la manipulation robotique sur table avec récompense éparse, publié sur arXiv en octobre 2026 (2610.07527). Son idée centrale est de ne pas utiliser la politique d'imitation, qui prédit des séquences d'actions (action chunks), comme contrôleur ni comme prior d'actions. Elle sert d'estimateur local de progression dans l'espace de la tâche. Les chunks prédits sont convertis, via une correspondance action-mouvement qui tient compte du contrôleur, en références d'effecteur final à court horizon. L'agent RL reçoit alors des récompenses denses de progression vers ces références, tandis que la récompense éparse de l'environnement reste l'objectif dominant. Pendant le préentraînement, des signaux d'anticipation issus de l'imitation assouplissent les pénalités de valeur conservatrices pour les actions censées faire progresser la tâche. Cela limite l'exploration hors de la distribution des données au début de l'apprentissage en ligne. Les auteurs annoncent, en simulation et sur robot réel, une meilleure efficacité d'échantillonnage initiale et moins de violations de sécurité mesurées, avec un taux de succès final égal ou supérieur aux baselines RL et IL-RL. L'intérêt tient au point faible de l'apprentissage par renforcement sur robot physique : le coût en interactions et le risque de casse pendant l'exploration. Comme la politique d'imitation n'est jamais exécutée, ses erreurs ne plafonnent pas la performance finale. Elle ne fait que guider la récompense, ce qui limite le risque d'enfermer l'agent dans les défauts des démonstrations. Pour un intégrateur, une phase d'adaptation en ligne plus courte et plus sûre se traduit directement en temps de mise en service. Il faut toutefois relativiser. Le résumé ne donne aucun chiffre (gain d'échantillons, taux de succès, nombre de violations), ne nomme ni robot ni tâches, et se limite à des scénarios sur table. On ne peut donc pas juger l'ampleur du gain ni sa portée au-delà de ces tâches. Ce travail s'inscrit dans le courant qui cherche à combiner imitation et RL. Les modèles VLA entraînés par imitation, comme Pi-0, plafonnent en précision et en robustesse, et le RL en ligne reste la voie principale pour dépasser ce plafond. Les approches concurrentes incluent le RL résiduel, l'ajustement fin de politiques de diffusion et les méthodes hors ligne vers en ligne à pénalités conservatrices. TIGER vise surtout la phase de transition de ces dernières. Les prochaines étapes naturelles seraient des horizons plus longs, la manipulation mobile et des tâches à contacts riches, mais le résumé n'annonce ni code ni calendrier.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source