RecherchearXiv cs.RO 10 juin 2026

Apprentissage en ligne auto-supervisé pour la co-adaptation dans les politiques de diffusion hiérarchiques

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent ORCHID, un cadre d'auto-entraînement présenté sur arXiv (2603.05291) qui s'attaque à un problème structurel de la manipulation robotique longue durée : la désynchronisation entre planificateur haut niveau et contrôleur bas niveau au sein des politiques hiérarchiques. Dans ces architectures, un planificateur décompose une instruction en langage naturel en sous-objectifs intermédiaires, que le contrôleur exécute physiquement. La difficulté est que les deux modules, entraînés séparément, opèrent sur des distributions de sous-objectifs incompatibles. ORCHID corrige cela en ligne : le système génère des trajectoires, les filtre selon le feedback de l'environnement (réussite ou échec de la tâche complète), puis distille les trajectoires conjointement réussies dans les deux modules via apprentissage supervisé. Il en résulte une co-adaptation bidirectionnelle : le planificateur ancre ses sous-objectifs dans les capacités réelles du contrôleur, tandis que le contrôleur se spécialise dans les structures de trajectoire que produit le planificateur. Sur le benchmark CALVIN, référence pour la manipulation séquentielle guidée par le langage, un modèle léger entraîné avec ORCHID surpasse les méthodes purement offline, y compris un modèle Vision-Language-Action (VLA) deux fois plus grand en paramètres.

L'impact est notable sur deux points. En termes d'efficacité paramétrique, qu'un modèle léger dépasse un VLA deux fois plus lourd remet en question l'hypothèse courante que l'échelle seule suffit pour les tâches complexes. En termes de stabilité d'entraînement, combiner RL hiérarchique et modèles de diffusion est notoirement instable à cause de la propagation des gradients. ORCHID contourne ce problème en substituant la distillation supervisée sur échantillons filtrés au RL gradient classique, une voie potentiellement plus praticable dans les contextes industriels où la reproductibilité de l'entraînement est critique. Le mécanisme de co-adaptation proposé constitue un principe architectural plus général, transférable à d'autres familles de politiques hiérarchiques au-delà des modèles de diffusion.

Le travail s'inscrit dans la dynamique actuelle autour des politiques de diffusion pour la robotique, portée par des frameworks comme Diffusion Policy (Chi et al., 2023) et π₀ de Physical Intelligence. ORCHID se distingue en ciblant non l'architecture mais la coordination inter-niveaux, un aspect souvent sous-traité par les approches VLA end-to-end qui fusionnent planification et contrôle dans un seul réseau. Le benchmark CALVIN, développé à l'Université de Freiburg, est la référence principale pour évaluer la généralisation en manipulation séquentielle sur des tâches à horizon long. Les prochaines étapes naturelles incluent une validation sur robots physiques et une extension à des horizons temporels plus longs, deux points que cet article n'aborde pas encore.

Dans nos dossiers

Physical Intelligence — π0 Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Politique de diffusion supervisée par ensembles : apprentissage du découpage d'actions par corrections

Des chercheurs proposent Set-Supervised Diffusion Policy (SDP), un cadre d'entraînement pour politiques de diffusion appliquées à la manipulation robotique, publié en preprint sur arXiv le 2 juin 2026 (arXiv:2606.01865). La méthode exploite les corrections humaines lors du déploiement comme signal d'entraînement contrastif : quand un robot échoue et qu'un opérateur corrige sa trajectoire, le système enregistre à la fois l'action-chunk non désirée du robot et l'action-chunk corrective de l'humain. SDP construit à partir de ces paires un ensemble d'action-chunks désirés, puis entraîne la politique de diffusion à s'aligner sur cet ensemble via une loss contrastive. Des expériences sur plusieurs tâches de manipulation valident l'approche, avec des gains particulièrement nets en robustesse aux données bruitées et en efficacité d'agrégation de données. Le problème visé est fondamental en imitation learning : le distributional shift. Un robot entraîné par behavior cloning sur des démonstrations d'expert sort rapidement du domaine dès le déploiement, ce qui dégrade ses performances et force des interventions humaines répétées. Les pipelines d'agrégation de données de type DAgger ajoutent des démonstrations correctives, mais ignorent le signal négatif, c'est-à-dire les actions erronées du robot lui-même. Résultat : surapprentissage sur les démonstrations de l'enseignant, et besoin croissant de données expertes coûteuses. SDP inverse la logique en intégrant ce signal négatif explicitement dans la fonction de perte, réduisant la dépendance aux démonstrations coûteuses tout en produisant des datasets agrégés de meilleure qualité. Les politiques de diffusion pour la robotique ont émergé comme référence depuis les travaux de Chi et al. (Diffusion Policy, 2023), et l'action chunking a été popularisé par ACT (Zhao et al., 2023). L'apprentissage par correction interactive remonte à DAgger (Ross et al., 2011). Physical Intelligence avec π0, ou des variantes RLHF adaptées à la robotique, explorent des voies proches sans pour autant exploiter explicitement le signal contrastif issu des actions indésirables. SDP se positionne comme une brique modulaire greffable sur des architectures de diffusion existantes : le code est disponible publiquement. Les suites naturelles pointent vers une mise à l'échelle sur des tâches de manipulation longue-durée et des robots mobiles, où le coût de collecte de données expertes est un vrai frein industriel.

RechercheOpinion

1 source

2arXiv cs.RO

Apprentissage hiérarchique de politiques résiduelles pour la manipulation mobile en conditions réelles, avec peu de guidage humain

HiRe-MoMa (Hierarchical Residual Mobile Manipulation) est un cadre d'apprentissage proposé dans un preprint arXiv (2610.20607) pour affiner, directement sur robot réel, des systèmes de manipulation mobile (MoMa). Il gèle une politique de base et apprend par-dessus des corrections additives, dites résiduelles, indépendantes de l'architecture de cette politique. Ce résiduel est scindé en deux têtes, l'une pour la base mobile et l'autre pour le bras manipulateur, avec un conditionnement unidirectionnel censé limiter les interférences de gradients et refléter la hiérarchie physique de la plateforme. Un second mécanisme, l'Expert-Guided Value Alignment, exploite de rares interventions humaines, couvrant moins de 20 % de l'entraînement, pour remodeler la fonction de valeur du critique et orienter l'exploration autonome. Les expériences ont été menées sur le robot TIAGo++, avec environ 30 minutes d'interaction en ligne, et les auteurs rapportent une amélioration constante des performances quelle que soit la politique de base. Le résumé ne donne ni taux de réussite ni liste de tâches. L'intérêt pour l'industrie tient au goulot d'étranglement que ce travail vise : l'affinage en conditions réelles de systèmes mobiles, où l'espace d'action est de grande dimension et où la base et le bras sont fortement couplés. Les politiques généralistes de type VLA (vision-langage-action) restent souvent fragiles une fois sorties de leurs conditions d'entraînement, et l'apprentissage par renforcement sur robot réel est coûteux en données et risqué. Une adaptation en une demi-heure, avec un superviseur humain intervenant ponctuellement, correspondrait à un coût de mise en service compatible avec un pilote chez un intégrateur. Le caractère agnostique vis-à-vis de la politique de base est un atout, car il permettrait de greffer la méthode sur des modèles existants sans les réentraîner. Les auteurs affirment toutefois être « parmi les premiers » à y parvenir, ce qui reste à situer, et l'absence de chiffres dans le résumé impose de lire les tableaux : nombre de tâches, de séries d'essais, robustesse hors configuration d'entraînement et fréquence des échecs ou des collisions. Ce travail s'inscrit dans la montée de l'apprentissage résiduel et de l'affinage par RL de politiques pré-entraînées par imitation, une voie explorée pour combler l'écart entre démonstration et fiabilité. Le choix de TIAGo++, plateforme de recherche bimanuelle développée par PAL Robotics, société barcelonaise, donne en outre une visibilité à l'écosystème européen. Il s'agit d'un résultat académique et non d'un produit : aucun déploiement commercial ni calendrier n'est annoncé. Les suites naturelles sont la validation sur d'autres plateformes, des tâches plus longues et des environnements plus dynamiques, ainsi qu'une comparaison avec les approches d'affinage de grands modèles généralistes. Le site du projet, hire-moma.github.io, doit détailler les expériences.

UELe choix du robot TIAGo++ de PAL Robotics (Barcelone) donne une visibilité à l'écosystème européen, sans déploiement ni impact direct en France.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage de politiques hiérarchiques par décomposition spectrale

Des chercheurs ont publié le 30 juin 2026 sur arXiv (réf. 2606.29570) une nouvelle architecture de politique robotique appelée Causal Spectral Policy (CSP), fondée sur une décomposition spectrale des séquences d'actions via la transformée en cosinus discrète (DCT). L'observation centrale est la suivante : les composantes basse fréquence d'une séquence de mouvements encodent la trajectoire globale et l'intention de tâche, tandis que les composantes haute fréquence capturent le timing précis, l'alignement et les comportements de contact. CSP génère d'abord un mouvement grossier conditionné sur l'observation visuelle et l'instruction en langage naturel, puis produit des corrections fines conditionnellement sur la trajectoire réalisée, selon un processus causal dit "coarse-to-fine". Les évaluations en simulation et en environnement réel montrent des performances supérieures aux baselines sur des tâches de manipulation sensibles à la précision. L'équipe propose également une augmentation de données par injection de bruit de télé-opération humaine, simulant les imperfections naturelles des démonstrations collectées par opérateur. Cette approche répond à un défi structurel persistant de l'apprentissage par imitation (behavior cloning) : les politiques standards peinent à concilier cohérence globale du mouvement et précision locale au moment du contact. En séparant explicitement ces deux niveaux via la décomposition spectrale, CSP évite que les perturbations haute fréquence ne corrompent la planification de trajectoire, et inversement. La robustesse aux démonstrations bruitées est particulièrement pertinente pour les intégrateurs industriels qui collectent des données de télé-opération à grande échelle, où la qualité des démonstrations est intrinsèquement variable. Cela adresse aussi partiellement le problème du sim-to-real gap : traiter séparément la dynamique globale et les ajustements fins rend la politique moins sensible aux écarts entre simulation et réel. CSP s'inscrit dans un mouvement plus large de raffinement des politiques d'imitation, qui a vu émerger ces dernières années Diffusion Policy (Chi et al., 2023), ACT (Action Chunking with Transformers) ou des modèles VLA comme Pi-0 de Physical Intelligence et OpenVLA. Là où ces approches misent sur l'expressivité de l'architecture ou le volume de données d'entraînement, CSP parie sur un biais inductif structurel emprunté au traitement du signal. Il s'agit à ce stade d'un résultat de preprint sans déploiement industriel annoncé. Les prochaines étapes naturelles incluent des benchmarks sur des tâches de haute précision type assemblage ou vissage, et une validation sur des plateformes matérielles standardisées comme Franka ou UR.

RechercheOpinion

1 source

4arXiv cs.RO

Apprentissage de l'anticipation sans trajectoires explicites pour les politiques de diffusion 3D

Un preprint publié sur arXiv en septembre 2026 (2609.20669) présente Movement Trend Guidance (MTG), une méthode qui améliore les politiques de diffusion 3D en manipulation robotique. Construite au-dessus du modèle de référence DP3 (3D Diffusion Policy), elle n'ajoute que 3,52% de paramètres supplémentaires. À partir d'un court historique d'observations, le système apprend une représentation latente compacte de l'évolution de l'interaction, supervisée à l'entraînement par des états futurs épars du gripper; à l'inférence, seul ce latent sert de signal de conditionnement, injecté via une branche FiLM ajoutée au goulot d'étranglement du réseau UNet. Les gains face à DP3 sont nets sur trois bancs d'essai: 62,8% contre 56,1% en entraînement mixte sur 50 tâches de RoboTwin2.0, 71,93% contre 37,08% sur LIBERO-40, et 72,0% contre 49,0% sur cinq tâches évaluées en conditions réelles, sur le benchmark DexArt. L'enjeu dépasse le score brut. Les politiques de diffusion génèrent des mouvements géométriquement plausibles à partir de l'observation présente, mais laissaient jusqu'ici l'anticipation de la suite de l'interaction émerger implicitement de l'apprentissage de l'action seule. MTG rend cette anticipation explicite sans imposer de trajectoire planifiée, une alternative légère aux modèles du monde ou à la prédiction de trajectoire explicite, plus coûteux en calcul. Pour les intégrateurs et les équipes de recherche, le signal clé est que ce gain de robustesse, dont un quasi-doublement du taux de réussite sur LIBERO-40, s'obtient pour un surcoût d'architecture marginal, ce qui facilite une adoption dans des piles déjà basées sur DP3. Le travail reste toutefois un résultat de preprint non relu par les pairs, évalué selon le protocole propre des auteurs; l'écart entre benchmark et déploiement industriel réel reste à confirmer à plus grande échelle. DP3 combine diffusion générative et observations en nuages de points 3D pour l'apprentissage par imitation de tâches de manipulation. RoboTwin2.0, LIBERO-40 et DexArt sont des bancs d'essai standards du secteur pour comparer les politiques de manipulation, en simulation et, pour partie, en conditions réelles. MTG s'inscrit dans une recherche plus large, menée en parallèle des grands modèles vision-langage-action comme Pi-0, GR00T N2 ou Helix, qui cherchent tous à doter les politiques robotiques d'une meilleure anticipation à long horizon sans planification de trajectoire coûteuse. Aucun acteur commercial français ou européen n'est associé à ces travaux, qui restent une contribution académique; ni date de publication du code ni pilote industriel ne sont mentionnés, la suite logique étant une revue par les pairs puis une éventuelle intégration dans des piles VLA commerciales existantes.

RecherchePaper

1 source