Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Distribution contractive RL : maîtriser une compétence, du modèle a priori au modèle expert
RecherchearXiv cs.RO 

Distribution contractive RL : maîtriser une compétence, du modèle a priori au modèle expert

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs viennent de publier une version révisée (v2) de leurs travaux sur arXiv (2603.10263), intitulée "From Prior to Pro: Efficient Skill Mastery via Distribution Contractive RL Finetuning". Ils y présentent DICE-RL (Distribution Contractive Reinforcement Learning), une méthode pour affiner des politiques robotiques génératives pré-entraînées. Le principe : entraîner d'abord une politique de type diffusion ou flow matching sur une large base de démonstrations, pour couvrir un maximum de comportements possibles, puis la raffiner via un apprentissage par renforcement hors politique (off-policy), résiduel et peu gourmand en données. Cette phase de finetuning combine une régularisation comportementale sélective avec une sélection d'actions guidée par la fonction de valeur, l'objectif étant de transformer une politique généraliste ("prior") en politique experte ("pro") en amplifiant les comportements qui réussissent le plus souvent. Les auteurs rapportent des résultats stables et efficaces en échantillons, validés à la fois en simulation et sur un robot réel, sur des tâches de manipulation complexes et longues, directement à partir d'images brutes en pixels.

L'enjeu dépasse la simple curiosité académique : c'est le problème central des politiques génératives apprises par imitation, comme les modèles de diffusion ou les architectures vision-langage-action popularisées ces deux dernières années. Ces politiques couvrent bien la diversité des comportements de démonstration, mais peinent à devenir fiables sur des tâches longues et exigeantes, un écart bien connu entre performance en démo et robustesse en conditions réelles. Si le renforcement post-entraînement proposé ici tient ses promesses de stabilité et d'efficacité, cela offrirait aux équipes de R&D robotique un chemin plus praticable pour faire passer un modèle du stade "ça marche parfois en labo" au stade "déployable de façon fiable", sans devoir tout réentraîner depuis zéro ni collecter des volumes massifs de données réelles.

Ce travail s'inscrit dans une tendance de fond du secteur : combiner pré-entraînement génératif à grande échelle (diffusion policies, flow matching, modèles VLA type Pi-0 ou GR00T) avec des phases de renforcement plus ciblées pour gagner en fiabilité. Les auteurs ne mentionnent pas de partenariat industriel ni de calendrier de déploiement ; il s'agit à ce stade d'une contribution de recherche, avec un site de projet dédié pour consulter démonstrations et détails techniques.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

Évolution continue des compétences dans un modèle vision-langage-action (VLA)
1arXiv cs.RO 

Évolution continue des compétences dans un modèle vision-langage-action (VLA)

Des chercheurs ont publié Stellar VLA (arXiv:2511.18085v3), un cadre d'apprentissage continu par imitation (continual imitation learning, CIL) pour les modèles Vision-Langage-Action (VLA). La méthode propose deux variantes progressives : T-Stellar, fondée sur une modélisation plate centrée sur les tâches, et TS-Stellar, organisée en structure hiérarchique tâche-compétence. Les expériences menées sur le benchmark LIBERO, référence standard pour les tâches de manipulation robotique, montrent que les deux variantes surpassent les baselines VLA et CIL actuelles, avec seulement 1 % de rejeu de données. Une validation en conditions réelles sur une plateforme bi-bras, avec des configurations de scènes et d'embodiments distincts, confirme que le transfert de connaissances entre tâches reste effectif au-delà du simulateur. Le principal apport de Stellar VLA est d'adresser un frein structurel au déploiement des grands modèles VLA : les méthodes CIL existantes nécessitent des paramètres additionnels ou des modules externes, ce qui les rend difficilement scalables lorsque le modèle de base est déjà massif. En optimisant conjointement des représentations de tâches et un espace de connaissances partagé, Stellar VLA introduit un mécanisme de routage expert guidé par la sémantique, sélectionnant les K embeddings les plus proches pour orienter le modèle vers la compétence pertinente, sans alourdir l'architecture. Pour les équipes qui déploient des robots polyvalents en production, cela ouvre la voie à l'apprentissage incrémental de nouvelles tâches avec un coût de fine-tuning réduit. TS-Stellar se distingue notamment sur les manipulations hiérarchiques complexes, et les visualisations publiées illustrent une rétention robuste des compétences acquises ainsi qu'une capacité de découverte automatique de nouvelles tâches. Les VLA constituent un axe de recherche en accélération depuis 2023, portés par Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), OpenVLA (UC Berkeley) ou encore RT-2 (Google DeepMind), qui cherchent à généraliser la manipulation robotique via un préentraînement multimodal massif. La question du catastrophic forgetting, c'est-à-dire la perte des compétences antérieures lors de l'apprentissage d'une nouvelle tâche, reste un verrou non résolu à l'échelle industrielle. Stellar VLA se positionne comme une surcouche légère applicable à des VLA existants, sans retraining complet. Le projet est documenté sur stellarvla.github.io ; aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans la publication, qui reste à ce stade un travail de recherche académique.

RechercheOpinion
1 source
Contrôle robuste aux distributions via l'inférence de Stein pour la manipulation au contact
2arXiv cs.RO 

Contrôle robuste aux distributions via l'inférence de Stein pour la manipulation au contact

Une équipe de chercheurs publie sur arXiv (référence 2605.19029) une méthode de contrôle robuste pour la manipulation robotique en contact riche, domaine couvrant la saisie, l'assemblage et l'insertion précise d'objets. Le travail formalise le problème comme une optimisation de contrôle robuste aux distributions (distributionally robust control), résolue via l'inférence variationnelle de Stein, une technique probabiliste déterministe issue du machine learning bayésien. Les contrôleurs qui en résultent modélisent explicitement l'incertitude paramétrique liée aux contacts, sans nécessiter les volumes massifs de données d'entraînement qu'exigent les approches data-driven modernes. Les résultats expérimentaux rapportés indiquent une robustesse améliorée jusqu'à un facteur 3 par rapport aux méthodes classiques à base de modèles, sur une gamme de tâches avec incertitude paramétrique large. Ce chiffre est à nuancer : il provient des propres benchmarks des auteurs, sans validation indépendante. La manipulation en contact riche reste l'un des goulots d'étranglement critiques pour le déploiement de robots industriels polyvalents. Les approches VLA (Vision-Language-Action models), comme pi-0 de Physical Intelligence, offrent une flexibilité remarquable mais se dégradent fortement lorsque les données d'entraînement sont rares, ce qui limite leur adoption dans des environnements industriels où les jeux de données sont difficiles à constituer. Les contrôleurs classiques à base de modèles, à l'inverse, sont computationnellement efficaces mais peinent à représenter l'incertitude task-sensitive, c'est-à-dire celle qui impacte réellement la performance sur une tâche précise. L'approche proposée tente de combler ce fossé en injectant une modélisation probabiliste flexible dans le cadre déterministe des contrôleurs classiques, un compromis potentiellement attractif pour les intégrateurs industriels cherchant fiabilité sans pipeline de données massif. Ce travail s'inscrit dans une tendance académique cherchant à réconcilier le model-based engineering (Boston Dynamics, ABB) et les learned policies (Physical Intelligence avec pi-0, Google DeepMind avec ses architectures GR00T-style). L'inférence variationnelle de Stein, popularisée par Liu et Wang en 2016, est ici adaptée au contrôle optimal, ce qui représente une contribution méthodologique notable. Le résumé disponible ne mentionne ni déploiements réels ni partenaires industriels, signalant clairement un stade de recherche fondamentale, probablement conduite en simulation ou sur bancs d'essai de laboratoire. Une validation sur des plateformes hardware standardisées comme les bras Franka Emika ou UR10, dont les propriétés de contact sont bien documentées, constituerait la prochaine étape logique avant toute perspective d'industrialisation.

RecherchePaper
1 source
PrefPI : orienter un robot vers des comportements hors distribution grâce aux préférences
3arXiv cs.RO 

PrefPI : orienter un robot vers des comportements hors distribution grâce aux préférences

Des chercheurs publient PrefPI (Preference-Guided Policy Iteration), un cadre itératif qui oriente des politiques robotiques génératives pré-entraînées à partir de simples préférences relatives entre trajectoires que la politique produit elle-même. Le principe consiste à traiter l'apprentissage par préférences comme de la modélisation générative conditionnelle: les trajectoires préférées définissent une distribution conditionnelle, dont le rapport de densité avec la distribution comportementale plus large fournit un signal de préférence implicite, amplifié par le classifier-free guidance (CFG). L'étape est répétée en boucle, ce qui donne une forme d'itération de politique guidée par les préférences. Les tests couvrent des diffusion policies et le VLA à flow matching PI0.5, en simulation comme sur matériel réel. Résultat phare: la hauteur de transport d'un objet passe de 10,7 cm à 19,8 cm sur robot physique, avec seulement 150 trajectoires annotées par préférence. Il s'agit d'un preprint arXiv (v1), non évalué par les pairs, et l'abstract ne détaille ni la tâche, ni le robot, ni le nombre d'itérations ou d'essais. L'enjeu est de sortir du simple « affûtage » de modes déjà présents dans la politique, qui limite la plupart des méthodes de préférences existantes. Ici, les auteurs visent des comportements rarement, voire jamais observés sous la politique initiale, par exemple porter un objet plus haut que ce que les démonstrations couvraient. Pour un intégrateur, c'est un levier concret: adapter un VLA générique à une contrainte de site (hauteur de dépose, trajectoire d'évitement, style de manipulation) sans collecter de nouvelles téléopérations, avec un retour humain qui se limite à comparer deux séquences. Le coût d'annotation, 150 comparaisons, reste modeste face à la téléopération. Deux réserves s'imposent: le gain de 9 cm est mesuré sur une métrique unique, et rien n'indique la robustesse, le taux de réussite ou la dégradation sur les tâches initiales après plusieurs itérations. Le travail s'inscrit dans la montée en puissance des VLA open source, dont PI0.5 de Physical Intelligence est devenu une base de référence, et dans la recherche d'alternatives à l'apprentissage par renforcement, coûteux et risqué sur robot réel, pour affiner ces modèles après pré-entraînement. Il se positionne face aux méthodes de type RLHF/DPO appliquées à la robotique et aux approches de RL résiduel ou de filtrage de trajectoires, qui restent confinées au support initial de la politique. Les suites à surveiller: validation sur des tâches plus variées et de longue durée, publication du code, et test sur d'autres VLA comme GR00T ou Helix. Aucun pilote industriel n'est annoncé à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
DiMaS : mise en correspondance des distributions pour piloter les modèles vision-langage-action
4arXiv cs.RO 

DiMaS : mise en correspondance des distributions pour piloter les modèles vision-langage-action

Des chercheurs présentent DiMaS (Distribution-Matching Steering), une méthode pour orienter finement le comportement des modèles vision-langage-action (VLA) bases sur le flow matching, sans reentrainement complet. Publie sur arXiv sous la référence 2607.14280, le travail s'attaque a un manque identifie dans le contrôle comportemental fin des robots: la capacité d'intervenir directement sur les représentations internes d'un modèle pour modifier la manière dont il execute une tache. Le "représentation steering" est un outil déjà bien établi en interpretabilite pour les grands modèles de langage et les modèles vision-langage, ou les traits comportementaux s'encodent généralement comme des directions linéaires dans l'espace latent. Les auteurs montrent que ces méthodes classiques échouent sur les VLA. DiMaS remplace le simple décalage le long d'une direction fixe par un transport entre distributions de représentations, et l'équipe démontre son efficacité sur deux VLA de pointe non nommes dans le résume. Elle etudie aussi la généralisation de la méthode a mesure que les taches d'apprentissage et d'évaluation divergent, en cartographiant ou le contrôle comportemental se transféré et ou il s'affaiblit. Code et résultats, avec des vidéos de démonstration, sont disponibles publiquement sur GitHub (pegah-kh/dimas) et sur une page projet dédiée. Pour les équipes qui développent ou intègrent des politiques robotiques génératives, cette avancée ouvre une piste de personnalisation fine et peu couteuse: ajuster un comportement (prudence, vitesse d'exécution, style de préhension) sans reentrainer le modèle complet. L'apport le plus significatif est cependant diagnostique. En montrant que les traits comportementaux de l'"action expert", le module qui génère les trajectoires du robot, sont linéairement decodables mais pas linéairement pilotables, l'étude remet en question une hypothèse importée telle quelle des LLM: qu'un concept identifiable linéairement peut aussi être manipule linéairement. Une nuance utile face a l'engouement actuel pour les VLA généralistes dans la lignée de Pi-0 ou GR00T N2, ou expliquer une décision robotique ne garantit pas la capacité a la corriger simplement. Ces travaux s'inscrivent dans la montée en puissance des politiques VLA a base de flow matching pour la manipulation, une famille de modèles qui a progressivement supplante des architectures de clonage comportemental plus rigides. Le champ de l'interpretabilite dont s'inspirent les auteurs est bien documente cote texte et vision, avec des méthodes de steering déjà utilisées pour orienter le ton ou la sécurité des grands modèles de langage; DiMaS transpose cette logique au domaine visuomoteur, ou elle n'avait pas encore été validée rigoureusement. Aucun acteur français ou européen de la robotique (Wandercraft, Pollen Robotics, Enchanted Tools) n'est implique: il s'agit d'un travail de recherche fondamentale, pas d'une annonce produit. Les auteurs annoncent vouloir étendre l'étude de généralisation a des taches encore plus éloignées, pour mieux cerner les limites du transfert comportemental entre contextes.

RecherchePaper
1 source