RecherchearXiv cs.RO 12 mai 2026

BEACON : co-entraînement inter-domaines de politiques robotiques génératives par adaptation au mieux

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié sur arXiv en mai 2026 (arXiv:2605.08571) un cadre théorique baptisé BEACON -- acronyme de Best-Effort Adaptation for Cross-Domain Co-Training -- destiné à entraîner des politiques robotiques génératives lorsque les données dans le domaine cible sont rares. L'approche repose sur un mécanisme de pondération par importance : plutôt que de mélanger naïvement des démonstrations provenant de domaines sources abondants (simulation, autres environnements) avec un faible nombre de démonstrations réelles, BEACON apprend simultanément une politique visuomotrice basée sur la diffusion et des poids par échantillon source qui minimisent une fonction objectif garantissant la généralisation sur le domaine cible. Pour rendre cela praticable sur des séquences de haute dimension, les auteurs développent des estimateurs de divergence à l'échelle de l'instance, des mises à jour alternées stochastiques, et une extension multi-sources capable de pondérer des domaines sources hétérogènes.

L'enjeu est directement lié au problème du sim-to-real gap, l'un des verrous principaux de la robotique de manipulation : collecter des démonstrations téléopérées dans le monde réel reste coûteux et lent, tandis que la simulation génère des données à bas coût mais au prix d'un écart de distribution souvent fatal au déploiement. BEACON montrerait, selon les auteurs, des gains de robustesse et d'efficacité de données par rapport à trois baselines majeures -- entraînement sur cibles seules, co-entraînement à ratio fixe, et alignement de features explicite -- dans des configurations sim-to-sim, sim-to-real et manipulation multi-sources. Le résultat le plus contre-intuitif est qu'en l'absence de tout objectif d'alignement explicite, BEACON produit néanmoins un alignement de représentations comme effet émergent de la pondération par divergence. Les auteurs ne fournissent pas de taux de réussite précis dans l'abstract, ce qui limite la comparaison directe avec des benchmarks publiés.

Ce travail s'inscrit dans une vague de recherches sur le transfert de politiques entre domaines, portée notamment par des méthodes comme RoboAgent, DROID, ou les approches VLA (vision-language-action) de Physical Intelligence (Pi-0) et Google DeepMind (GR00T N2), qui cherchent elles aussi à tirer parti de données hétérogènes à grande échelle. Là où ces dernières misent sur des architectures généralistes entraînées sur des corpus massifs, BEACON propose un angle complémentaire et plus frugal : exploiter intelligemment des sources existantes sans disposer de millions de démonstrations. Le code et les expériences n'étant pas encore publics, il reste à confirmer si les résultats tiennent sur des tâches de manipulation réelle complexes hors du cadre contrôlé des évaluations présentées.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

FlowDAgger : adaptation en boucle humaine des politiques génératives de robots dans l'espace latent

Microsoft Research publie FlowDAgger, une méthode d'adaptation des politiques robotiques génératives figées, via des interventions humaines directement dans l'espace latent (arXiv:2607.08877v1, prépublication non revue par les pairs). L'idée centrale, appelée « inversion d'action », consiste à faire correspondre chaque action démontrée par un opérateur humain au bruit qui, injecté dans la politique de base pré-entraînée (fondée sur le flow matching ou la diffusion), aurait produit cette même action. Ce bruit est retrouvé par intégration en temps inverse puis affiné localement, et sert ensuite à entraîner une politique latente légère qui vient piloter le modèle de base au moment du déploiement. L'équipe a testé la méthode en simulation et sur des tâches réelles de manipulation bi-bras et mono-bras, en adaptant à la fois des modèles VLA à tête d'action et des modèles dits « world-action », à partir d'une poignée d'interventions humaines seulement. L'enjeu dépasse la prouesse technique isolée : les politiques génératives pré-entraînées, aussi performantes soient-elles en démonstration, échouent régulièrement une fois sorties de leur distribution d'entraînement en conditions réelles. Jusqu'ici, corriger ces failles imposait soit de recollecter massivement des données, soit de lancer de l'apprentissage par renforcement en ligne sur du matériel physique, deux options lentes, coûteuses et risquées pour un robot en production. FlowDAgger propose une correction à faible coût d'échantillons et de calcul, qui préserve les compétences déjà acquises sur des tâches non revues, un point critique pour des modèles fondation coûteux à réentraîner comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI. Selon les auteurs, la méthode surpasse à la fois le fine-tuning supervisé classique et les approches de RL en espace latent sur les mêmes benchmarks. FlowDAgger s'inscrit dans la lignée de DAgger, algorithme classique d'apprentissage par imitation avec correction humaine en boucle, mais transposé à l'espace de bruit latent propre aux politiques par diffusion ou flow matching. Elle rejoint une vague plus large de travaux cherchant à rendre les politiques robotiques génératives pré-entraînées adaptables sur le terrain sans tout réentraîner. L'abstract ne précise pas de calendrier de mise à disposition du code ni de partenaire industriel ; seul un site de démonstration accompagne pour l'instant la publication.

RecherchePaper

1 source

2arXiv cs.RO

Adaptation des politiques génériques de robots par apprentissage par renforcement sémantique

Les auteurs de ce nouvel article arXiv (2606.31958v1) présentent SARL, pour Semantic Action Reinforcement Learning, une méthode d'apprentissage par renforcement pour adapter des politiques robotiques généralistes déjà pré-entraînées, c'est-à-dire des modèles vision-langage-action (VLA) capables d'un large répertoire de comportements. Au lieu d'optimiser directement l'espace des actions du robot, comme le font les approches RL classiques, SARL agit sur l'espace des prompts en langage naturel envoyés au modèle. Concrètement, l'algorithme apprend en ligne, par interaction avec l'environnement, à moduler les instructions textuelles données à la politique pour faire émerger et combiner des compétences déjà présentes dans son répertoire, plutôt que d'apprendre de nouveaux comportements depuis zéro. Les auteurs rapportent des validations à la fois en conditions réelles et sur des bancs d'essai simulés, avec des performances supérieures aux méthodes existantes d'amélioration de comportement en déploiement. L'intérêt de cette approche tient au problème qu'elle cherche à résoudre : les méthodes RL usuelles appliquées à un modèle généraliste supposent que sa distribution d'actions de départ est déjà proche d'une politique performante, une hypothèse qui s'effondre dès que la tâche est longue, complexe ou sort de la distribution d'entraînement initiale. En déplaçant l'optimisation vers l'espace sémantique des prompts, SARL rend l'exploration plus structurée et l'apprentissage en ligne beaucoup plus efficace en données, un enjeu central pour l'industrie robotique où le fine-tuning par interaction réelle reste coûteux et lent. Si les résultats se confirment à plus grande échelle, cela ouvrirait la voie à une adaptation rapide de robots généralistes à des tâches spécifiques d'un site industriel sans réentraînement lourd. Ce travail s'inscrit dans la lignée des politiques robotiques généralistes de type VLA, entraînées sur de larges corpus de démonstrations, dont l'adaptation post-déploiement est devenue un axe de recherche actif face aux limites du simple zéro-shot. Il rejoint d'autres tentatives d'affinage par renforcement de ces modèles, en proposant une alternative à l'optimisation directe des actions. Les auteurs annoncent vouloir approfondir les validations sur des tâches réelles à horizon plus long, sans toutefois préciser de calendrier de déploiement industriel.

RechercheActu

1 source

3arXiv cs.RO

Adaptation de politiques robotiques généralistes avec un minimum de données

Un article arXiv publié en août 2026 (référence 2608.11363) présente MiDAS, une méthode de renforcement offline-to-online qui permet à une politique robotique généraliste de type VLA (vision-language-action) déjà pré-entraînée d'apprendre une tâche inédite à partir d'une seule démonstration. Le système ancre d'abord le modèle par clonage de comportement sur une ou quelques démonstrations, puis l'affine via du RL en ligne basé sur la valeur, appliqué à une paramétrisation résiduelle de la politique. Sur les benchmarks simulés LIBERO et RoboCasa, MiDAS retrouve de bonnes performances dès une démonstration unique et dépasse nettement les méthodes de référence. Sur une plateforme bimanuelle réelle nommée YAM, une politique fragile obtenue après une seule démonstration gagne en robustesse et acquiert de nouveaux comportements réussis après environ six heures d'interaction autonome. L'enjeu dépasse la prouesse académique: le papier cible le goulot d'étranglement des données dans le déploiement de robots généralistes, où collecter des démonstrations humaines par tâche reste coûteux à grande échelle. Pour les intégrateurs et décideurs industriels, la promesse est un cycle d'adaptation raccourci: un robot pourrait apprendre une variante de tâche en usine via quelques heures d'essais supervisés plutôt que des centaines de démonstrations téléopérées. Les auteurs qualifient leur résultat de première démonstration d'une adaptation fiable de politique robotique à partir d'une unique démonstration, une affirmation qui, si elle se confirme ailleurs, nuancerait l'idée que les VLA actuels explorent trop mal pour progresser seuls. Le travail répond à un constat du secteur: l'apprentissage robotique cherche à s'affranchir de la collecte de données tâche par tâche, mais l'apprentissage pleinement autonome bute sur des récompenses éparses et une exploration zero-shot trop faible pour qu'un robot découvre seul un comportement réussi. MiDAS se présente comme le proxy le plus praticable de cet objectif, testant si une seule démonstration suffit à amorcer un apprentissage en ligne exploitable. L'évaluation reste limitée à deux benchmarks simulés et une seule plateforme physique, sans comparaison rapportée face aux grands modèles généralistes commerciaux du secteur; une validation sur davantage de plateformes et de familles de tâches reste l'étape logique suivante.

RechercheActu

1 source

4arXiv cs.RO

DADP : politique de diffusion adaptative au domaine

Des chercheurs ont publié le 19 juin 2026 la troisième version de DADP (Domain Adaptive Diffusion Policy), un framework de contrôle robotique conçu pour généraliser à des dynamiques physiques inconnues sans nécessiter de réentraînement. Le problème central adressé est la capacité d'une politique apprise en simulation ou dans un environnement donné à fonctionner dans un autre contexte aux propriétés mécaniques différentes, friction, masse, compliance des articulations, ce que l'on appelle l'adaptation zéro-shot. Les auteurs identifient un défaut structurel dans les approches existantes de domain representation learning : lorsqu'un modèle extrait sa représentation du domaine à partir d'un contexte temporel adjacent à l'étape courante, il mélange involontairement des informations statiques (les constantes du domaine physique) avec des propriétés dynamiques transitoires (la vitesse ou la posture instantanée). DADP répond par deux contributions techniques : d'abord le Lagged Context Dynamical Prediction, qui conditionne l'estimation d'état futur sur un contexte historique décalé dans le temps, augmenter ce délai force le modèle à filtrer les propriétés transitoires et à extraire uniquement les invariants du domaine, sans supervision explicite. Ensuite, les représentations de domaine ainsi disentangled sont injectées directement dans le processus génératif du diffusion model, en biaisant la distribution a priori et en reformulant la cible de diffusion. Les résultats sur des benchmarks de locomotion et de manipulation dépassent les méthodes antérieures sur ces axes combinés. L'intérêt pour les intégrateurs robotiques et les équipes R&D est double. Premièrement, DADP aborde directement le sim-to-real gap en proposant une séparation non supervisée entre ce qui appartient à la physique du robot (masse, friction) et ce qui relève de la trajectoire en cours, une distinction que les approches précédentes laissaient au réseau à résoudre implicitement, avec des résultats fragiles. Deuxièmement, l'injection de la représentation domaine dans le processus de diffusion plutôt qu'en simple conditionnement de politique représente un changement architectural notable : cela signifie que la politique génère des actions dont la distribution est intrinsèquement calibrée sur le domaine courant, et non pas simplement corrigée a posteriori. Pour les équipes travaillant sur des déploiements multi-sites ou sur des flottes hétérogènes de manipulateurs industriels, cela ouvre une voie pour réduire le coût de calibration par site. Il convient de nuancer : les benchmarks présentés restent des environnements simulés standardisés (MuJoCo-type), et aucune validation hardware sur un robot physique n'est revendiquée dans l'abstract, un gap classique entre publication académique et déploiement terrain. DADP s'inscrit dans un courant de recherche actif qui cherche à combiner les diffusion policies, popularisées par les travaux de Chi et al. (2023) sur le Diffusion Policy et désormais intégrées dans des systèmes comme pi-zéro de Physical Intelligence ou les pipelines GR00T de NVIDIA, avec des mécanismes d'adaptation contextuelle au domaine physique. Les approches concurrentes incluent les méthodes de domain randomization (entraînement sur une large distribution de dynamiques) et les architectures méta-RL comme PEARL ou MAML, qui supposent un accès à quelques épisodes d'adaptation. DADP se positionne en zéro-shot sans rollouts d'adaptation, ce qui est une contrainte opérationnelle réaliste pour des déploiements industriels où le temps de mise en service est limité. La présence d'un site de visualisation dédié (outsider86.github.io/DomainAdaptiveDiffusionPolicy) et l'itération en version 3 suggèrent une réponse active à la communauté ; une validation expérimentale sur hardware physique constituerait la prochaine étape logique pour ancrer ces résultats dans la réalité industrielle.

RecherchePaper

1 source