Transformer des modèles vidéo en politiques…

1arXiv cs.RO

Rêver pour se souvenir : pilotage continu de politiques robotiques généralistes avec des modèles du monde

Des chercheurs proposent Dream to Remember (D2R), une méthode qui oriente en continu une politique robotique généraliste figée vers de nouvelles tâches, sans lui faire oublier les précédentes (arXiv 2610.13816). Le principe repose sur un petit module de « steering » qui agit sur le bruit d'entrée d'une politique générative gelée, entraîné par apprentissage par renforcement. Pendant qu'il apprend une nouvelle tâche, un modèle du monde pré-entraîné et figé rejoue les tâches antérieures par des déroulements imaginés. Il ancre ainsi le module sur ses comportements passés, sans tampon de rejeu ni nouvelles données. Si le modèle du monde est assez fidèle, la nouvelle tâche s'apprend entièrement en imagination. Sinon, elle s'apprend dans l'environnement réel ou simulé, et le modèle du monde ne sert qu'à répéter les anciennes tâches. Sur le benchmark CALVIN, D2R améliore huit tâches en séquence, entièrement en imagination, et fait passer le taux de succès moyen de 63,7 % à 74,8 %. Le fine-tuning LoRA sur la même séquence le fait chuter à 11,7 %. Avec π0 et le modèle du monde A2World, tous deux disponibles sur étagère et figés, D2R apprend des tâches LIBERO-90 inédites tout en conservant les performances de π0 sur les suites LIBERO où il a été affiné. Enfin, sur un robot Franka réel, trois tâches sont améliorées successivement, entièrement en imagination, sans perte des gains précédents. L'enjeu est celui de l'oubli catastrophique, un frein concret au déploiement de politiques généralistes (VLA) en production. Aujourd'hui, adapter un modèle à une nouvelle tâche, par fine-tuning des poids ou par un module de steering partagé, dégrade souvent les compétences antérieures. Un intégrateur qui enrichit sa flotte tâche après tâche doit alors revalider l'ensemble ou maintenir plusieurs modèles. Le résultat sur CALVIN, où le fine-tuning LoRA s'effondre à 11,7 %, montre l'ampleur du problème. Le cas π0/LIBERO-90 est intéressant car il fonctionne même avec un modèle du monde jugé trop imprécis pour optimiser une politique, ce qui suggère que ces modèles ont une valeur de « mémoire » avant d'avoir une valeur de simulateur. Les réserves sont claires : la démonstration réelle se limite à trois tâches sur un seul Franka, les benchmarks sont académiques, et aucun temps de cycle, coût de calcul ni taux de succès réel n'est détaillé dans le résumé. L'extension à des dizaines de tâches reste à établir. Ce travail s'inscrit dans la montée de deux courants. D'un côté, les VLA entraînés par imitation, comme π0 de Physical Intelligence, dont la qualité reste bornée par la couverture des démonstrations. De l'autre, l'apprentissage par renforcement appliqué par-dessus, soit par fine-tuning, soit par steering du bruit de politiques de diffusion ou de flow matching. D2R combine ce steering avec les modèles du monde, une piste explorée par de nombreux laboratoires, dont NVIDIA avec GR00T et ses modèles Cosmos. Il ne s'agit pas d'un produit mais d'une publication de recherche en première version, sans pilote annoncé. La suite logique serait de la tester sur des séquences de tâches plus longues, avec des modèles du monde plus fidèles et sur des robots en conditions industrielles. Les équipes qui déploient des politiques généralistes y trouveront surtout une piste pour apprendre en continu sans réentraîner.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

SPACE : apprentissage inter-robots vers des politiques généralistes

Une équipe de chercheurs a publié le 24 juin 2026 sur arXiv (arXiv:2606.24049) un article introduisant SPACE (State Prediction and Adaptive Command Execution), un cadre d'apprentissage conçu pour entraîner des politiques robotiques généralisables à partir de données hétérogènes collectées sur différents robots. Le problème central est le suivant : en behavior cloning, les actions enregistrées lors de démonstrations sont couplées à la dynamique du robot utilisé, ce qui empêche leur réutilisation directe sur d'autres plateformes. SPACE résout cela en adoptant le delta d'état cartésien comme représentation d'action universelle, indépendante du matériel. Le framework repose sur deux composants : une politique prédisant le déplacement géométrique de l'effecteur terminal (end-effector), et un Action Adapter qui convertit ces prédictions en commandes spécifiques à chaque robot. Les expériences démontrent que SPACE surpasse significativement les politiques entraînées à prédire directement des commandes de contrôle, que ce soit entre morphologies différentes ou entre unités matérielles d'une même plateforme. La robustesse est également validée face aux variations dynamiques en déploiement : changements de fréquence de contrôle, de masse des objets manipulés ou de gains de contrôleur. L'enjeu est structurant pour la robotique industrielle à grande échelle. Agréger des démonstrations issues de parcs hétérogènes sans dégradation de performance est un verrou majeur pour constituer les grands jeux de données dont la robotique généraliste a besoin, à l'image d'ImageNet pour la vision par ordinateur. SPACE découple la représentation de l'action de son exécution matérielle, ouvrant la voie à des politiques capables de fonctionner sur des flottes diversifiées sans ré-entraînement complet. Pour un intégrateur ou un COO industriel opérant des robots de plusieurs générations, la robustesse aux shifts dynamiques en production est un argument concret, pas seulement académique. Ce travail s'inscrit dans le courant dominant du robot learning, qui cherche à reproduire pour la robotique le scaling des grands modèles de langage. Des travaux comme RT-2, Octo ou pi-0 (Physical Intelligence) ont déjà exploré l'apprentissage multi-robot, mais l'alignement des espaces d'action reste un problème ouvert. SPACE apporte une réponse modulaire, sans imposer de modifications architecturales majeures à la politique principale, ce qui facilite l'intégration avec des architectures VLA existantes. Le code et la page projet sont disponibles publiquement. Il s'agit pour l'instant d'un preprint non encore soumis à peer review, et les prochaines étapes naturelles incluront des validations à plus grande échelle et sur des scènes de manipulation plus complexes.

RechercheOpinion

1 source

3arXiv cs.RO

Un cadre en boucle réel-simulation-réel (RSR) pour le transfert de politiques robotiques généralisables

Des chercheurs proposent un cadre « Real-to-Sim-to-Real » (RSR), publié sur arXiv dans sa troisième version (2503.10118v3), qui vise à réduire l'écart entre simulation et monde réel lors du transfert de politiques de contrôle robotique. Sa contribution centrale est une fonction de coût d'inspiration théorique de l'information. Elle pèse deux objectifs : accomplir la tâche, et orienter la politique vers la collecte d'échantillons réels les plus informatifs possible pour améliorer le transfert. Cette fonction s'intègre dans des algorithmes d'apprentissage par renforcement existants, comme PPO ou SAC, et vise une exploration équilibrée des zones critiques du domaine réel. Le cadre a été implémenté avec la plateforme MuJoCo MJX et testé sur deux familles de tâches : de la manipulation avec un bras robotique à 6 DOF, et de la locomotion avec un robot à pattes. Les auteurs annoncent une acquisition de données plus efficace et une nette amélioration des performances en conditions réelles. Le résumé ne chiffre ni les gains ni le nombre d'essais, et ne nomme ni robots ni laboratoires. L'intérêt est de traiter le sim-to-real comme un problème de choix des données réelles à collecter, et non seulement de réglage de la simulation. Les échantillons réels coûtent cher, surtout sur des robots à pattes ou des bras industriels où chaque essai use le matériel et mobilise des opérateurs. Une politique qui cherche activement l'information manquante sur l'écart de dynamique pourrait réduire le nombre d'itérations réel-simulation nécessaires avant déploiement. Le simulateur différentiable est facultatif. Quand il existe, les données servent aussi à calibrer ses paramètres. Sinon, le cadre reste utilisable, ce qui élargit son champ d'application aux équipes sans pipeline différentiable. Il faut toutefois rester prudent : il s'agit d'un travail académique évalué sur deux plateformes, sans comparaison chiffrée visible dans le résumé, et loin d'une validation à l'échelle industrielle ou sur des tâches longues et variées. Ce travail s'inscrit dans l'effort général pour fermer l'écart sim-to-real, qui freine le passage de l'entraînement massif en simulation aux robots déployés. La randomisation de domaine, l'identification de paramètres et les simulateurs différentiables en sont les approches classiques. Le choix de MuJoCo MJX, version accélérée sur GPU via JAX, reflète la place de ces outils dans la recherche actuelle. Les grands acteurs de l'humanoïde et des modèles de fondation robotiques s'appuient eux aussi fortement sur la simulation, ce qui rend ces méthodes d'exploration guidée potentiellement pertinentes pour eux. La suite dépendra de la publication du code, de l'évaluation sur des systèmes plus complexes et de comparaisons directes avec les méthodes existantes.

RecherchePaper

1 source

4arXiv cs.RO

Adaptation de politiques robotiques généralistes avec un minimum de données

Un article arXiv publié en août 2026 (référence 2608.11363) présente MiDAS, une méthode de renforcement offline-to-online qui permet à une politique robotique généraliste de type VLA (vision-language-action) déjà pré-entraînée d'apprendre une tâche inédite à partir d'une seule démonstration. Le système ancre d'abord le modèle par clonage de comportement sur une ou quelques démonstrations, puis l'affine via du RL en ligne basé sur la valeur, appliqué à une paramétrisation résiduelle de la politique. Sur les benchmarks simulés LIBERO et RoboCasa, MiDAS retrouve de bonnes performances dès une démonstration unique et dépasse nettement les méthodes de référence. Sur une plateforme bimanuelle réelle nommée YAM, une politique fragile obtenue après une seule démonstration gagne en robustesse et acquiert de nouveaux comportements réussis après environ six heures d'interaction autonome. L'enjeu dépasse la prouesse académique: le papier cible le goulot d'étranglement des données dans le déploiement de robots généralistes, où collecter des démonstrations humaines par tâche reste coûteux à grande échelle. Pour les intégrateurs et décideurs industriels, la promesse est un cycle d'adaptation raccourci: un robot pourrait apprendre une variante de tâche en usine via quelques heures d'essais supervisés plutôt que des centaines de démonstrations téléopérées. Les auteurs qualifient leur résultat de première démonstration d'une adaptation fiable de politique robotique à partir d'une unique démonstration, une affirmation qui, si elle se confirme ailleurs, nuancerait l'idée que les VLA actuels explorent trop mal pour progresser seuls. Le travail répond à un constat du secteur: l'apprentissage robotique cherche à s'affranchir de la collecte de données tâche par tâche, mais l'apprentissage pleinement autonome bute sur des récompenses éparses et une exploration zero-shot trop faible pour qu'un robot découvre seul un comportement réussi. MiDAS se présente comme le proxy le plus praticable de cet objectif, testant si une seule démonstration suffit à amorcer un apprentissage en ligne exploitable. L'évaluation reste limitée à deux benchmarks simulés et une seule plateforme physique, sans comparaison rapportée face aux grands modèles généralistes commerciaux du secteur; une validation sur davantage de plateformes et de familles de tâches reste l'étape logique suivante.

RechercheActu

1 source

Transformer des modèles vidéo en politiques robotiques généralistes

À lire aussi

Rêver pour se souvenir : pilotage continu de politiques robotiques généralistes avec des modèles du monde

SPACE : apprentissage inter-robots vers des politiques généralistes

Un cadre en boucle réel-simulation-réel (RSR) pour le transfert de politiques robotiques généralisables

Adaptation de politiques robotiques généralistes avec un minimum de données