RecherchearXiv cs.RO 10 juin 2026

RoboGPT-R1 améliore la planification des tâches robotiques grâce à l'apprentissage par renforcement

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié RoboGPT-R1, un framework d'entraînement en deux étapes conçu pour améliorer la planification de tâches des agents robotiques incarnés, présenté dans un preprint arXiv (2510.14828, version 3). Le système repose sur une séquence supervisée classique, qui ancre les connaissances fondamentales via des démonstrations expertes, suivie d'un apprentissage par renforcement (RL) ciblé sur les lacunes en compréhension visuo-spatiale et en raisonnement multi-étapes. Le modèle de base choisi est Qwen2.5-VL-3B, un vision-language model open-source de 3 milliards de paramètres. Les résultats publiés sur le benchmark EmbodiedBench montrent que RoboGPT-R1 dépasse GPT-4o-mini de 21,33 points de pourcentage, et surclasse d'autres approches entraînées sur Qwen2.5-VL-7B de 20,33 points, ce dernier disposant pourtant de plus du double de paramètres. Le cœur technique du framework est une fonction de récompense basée sur des règles qui prend en compte simultanément les performances à long horizon et les contraintes d'action dans l'environnement physique simulé.

Ces résultats viennent étayer une thèse qui s'impose progressivement dans la communauté robotique : le fine-tuning supervisé seul génère des agents fragiles hors distribution, en particulier pour les tâches de manipulation longue séquence dans des environnements non contrôlés. RoboGPT-R1 démontre qu'un modèle compact peut surpasser des architectures significativement plus grandes dès lors que le RL est utilisé pour affiner la compréhension physique et la cohérence des séquences d'actions. Pour les équipes d'intégration et les responsables techniques, cela pointe vers une trajectoire viable vers des solutions embarquables sur hardware contraint, sans sacrifier les capacités de planification complexe. Un écart de 21 points sur un benchmark spécialisé par rapport à GPT-4o-mini indique que la spécialisation domaine via RL compense largement le désavantage de taille brute.

RoboGPT-R1 s'inscrit dans une dynamique post-SFT amplifiée depuis fin 2024, en large partie accélérée par les travaux DeepSeek-R1 qui ont popularisé le RL comme levier de raisonnement pour les LLMs. Dans le champ robotique, Physical Intelligence avec Pi-0 et Pi-0.5, Google DeepMind avec GR00T N2 et RT-X, ou encore OpenVLA, explorent des trajectoires d'alignement vision-language-action (VLA) comparables. RoboGPT-R1 se distingue par son positionnement sur la planification symbolique de haut niveau plutôt que le contrôle moteur bas niveau, et par sa base Qwen2.5-VL open-source qui favorise la reproductibilité. Important à noter : il s'agit à ce stade exclusivement d'une validation sur EmbodiedBench, un benchmark simulé. Aucun déploiement physique n'est annoncé et le sim-to-real gap, question centrale pour tout passage en production, reste une problématique que l'article ne traite pas.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

VersualRL : apprentissage par renforcement verbal en boucle fermée avec retour visuel pour la planification robotique au niveau des tâches

VersualRL est un système en boucle fermée pour la planification de tâches robotiques qui exploite le retour visuel d'exécution afin d'affiner en continu des arbres de comportement (Behavior Trees) exécutables, via des critiques formulées en langage naturel structuré. L'architecture associe un modèle vision-langage jouant le rôle de critique, chargé d'analyser les observations visuelles et les traces d'exécution de l'arbre de comportement, à un grand modèle de langage jouant le rôle d'acteur, qui applique des mises à jour de politique discrètes et interprétables. Point notable : pendant le déploiement physique, les deux modèles fondation restent gelés, seul l'arbre de comportement est modifié au niveau symbolique, sans optimisation de politique par descente de gradient en ligne. Les auteurs ont validé leur approche sur un robot mobile réel exécutant une tâche de navigation et de manipulation en plusieurs étapes, dans des conditions d'incertitude d'exécution. Le papier, disponible sur arXiv (2603.22169), en est à sa troisième version. L'intérêt pour l'industrie robotique tient à l'absence de réentraînement par gradient sur le terrain, une contrainte lourde et coûteuse pour du réel. En figeant les modèles fondation et en ne modifiant que la structure symbolique du plan, VersualRL produit un raisonnement traçable et des évolutions de politique compréhensibles par un humain, un atout pour les intégrateurs et décideurs B2B soucieux d'auditabilité et de sécurité plutôt que de politiques neuronales opaques. Cette approche répond directement à l'écart classique entre démonstration et réalité observé sur le terrain, en offrant un mécanisme explicite de correction des échecs d'exécution plutôt qu'un simple ajustement statistique. Le travail s'inscrit dans une tendance qui combine raisonnement de modèles de fondation et contrôle symbolique classique, les arbres de comportement étant déjà largement utilisés en robotique industrielle pour la prise de décision hiérarchique. Il se distingue des approches bout-en-bout de type VLA (GR00T N2, Helix, Pi-0), qui misent sur des politiques neuronales continues, en privilégiant l'interprétabilité à la dextérité brute. L'abstract ne précise ni calendrier ni extension prévue à des tâches de manipulation plus complexes, laissant ces suites ouvertes.

RecherchePaper

1 source

2arXiv cs.RO

Guidage par imitation dans l'espace des tâches pour un apprentissage par renforcement efficace

TIGER (Task-Space Imitation Guidance for Efficient Reinforcement Learning) est un cadre de construction de récompense et de préentraînement pour la manipulation robotique sur table avec récompense éparse, publié sur arXiv en octobre 2026 (2610.07527). Son idée centrale est de ne pas utiliser la politique d'imitation, qui prédit des séquences d'actions (action chunks), comme contrôleur ni comme prior d'actions. Elle sert d'estimateur local de progression dans l'espace de la tâche. Les chunks prédits sont convertis, via une correspondance action-mouvement qui tient compte du contrôleur, en références d'effecteur final à court horizon. L'agent RL reçoit alors des récompenses denses de progression vers ces références, tandis que la récompense éparse de l'environnement reste l'objectif dominant. Pendant le préentraînement, des signaux d'anticipation issus de l'imitation assouplissent les pénalités de valeur conservatrices pour les actions censées faire progresser la tâche. Cela limite l'exploration hors de la distribution des données au début de l'apprentissage en ligne. Les auteurs annoncent, en simulation et sur robot réel, une meilleure efficacité d'échantillonnage initiale et moins de violations de sécurité mesurées, avec un taux de succès final égal ou supérieur aux baselines RL et IL-RL. L'intérêt tient au point faible de l'apprentissage par renforcement sur robot physique : le coût en interactions et le risque de casse pendant l'exploration. Comme la politique d'imitation n'est jamais exécutée, ses erreurs ne plafonnent pas la performance finale. Elle ne fait que guider la récompense, ce qui limite le risque d'enfermer l'agent dans les défauts des démonstrations. Pour un intégrateur, une phase d'adaptation en ligne plus courte et plus sûre se traduit directement en temps de mise en service. Il faut toutefois relativiser. Le résumé ne donne aucun chiffre (gain d'échantillons, taux de succès, nombre de violations), ne nomme ni robot ni tâches, et se limite à des scénarios sur table. On ne peut donc pas juger l'ampleur du gain ni sa portée au-delà de ces tâches. Ce travail s'inscrit dans le courant qui cherche à combiner imitation et RL. Les modèles VLA entraînés par imitation, comme Pi-0, plafonnent en précision et en robustesse, et le RL en ligne reste la voie principale pour dépasser ce plafond. Les approches concurrentes incluent le RL résiduel, l'ajustement fin de politiques de diffusion et les méthodes hors ligne vers en ligne à pénalités conservatrices. TIGER vise surtout la phase de transition de ces dernières. Les prochaines étapes naturelles seraient des horizons plus longs, la manipulation mobile et des tâches à contacts riches, mais le résumé n'annonce ni code ni calendrier.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

RDGen : génération de démonstrations pour l'apprentissage robotique par renforcement

Une équipe de chercheurs a publié le 30 mai 2026 sur arXiv (référence 2605.30957) un framework appelé RDGen, pour "Reinforcement Learning Demonstration Generation", destiné à automatiser la collecte de données d'entraînement pour les modèles Vision-Language-Action (VLA). Le système combine trois composants : un module d'analyse de tâches basé sur un modèle de langage visuel (VLM), un localisateur d'objets fondé sur Grounding DINO, et une politique de contrôle entraînée par apprentissage par renforcement (RL) en simulation puis transférée sur un robot réel. Testé sur une tâche de saisie et de dépose, RDGen atteint un taux de succès élevé après transfert sim-to-real, sans que les auteurs ne publient de chiffre précis dans le résumé disponible. Les trajectoires générées sont ensuite réutilisées directement comme données d'entraînement pour affiner des politiques VLA en aval. L'enjeu central est celui du goulot d'étranglement dans la chaîne d'entraînement des robots généralistes : la télé-opération humaine, méthode dominante pour collecter des démonstrations, est lente, coûteuse, et produit des trajectoires variables selon l'opérateur. RDGen propose de substituer cet effort humain par une politique RL, qui génère des trajectoires mécaniquement cohérentes et reproductibles, plus lisses selon les auteurs que ce que produit un opérateur humain, et avec un coût marginal quasi nul en simulation. Cela renforce l'hypothèse que le problème sim-to-real pour des tâches de manipulation simples est largement résolu, et déplace la question vers la scalabilité de la diversité des tâches plutôt que la qualité individuelle des démos. RDGen s'inscrit dans un débat actif sur la meilleure façon d'alimenter les VLA, dont les architectures de référence actuelles incluent pi0 (Physical Intelligence), OpenVLA et les travaux de RT-2/RT-X chez Google DeepMind. La collecte de données reste le principal frein industriel à leur déploiement, ce que tentent aussi d'adresser des approches concurrentes comme la génération vidéo synthétique (ex. travaux UniSim, Genie) ou l'augmentation par world models. La contribution de RDGen est plus modeste et ciblée : un pipeline sim-to-real structuré pour des tâches de manipulation définies, avec réutilisation des rollouts réussis. Il s'agit d'un preprint non encore peer-reviewed ; les expériences restent limitées à pick-and-place, et l'absence de métriques quantitatives précises dans le résumé invite à attendre la version complète avant d'en tirer des conclusions générales sur la scalabilité.

RechercheOpinion

1 source

4arXiv cs.RO

Démarrage par modèle VLA pour l'apprentissage par renforcement des agents robotiques

Des chercheurs proposent VLAJS (Vision-Language-Action Jump-Starting), une méthode publiée sur arXiv (réf. 2604.13733v2) visant à accélérer l'apprentissage par renforcement (RL) en manipulation robotique. Le principe repose sur l'utilisation d'un modèle VLA comme guide transitoire en début d'entraînement, sans imitation stricte ni démonstrations humaines. VLAJS augmente l'algorithme PPO (Proximal Policy Optimization) d'une régularisation directionnelle qui aligne progressivement les actions de l'agent RL avec les suggestions du VLA, avant d'annuler cette contrainte à mesure que l'agent gagne en compétence. La méthode a été évaluée sur six tâches simulées (levée d'objet, pick-and-place, réorientation et insertion de cheville, poking, pushing), dont un sous-ensemble validé sur un bras Franka Panda réel. Elle réduit de plus de 50 % le nombre d'interactions d'entraînement nécessaires par rapport à PPO seul ou aux baselines de distillation, et démontre un transfert sim-to-real zero-shot robuste face à des encombrements, variations d'objets et perturbations externes. Ce résultat répond à une tension structurelle bien connue du domaine: les modèles VLA comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) excellent dans le raisonnement à l'échelle de la tâche grâce à leur préentraînement multimodal massif, mais restent trop lents pour le contrôle en boucle fermée à haute fréquence. Inversement, le RL classique assure cette précision mais explore de façon inefficace sur des tâches longues avec récompenses éparses. VLAJS prouve qu'un VLA peut être utile sans être interrogé en continu, réduisant potentiellement les coûts d'entraînement pour des applications de manipulation industrielle et validant l'hypothèse qu'un modèle généraliste peut servir d'amorce dans des pipelines RL orientés production. VLAJS émerge dans un contexte de convergence entre fondations VLA et contrôle temps-réel, où Physical Intelligence (Pi-0), NVIDIA (GR00T N2) et Google DeepMind (RT-2) s'affrontent sur la généralisation pendant que le RL pur domine en précision. Cette contribution reste académique: validée sur le Franka Panda à 7 degrés de liberté, elle n'est pas encore un produit déployé ni industrialisé, et la réduction de 50 % des interactions porte sur des tâches relativement courtes en simulation. Les suites naturelles incluent l'extension à des morphologies plus complexes (humanoïdes, systèmes bimanuels) et l'intégration dans des frameworks d'entraînement open-source comme Isaac Lab ou ManiSkill.

RechercheOpinion

1 source