RecherchearXiv cs.RO 15 mai 2026

Robometer : mise à l'échelle des modèles de récompense robotique généralistes par comparaison de trajectoires

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié Robometer, un cadre de modélisation de récompense (reward model) généraliste pour robots, conçu pour s'entraîner sur de grands datasets incluant des trajectoires échouées et sous-optimales. Le système repose sur un double objectif d'apprentissage : une perte de progression par frame ancrée sur des données expertes, et une perte de comparaison de préférences entre trajectoires imposant des contraintes d'ordonnancement global entre différentes exécutions d'une même tâche. Pour soutenir cette approche à grande échelle, les auteurs ont constitué RBM-1M, un dataset dédié à l'apprentissage de récompenses comprenant plus d'un million de trajectoires couvrant des robots de morphologies et de tâches variées, avec une fraction substantielle de données sous-optimales et d'échecs avérés. Le code, les poids du modèle et des vidéos sont accessibles sur robometer.github.io.

L'enjeu est de surmonter la limitation fondamentale des reward models actuels, entraînés à prédire la progression absolue d'une tâche uniquement depuis des démonstrations expertes, ce qui confère une supervision purement locale et se révèle peu scalable face aux vastes datasets robotiques peuplés de trajectoires ratées ou imparfaites. Robometer exploite les comparaisons inter-trajectoires comme signal de supervision global, permettant d'extraire de l'information utile même des séquences d'échec et de lever l'ambiguïté de l'assignation de labels de progression denses. Ce changement de paradigme est significatif pour les praticiens : si les gains annoncés sur benchmarks et évaluations en conditions réelles se confirment indépendamment, les coûts de curation de données pour l'entraînement de politiques robotiques pourraient être substantiellement réduits.

La modélisation de récompenses à grande échelle est un problème ouvert depuis plusieurs années dans la communauté robotique, avec des approches comme EUREKA d'NVIDIA ou les variantes robotiques du RLHF (Reinforcement Learning from Human Feedback) qui cherchent toutes à réduire la dépendance à l'annotation humaine dense. Robometer se positionne comme une alternative généraliste et multi-embodiment, sans être lié à une architecture ou un robot spécifique. Les suites naturelles incluent l'intégration dans des pipelines VLA (Vision-Language-Action), où la qualité du signal de récompense conditionne directement la généralisabilité des politiques apprises à l'échelle ; l'ouverture du code et des poids rend désormais possible des validations indépendantes, condition nécessaire pour confirmer les bénéfices au-delà du cadre expérimental des auteurs.

À lire aussi

1arXiv cs.RO

Transformer des modèles vidéo en politiques robotiques généralistes

Des chercheurs du MIT CSAIL ont publié fin mai 2026 un preprint (arXiv:2605.27817) présentant VERA, pour Video-to-Embodied Robot Action Model, une architecture qui transforme des modèles vidéo génératifs en politiques robotiques généralisables. L'idée centrale est de découpler deux composants qui, dans les approches récentes, sont souvent entraînés conjointement : un planificateur vidéo, qui prédit des séquences d'images représentant la complétion d'une tâche, et un modèle de dynamique inverse (IDM, Inverse Dynamics Model) spécifique à l'effecteur, qui traduit ces images en commandes motrices concrètes. L'IDM est conçu à partir du Jacobien cinématique du robot, ce qui le rend à la fois efficient en données et extensible aux espaces d'action de haute dimension. L'équipe démontre VERA sur deux configurations : manipulation zero-shot d'un bras Panda 7-DOF et réorientation de cube en dextérité avec une main Allegro à 16 degrés de liberté, sur des benchmarks simulés et réels. Ce découplage constitue une alternative architecturale directe aux fondations robotiques qui co-entraînent prédiction d'observations et prédiction d'actions sur des données étiquetées (action-labeled), comme le proposent Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. L'avantage opérationnel est concret : le planificateur vidéo reste agnostique à l'effecteur et peut être partagé entre plusieurs robots en changeant uniquement l'IDM associé, sans réentraîner le backbone vidéo. L'IDM peut lui-même être entraîné sur des données de self-play facilement disponibles, ce qui réduit la dépendance aux démonstrations humaines coûteuses. Les résultats zero-shot sur des tâches de manipulation réelle renforcent la thèse que le gap sim-to-real peut être atténué par une modélisation géométrique rigoureuse de l'effecteur. La course aux VLA (Vision-Language-Action models) et aux politiques cross-embodiment est aujourd'hui dominée par des laboratoires bien capitalisés : Physical Intelligence avec Pi-0 et Pi-0.5, NVIDIA avec GR00T N2, Figure AI avec Helix, et 1X Technologies. VERA positionne le MIT CSAIL dans ce paysage avec une approche plus modulaire que les architectures monolithiques en vogue. Il s'agit pour l'instant d'un preprint de recherche, sans déploiement industriel annoncé ni partenariat hardware mentionné. Les résultats sont disponibles sur vera.csail.mit.edu, et la prochaine étape naturelle serait une évaluation sur des effecteurs plus variés ou des environnements non structurés pour valider la généralisation à plus grande échelle.

RechercheOpinion

1 source

2arXiv cs.RO

Récompense dense généralisable pour les tâches robotiques à long horizon

Des chercheurs proposent VLLR, un cadre de récompense dense destiné à affiner par apprentissage par renforcement (RL) des politiques robotiques pré-entraînées par imitation, sans écrire de fonction de récompense à la main pour chaque tâche. Il combine deux signaux. Le premier est une récompense extrinsèque. Un grand modèle de langage (LLM) découpe la tâche en sous-tâches vérifiables, puis un modèle vision-langage (VLM) estime l'avancement. Cette estimation initialise la fonction de valeur pendant une courte phase de préchauffage. Le VLM n'est donc pas appelé à chaque pas, ce qui évite un coût d'inférence prohibitif. Le second signal est intrinsèque : l'auto-certitude de la politique (self-certainty) guide chaque pas pendant tout l'affinage par PPO. Sur le benchmark CHORES (manipulation mobile et navigation), VLLR gagne jusqu'à 56 points de taux de succès absolu sur la politique de départ. Il gagne jusqu'à 5 points face aux méthodes d'affinage RL de l'état de l'art sur les tâches connues, et jusqu'à 10 points sur les tâches hors distribution. Le travail s'attaque à un point faible connu des modèles de fondation robotiques, l'imitation à grande échelle. Face à une dérive de distribution, les erreurs s'accumulent sur les tâches longues. Le RL peut corriger cela, mais il bute sur l'ingénierie manuelle des récompenses, qui ne passe pas à l'échelle sur des tâches variées. Les ablations montrent des effets complémentaires. L'initialisation par VLM améliore surtout l'efficacité d'exécution, tandis que l'auto-certitude améliore surtout le taux de succès, notamment hors distribution. L'écart de 5 points sur les tâches connues reste modeste. L'apport principal est la suppression de l'ingénierie de récompense, pas un gain de performance spectaculaire. Les résultats portent sur un benchmark académique. Le résumé ne mentionne ni robot réel, ni temps de cycle, ni déploiement, et les visualisations sont publiées sur une page de projet. Les gains « jusqu'à » sont des maxima, sans détail par tâche ici. Le travail s'inscrit dans la tendance des politiques vision-langage-action (VLA) affinées après un pré-entraînement par imitation. Il se compare aux approches RL qui exigent encore des récompenses spécifiques, ou des signaux de VLM trop coûteux pour être appelés tout au long de l'entraînement. La suite logique serait une validation sur matériel réel et sur des tâches plus longues. C'est ce qui dira si le préchauffage par VLM suffit hors simulation.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

FORGE : généraliser l'utilisation fonctionnelle d'outils par raisonnement sur trajectoires de points clés

Une équipe de recherche publie sur arXiv (arXiv:2607.05780) un système baptisé FORGE, conçu pour résoudre un problème concret de la robotique manipulatrice : un robot entraîné à utiliser un outil précis échoue généralement à transférer cette compétence à un objet différent partageant pourtant la même fonction, par exemple utiliser une pierre ou une chaussure pour planter un clou comme le ferait un humain. Les chercheurs ont testé plusieurs représentations intermédiaires (images d'affordance, vidéos de démonstration humaine, trajectoires de points-clés en 2D) et retiennent les trajectoires de points-clés comme le meilleur compromis entre expressivité fonctionnelle et capacité à être traduites en actions robotiques. FORGE fonctionne en deux étapes distinctes : d'abord prédire des trajectoires de points-clés génériques à partir de données sans action associée, puis les ancrer en commandes motrices concrètes grâce à un nombre limité de démonstrations. Sur un banc d'essai de sept outils dédié à une tâche de type "frapper pour enfoncer", la méthode dépasse les approches de référence sur des outils jamais vus, en simulation comme en conditions réelles, avec plus du double du taux de réussite moyen. Cette avancée cible un verrou connu des politiques d'apprentissage par imitation et des modèles vision-langage-action (VLA) : la plupart généralisent mal dès qu'un outil change de forme, même si sa fonction reste identique. Pour les intégrateurs qui envisagent des robots humanoïdes ou des bras manipulateurs en environnement non structuré, où l'outil disponible n'est pas toujours celui prévu, cette capacité d'improvisation fonctionnelle est un prérequis pour sortir de la démonstration contrôlée et aller vers un déploiement réel. FORGE s'inscrit dans une tendance de recherche plus large visant à découpler le raisonnement de haut niveau de l'exécution motrice, une logique que l'on retrouve dans des systèmes comme GR00T N2, Pi-0 ou Helix, qui cherchent tous à réduire la dépendance à des démonstrations robotiques coûteuses en s'appuyant sur des données vidéo ou des données sans action. Il s'agit ici d'un travail académique publié en préprint, sans partenaire industriel identifié ni déploiement annoncé : la prochaine étape logique serait d'étendre la validation au-delà de ce banc d'essai de sept outils vers des tâches de manipulation plus variées.

RecherchePaper

1 source

4arXiv cs.RO

Même trajectoire, récompenses contradictoires (ROBORMBENCH) : la fragilité des modèles de récompense vision-langage face aux paraphrases

Une équipe de recherche a publié ROBORMBENCH, un benchmark mesurant la fragilité des modèles vision-langage (VLM) utilisés comme fonctions de récompense en robotique, dans un article mis en ligne en septembre 2026 sur arXiv sous la référence 2609.05401. Le jeu de données réunit 2 390 trajectoires de robots réels, des étiquettes de progression vérifiées au sol, et 21 673 paraphrases vérifiées couvrant des réécritures lexicales, syntaxiques et de type action-objectif. Constat central : reformuler une consigne, sans toucher à la trajectoire réellement exécutée par le robot, peut faire varier fortement le score de progression prédit par le modèle, au point de faire basculer un comportement identique entre échec et succès. Testée sur des modèles propriétaires et open-source, cette instabilité induite par la paraphrase s'avère répandue, sévère, s'aggrave à mesure que les reformulations s'éloignent du texte d'origine, et résiste aussi bien à l'augmentation de la taille du modèle qu'à l'ajout de raisonnement explicite. Seuls des modèles de récompense dédiés, entraînés avec une supervision ancrée dans la trajectoire, se montrent nettement plus stables. Ce résultat fragilise une hypothèse de plus en plus répandue dans le secteur, selon laquelle des VLM généralistes peuvent servir tels quels de juges pour entraîner des politiques robotiques par renforcement. Pour les intégrateurs et laboratoires qui bâtissent des pipelines de fine-tuning à partir de récompenses générées automatiquement, l'étude pointe un risque concret : une même démonstration réussie pourrait être notée comme un échec simplement parce que l'instruction textuelle a changé de formulation, introduisant un bruit silencieux dans l'entraînement des politiques. Le fait que ni l'échelle du modèle ni un raisonnement explicite ne corrigent le problème contredit l'idée que ces limites se résorberaient naturellement avec des modèles plus gros ou plus verbeux, et plaide pour des modèles de récompense spécialisés plutôt que pour des VLM généralistes détournés de leur usage d'origine. ROBORMBENCH s'inscrit dans la tendance récente consistant à réutiliser des VLM prêts à l'emploi comme évaluateurs automatiques de progression de tâche en robotique, une alternative moins coûteuse que la supervision humaine ou l'écriture manuelle de fonctions de récompense. Le benchmark combine des trajectoires issues de robots réels, et non simulées, avec des paraphrases vérifiées par des humains, ce qui le distingue des tests synthétiques habituels du domaine. Le résumé de l'article ne précise ni les organismes à l'origine des travaux ni de calendrier de suite, mais la publication invite explicitement le secteur à traiter la robustesse aux paraphrases comme un critère obligatoire avant de déployer des VLM comme juges dans des boucles d'entraînement robotique, aux côtés de métriques plus classiques comme la précision ou la cohérence temporelle des prédictions.

RecherchePaper

1 source