Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RoboRecover : évaluer la récupération des politiques robotiques après des écarts d'exécution
RecherchearXiv cs.RO 

RoboRecover : évaluer la récupération des politiques robotiques après des écarts d'exécution

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs en robotique ont mis en ligne le 25 septembre 2026 sur arXiv (2609.28952) un nouveau benchmark baptisé RoboRecover, destiné à mesurer la capacité des politiques robotiques, notamment les modèles vision-langage-action (VLA), à se rétablir après une déviation survenue en cours d'exécution. Les benchmarks existants testent des trajectoires complètes depuis un état initial fixe et jugent surtout le résultat final, en négligeant ce qui se passe pendant l'interaction dynamique. RoboRecover cible au contraire les états intermédiaires anormaux, ceux où des contacts ou des actions ont modifié les relations entre objets et la progression de la tâche, obligeant la politique à comprendre ce qui a changé, corriger la situation, puis reprendre l'objectif initial. La méthode sélectionne des états de déviation issus de trajectoires réelles, les reconstruit en rejouant des préfixes d'actions, puis évalue les politiques sur la tâche d'origine à partir de ce point de reprise. Le benchmark compile 2 000 scénarios répartis sur deux plateformes de simulation, RoboTwin et LIBERO, à raison de 1 000 chacune, avec un découpage fixe de 800 scénarios d'entraînement pour 200 de test sur chaque plateforme.

Le résultat central est que la performance sur l'état initial ne prédit pas la performance en récupération : une politique compétente sur une tâche propre peut échouer à s'en sortir une fois perturbée, et les forces de récupération varient fortement d'un scénario à l'autre. C'est une nuance importante pour les intégrateurs et décideurs B2B qui évaluent des modèles génériques (type Pi-0, GR00T N2 ou Helix) sur la seule base de démonstrations en conditions nominales : ces vitrines ne renseignent en rien sur la robustesse réelle face aux glissements, collisions ou interventions humaines qui surviennent en déploiement industriel. RoboRecover formalise ainsi un écart entre démonstration et fiabilité opérationnelle que le secteur avait jusqu'ici peu isolé comme axe de mesure à part entière.

Ce travail s'inscrit dans la montée en puissance de benchmarks de politiques génériques comme RoboTwin et LIBERO, devenus des bancs d'essai standards pour comparer les architectures VLA. En exploitant son découpage d'entraînement, RoboRecover permet aussi d'étudier des interventions ciblées pour améliorer la récupération, ouvrant la voie à des travaux futurs sur l'entraînement spécifique à la robustesse post-perturbation, potentiellement étendus à d'autres plateformes ou au matériel réel.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

LIBERO-RECOVER : au-delà de la réussite des tâches, la récupération après échec dans les modèles de manipulation robotique
1arXiv cs.RO 

LIBERO-RECOVER : au-delà de la réussite des tâches, la récupération après échec dans les modèles de manipulation robotique

Des chercheurs ont publié le 5 septembre 2026 sur arXiv (2609.05178) LIBERO-Recover, un benchmark consacré à la récupération après échec des modèles de manipulation robotique Vision-Language-Action (VLA) ou World Action (WAM). Construit à partir de LIBERO, référence de l'apprentissage robotique en simulation, il rassemble plus de 1 000 scénarios d'échecs réels issus de modèles état de l'art, répartis en quatre niveaux : réessai d'action, adaptation d'action, récupération de l'état de l'objet et récupération environnementale. Il évalue quatre compétences : compréhension spatiale, raisonnement sur la structure des objets, compréhension des interactions et raisonnement topologique. Le projet est disponible sur liulin815.github.io/LIBERO-Recovery. L'enjeu est réel pour les intégrateurs et décideurs du secteur robotique : les modèles les plus avancés affichent des taux de succès proches de 100% sur LIBERO, souvent présentés comme preuve de maturité pour un déploiement réel. Les auteurs contestent cette lecture, car ces scores mesurent l'exécution de tâches depuis des états initiaux idéaux, sans jamais tester la réaction à une prise ratée, une collision ou un déplacement involontaire d'objet, situations pourtant inévitables hors laboratoire. LIBERO-Recover déplace ainsi la question de la réussite d'une tâche vers la capacité à s'en remettre après un échec, nuançant l'idée que le sim-to-real et l'apprentissage par imitation à grande échelle seraient déjà résolus. Pour les industriels évaluant des piles VLA, ce travail rappelle que les scores de benchmark actuels ne garantissent pas la robustesse opérationnelle. Ce travail s'inscrit dans une critique méthodologique croissante des benchmarks de manipulation robotique : LIBERO, désormais jugé saturé, ne mesurait que la réussite finale d'une tâche, jamais la résilience face à l'imprévu. Il s'agit d'une contribution académique en preprint, sans lien annoncé avec un produit commercial : aucun robot physique, partenariat industriel ni calendrier de commercialisation n'est mentionné. Les auteurs présentent LIBERO-Recover comme le premier benchmark à grande échelle consacré à la récupération après échec en robotique incarnée, un manque notable face à la multiplication des modèles fondation pour la manipulation. La suite attendue est l'adoption de ce protocole par la communauté pour évaluer les futurs modèles VLA sur cet axe de robustesse, plutôt que sur le seul taux de succès brut.

RecherchePaper
1 source
Recova : récupération sur échec guidée par des agents pour la manipulation robotique autonome
2arXiv cs.RO 

Recova : récupération sur échec guidée par des agents pour la manipulation robotique autonome

Des chercheurs présentent sur arXiv Recova, un cadre logiciel piloté par un agent qui traite les échecs de manipulation robotique, ces situations où la scène se retrouve dans un état dont la politique de tâche ne peut plus sortir. Le système développe conjointement l'exécution de la tâche et la récupération dans un jumeau numérique reconstruit de la scène. L'agent y diagnostique les pannes, teste des programmes correctifs et collecte des trajectoires réussies, pour la tâche comme pour la récupération, destinées à entraîner deux politiques distinctes. En déploiement, il surveille la progression, déclenche une récupération apprise ou programmée, vérifie que la scène est restaurée, puis reprend la tâche. Si aucune récupération adaptée n'existe, une démonstration humaine règle le cas et alimente la boucle d'apprentissage. Les essais réels et les démonstrations sont routés vers la politique concernée pour un entraînement DAgger. Sur six configurations LIBERO-Pro et quatre catégories MolmoSpaces, Recova atteint 78,8 % et 64,9 % de succès moyen, contre 71,7 % et 38,0 % pour les meilleures méthodes de référence. Sur quatre postes robotisés réels collectant en parallèle, le fine-tuning DAgger fait passer le succès moyen de 23,8 % à 77,5 %, et les compétences de récupération le portent à 87,5 %. Sur une tâche donnée, l'intervention humaine observée tombe de 87,5 % à 0 % en quatre cycles de collecte. L'enjeu dépasse la robustesse brute. La plupart des politiques VLA et des pipelines d'imitation sont évalués sur des trajectoires nominales, alors que le coût opérationnel d'un robot en production tient largement à ce qui se passe après l'échec : objet tombé, scène désordonnée, nécessité d'un opérateur. Recova propose de transformer chaque panne en capacité réutilisable et de réduire progressivement la supervision humaine, ce qui répond directement à la question du coût de téléopération et d'assistance à distance pour les intégrateurs et les exploitants. Le résultat le plus parlant est l'écart sur MolmoSpaces (64,9 % contre 38,0 %), plus marqué que sur LIBERO-Pro. Des réserves s'imposent toutefois : l'évaluation réelle repose sur peu de postes et de tâches, la baisse de l'intervention à 0 % ne concerne qu'une seule tâche, et rien n'est dit sur les temps de cycle, les coûts de reconstruction du jumeau numérique ou la généralisation à des scènes très différentes. Il s'agit d'un travail de recherche, sans produit livré ni déploiement industriel. Le travail s'inscrit dans la convergence entre agents LLM de planification, jumeaux numériques pour la génération de données et apprentissage par correction de type DAgger, une voie explorée pour limiter la dépendance à la collecte massive de démonstrations. Il se positionne face aux approches de fine-tuning de VLA et de simulation à grande échelle que poursuivent des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix), qui misent surtout sur davantage de données plutôt que sur une récupération explicite des échecs. LIBERO-Pro et MolmoSpaces servent ici de bancs d'essai standardisés. La suite logique serait de valider l'approche sur davantage de tâches, de postes et de durées d'exploitation, et de mesurer ses gains en conditions de production, ce que la page projet de l'équipe, liuisabella.com/Recova, ne détaille pas à ce stade.

RecherchePaper
1 source
Eval-Actions : évaluation fine de la qualité d'exécution en manipulation robotique
3arXiv cs.RO 

Eval-Actions : évaluation fine de la qualité d'exécution en manipulation robotique

Des chercheurs ont publié sur arXiv (2601.18723v2) Eval-Actions, une méthodologie d'évaluation diagnostique et un benchmark en conditions réelles pour mesurer la qualité d'exécution des politiques de manipulation robotique de type Vision-Action (VA) et Vision-Language-Action (VLA). Le corpus rassemble plus de 13 000 épisodes téléopérés et générés par des politiques apprises, couvrant 150 tâches et environ 52 heures d'enregistrements avec vidéos RGB-D, trajectoires d'état robot et labels succès/échec. Trois niveaux d'annotation structurent le benchmark : un Expert Grading (EG) basé sur des critères explicites, des labels Rank-Guided (RG) alignant indicateurs cinématiques et classements experts, et des annotations Chain-of-Thought (CoT) qui explicitent les différences d'exécution observables entre épisodes. Les auteurs fournissent également AutoEval, un évaluateur multimodal de référence : AutoEval-S atteint une corrélation de rang Spearman (SRCC) de 0,81 sous EG et 0,84 sous RG, avec une précision de détection du succès de 90,6 % et 91,0 % respectivement ; AutoEval-P obtient 0,70 SRCC sous CoT. L'apport principal est de combler un angle mort persistant dans le domaine : les benchmarks robotiques mesurent quasi exclusivement le taux de succès binaire, une métrique grossière qui masque des différences profondes entre exécutions réussies. Deux politiques peuvent accomplir la même tâche de préhension avec des trajectoires radicalement différentes en termes de fluidité, de sécurité des mouvements ou d'efficacité. Pour les intégrateurs industriels et les équipes de déploiement, ce niveau de granularité est critique : il conditionne la robustesse en production, la détection précoce des dégradations de performance, et la comparaison fiable de politiques concurrentes hors ligne, sans enregistrement supplémentaire sur robot physique. Les modèles VLA ont connu une accélération marquée depuis 2024, notamment avec Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI) côté architectures de politiques, mais leur évaluation rigoureuse restait un point faible reconnu du domaine, freinant reproductibilité et décisions d'achat. Eval-Actions s'inscrit dans un effort de standardisation aux côtés de RoboMimic, LIBERO et Open X-Embodiment, sans cibler un concurrent direct. Les suites logiques incluent l'extension aux manipulateurs bi-bras, la validation sur systèmes humanoïdes complets et l'intégration potentielle comme critère officiel dans des challenges robotiques standardisés.

RechercheOpinion
1 source
CriticHack : évaluer les récompenses visuelles lors de l'optimisation de politiques robotiques
4arXiv cs.RO 

CriticHack : évaluer les récompenses visuelles lors de l'optimisation de politiques robotiques

Des chercheurs publient CriticHack, une étude qui montre qu'un modèle de récompense visuel appris peut attribuer à une exécution portant sur le mauvais objet un score aussi élevé qu'à une exécution qui accomplit réellement la tâche. L'équipe affine tous les paramètres du débruiteur d'une politique de diffusion contre Robometer, sur une tâche de tiroir en simulation. Partant d'une politique supervisée sans exposition préalable à la récompense, cinq entraînements augmentent le taux de réussite de 10,2 points de pourcentage, mais aussi les échecs sur le mauvais objet de 10,9 points, sur 512 graines d'évaluation. Cinq entraînements menés avec le signal de complétion de tâche du simulateur améliorent la réussite sans amplifier ces erreurs (écart de 9,2 points, IC à 95 % de 5,6 à 13,0). L'effet se reproduit à partir d'une politique déjà optimisée sur des récompenses apprises, avec le sampler natif de la diffusion, à distance égale de la politique initiale, et avec deux critiques et deux optimiseurs. Le point inquiétant pour les praticiens est que les indicateurs habituellement surveillés restent au vert. La récompense monte, le taux de réussite aussi, et rien n'alerte sur la dérive. Les auteurs proposent un modèle d'« inclinaison » : sous optimisation régularisée par KL, un résultat devient plus fréquent dès que sa récompense espérée sous la politique initiale dépasse la moyenne de la population. Robometer sépare bien les succès des échecs dans l'ensemble (AUROC de 0,81), mais note les échecs sur le mauvais objet légèrement au-dessus des succès (AUROC de 0,37). Le modèle prédit les déplacements de résultats sur 26 configurations contraintes (corrélation de Spearman de 0,89), y compris celles où la réussite recule. La recette de terminaison sur succès publiée par Robometer hérite de la même erreur. Un vérificateur de résultat figé réoriente la même optimisation vers la tâche demandée. Pour l'industrie, le résultat nuance l'usage croissant de récompenses visuelles apprises, de type VLM ou critique vidéo, pour affiner des politiques robotiques sans ingénierie de récompense manuelle. Une métrique globale correcte, comme un AUROC de 0,81, ne garantit pas que la récompense soit sûre à optimiser, car ce sont les erreurs systématiques sur des cas précis qui sont amplifiées. Pour les intégrateurs et les équipes qui visent un apprentissage par renforcement en conditions réelles, cela impose de contrôler les modes d'échec par catégorie, et pas seulement la réussite agrégée. Les limites restent notables : une seule tâche de tiroir, en simulation, avec un seul modèle de récompense principal. La généralisation à d'autres tâches et à des politiques VLA de grande taille reste à démontrer. Ce travail s'inscrit dans la montée en puissance des modèles de récompense appris, qui visent à remplacer les signaux de simulation ou les démonstrations coûteuses. Il rejoint la littérature sur le détournement de récompense (reward hacking) en apprentissage par renforcement et en RLHF, ici transposée à la manipulation robotique avec des politiques de diffusion. Il s'agit d'un preprint arXiv (v1), non évalué par les pairs. La suite logique serait de tester des vérificateurs de résultat sur des tâches plus variées, puis sur robot réel, et d'intégrer ce type d'audit aux pipelines de post-entraînement.

RecherchePaper
1 source