RecherchearXiv cs.RO 2 octobre 2026

Recova : récupération sur échec guidée par des agents pour la manipulation robotique autonome

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent sur arXiv Recova, un cadre logiciel piloté par un agent qui traite les échecs de manipulation robotique, ces situations où la scène se retrouve dans un état dont la politique de tâche ne peut plus sortir. Le système développe conjointement l'exécution de la tâche et la récupération dans un jumeau numérique reconstruit de la scène. L'agent y diagnostique les pannes, teste des programmes correctifs et collecte des trajectoires réussies, pour la tâche comme pour la récupération, destinées à entraîner deux politiques distinctes. En déploiement, il surveille la progression, déclenche une récupération apprise ou programmée, vérifie que la scène est restaurée, puis reprend la tâche. Si aucune récupération adaptée n'existe, une démonstration humaine règle le cas et alimente la boucle d'apprentissage. Les essais réels et les démonstrations sont routés vers la politique concernée pour un entraînement DAgger. Sur six configurations LIBERO-Pro et quatre catégories MolmoSpaces, Recova atteint 78,8 % et 64,9 % de succès moyen, contre 71,7 % et 38,0 % pour les meilleures méthodes de référence. Sur quatre postes robotisés réels collectant en parallèle, le fine-tuning DAgger fait passer le succès moyen de 23,8 % à 77,5 %, et les compétences de récupération le portent à 87,5 %. Sur une tâche donnée, l'intervention humaine observée tombe de 87,5 % à 0 % en quatre cycles de collecte.

L'enjeu dépasse la robustesse brute. La plupart des politiques VLA et des pipelines d'imitation sont évalués sur des trajectoires nominales, alors que le coût opérationnel d'un robot en production tient largement à ce qui se passe après l'échec : objet tombé, scène désordonnée, nécessité d'un opérateur. Recova propose de transformer chaque panne en capacité réutilisable et de réduire progressivement la supervision humaine, ce qui répond directement à la question du coût de téléopération et d'assistance à distance pour les intégrateurs et les exploitants. Le résultat le plus parlant est l'écart sur MolmoSpaces (64,9 % contre 38,0 %), plus marqué que sur LIBERO-Pro. Des réserves s'imposent toutefois : l'évaluation réelle repose sur peu de postes et de tâches, la baisse de l'intervention à 0 % ne concerne qu'une seule tâche, et rien n'est dit sur les temps de cycle, les coûts de reconstruction du jumeau numérique ou la généralisation à des scènes très différentes. Il s'agit d'un travail de recherche, sans produit livré ni déploiement industriel.

Le travail s'inscrit dans la convergence entre agents LLM de planification, jumeaux numériques pour la génération de données et apprentissage par correction de type DAgger, une voie explorée pour limiter la dépendance à la collecte massive de démonstrations. Il se positionne face aux approches de fine-tuning de VLA et de simulation à grande échelle que poursuivent des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix), qui misent surtout sur davantage de données plutôt que sur une récupération explicite des échecs. LIBERO-Pro et MolmoSpaces servent ici de bancs d'essai standardisés. La suite logique serait de valider l'approche sur davantage de tâches, de postes et de durées d'exploitation, et de mesurer ses gains en conditions de production, ce que la page projet de l'équipe, liuisabella.com/Recova, ne détaille pas à ce stade.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

LaGEA : des agents incarnés guidés par le langage pour la manipulation robotique

Des chercheurs présentent LaGEA (Language Guided Embodied Agents), une architecture combinant un modèle vision-langage (VLM) et l'apprentissage par renforcement (RL) pour la manipulation robotique, décrite dans une version mise a jour (v3) d'un article arXiv (2509.23155). Apres chaque tentative, le système résume l'épisode en langage naturel, localise les instants décisifs de la trajectoire, aligne ce retour avec l'état visuel dans une représentation partagée, puis transforme la progression vers l'objectif en récompenses bornées appliquées pas a pas. Un coefficient adaptatif, sensible aux échecs, rend ce signal dense en début d'exploration puis l'atténué avec la montée en compétence de l'agent. Sur les bancs d'essai simules Meta-World MT10 (dix taches de manipulation) et Robotic Fetch, LaGEA améliore le taux de réussite moyen de 9,0% sur des objectifs aléatoires, 5,3% sur des objectifs fixes et 17% sur les taches Fetch par rapport aux méthodes de référence, avec une convergence plus rapide. Le travail s'attaque a un problème classique du RL, la conception manuelle des fonctions de récompense, souvent couteuse et peu généralisable a de nouvelles taches. En montrant qu'un retour en langage naturel, structure et ancre temporellement, peut remplacer une partie de cette ingénierie, LaGEA nuance le narratif dominant autour des modèles vision-langage-action (VLA) de type Pi-0, GR00T N2 ou Helix, conçus pour piloter directement une politique de bout en bout : ici, le langage sert de superviseur d'apprentissage plutôt que de commande directe. Les gains rapportes restent obtenus en simulation, non sur du matériel réel, et demandent une confirmation sur des taches de manipulation physique. LaGEA prolonge les travaux exploitant les grands modèles vision-langage comme source de récompense ou de critique pour le RL, un axe de recherche actif depuis l'essor des modèles de fondation capables de décrire des objectifs et d'évaluer des trajectoires. Meta-World MT10 et Robotic Fetch sont des bancs d'essai standards de la communauté robotique, ce qui permet une comparaison directe avec l'état de l'art. S'agissant d'une version corrigée d'un article déjà publie, la contribution reste académique : aucun partenaire industriel, date de déploiement ou intégration produit n'est annonce a ce stade, la prochaine étape logique étant une validation sim-to-real sur robot physique.

RecherchePaper

1 source

2arXiv cs.RO

FLARE : un cadre conscient des échecs pour la correction et la récupération autonomes en manipulation robotique vision-langage

Des chercheurs proposent FLARE (Failure-Aware framework for Autonomous Correction and Recovery), publié sur arXiv sous la référence 2608.26645v1, une méthode destinée aux modèles vision-langage-action (VLA) utilisés pour la manipulation robotique. Le système repose sur deux mécanismes complémentaires baptisés « Retry » et « Reset ». Le mécanisme Retry injecte des perturbations et des segments de transition dans les démonstrations d'entraînement, en dissociant la pose du robot de l'état de l'environnement, afin que la politique apprenne à gérer seule les écarts d'exécution mineurs comme une prise ratée ou un objet qui glisse. Le pipeline Reset s'attaque aux échecs plus graves, dits hors distribution (OOD), qui rompent l'état de la tâche : un grand modèle multimodal (MLLM) analyse hors ligne des vidéos d'exécution pour repérer automatiquement ces états OOD, ce qui permet de constituer une petite bibliothèque ciblée de compétences de récupération centrées sur les objets. En inférence, un moniteur MLLM en ligne arbitre en temps réel entre poursuite de la tâche et déclenchement d'une compétence Reset. Les auteurs annoncent des gains de taux de réussite et de robustesse sur des tâches de manipulation complexes et riches en contacts, sans toutefois détailler dans le résumé les chiffres précis ni la plateforme robotique testée. L'enjeu touche un point faible connu des VLA : entraînés sur des démonstrations « parfaites », sans échec, ils peinent souvent à se rattraper en conditions réelles, un écart classique entre démonstration et déploiement. Pour les intégrateurs et les équipes robotique industrielles, la capacité à détecter et corriger automatiquement une erreur d'exécution, sans intervention humaine ni réinitialisation manuelle du poste de travail, conditionne directement la viabilité de cellules de manipulation autonomes en production. FLARE s'inscrit dans une tendance de recherche qui cherche à combler l'écart entre les démonstrations vidéo souvent présentées par les laboratoires et la réalité d'une ligne de production où objets glissent, collisions surviennent et préhenseurs ratent leur prise. Le travail s'inscrit dans la lignée des modèles VLA génériques récemment mis en avant dans le secteur, comme Pi-0, GR00T N2 ou Helix, qui visent à généraliser la manipulation à partir d'un apprentissage à grande échelle mais partagent la même limite de données d'entraînement sans échec. FLARE reste à ce stade une contribution de recherche publiée sur arXiv, sans annonce de déploiement industriel ni de partenariat commercial associé ; sa validation repose sur des expériences en laboratoire, et son adoption dépendra de tests indépendants et d'une éventuelle intégration dans des piles logicielles de manipulation existantes.

RechercheActu

1 source

3arXiv cs.RO

RARA : affinement robuste de politiques par alignement des représentations ancré sur la récupération, pour la manipulation robotique

Des chercheurs proposent RARA (Retrieval-Anchored Representation Alignment), une méthode d'adaptation en deux étapes pour les politiques robotiques pré-entraînées, notamment les modèles VLA (Vision-Language-Action), publiée sur arXiv (2610.13578). Dans un premier temps, RARA récupère dans les données de pré-entraînement des démonstrations dont l'intention de tâche et le mouvement sont proches de la tâche cible. Il aligne ensuite les représentations internes de la politique sur les démonstrations cibles avec les représentations pré-entraînées des démonstrations récupérées. Dans un second temps, la politique est affinée sur les démonstrations cibles, tandis qu'une contrainte limite la variation de ses représentations des démonstrations récupérées. Les tests portent sur Diffusion Policy et GR00T, sur 13 tâches réparties entre les benchmarks de simulation RoboTwin et RoboCasa et un robot réel. Les auteurs annoncent un gain moyen de 9,5 points de taux de succès en distribution et de 13,6 points hors distribution par rapport à un fine-tuning classique, ainsi qu'une supériorité sur toutes les méthodes de référence comparées. Le problème visé est central pour quiconque veut déployer des modèles généralistes en production. Adapter un VLA à une nouvelle tâche avec quelques démonstrations suffit souvent à obtenir de bons résultats dans les conditions d'entraînement, mais ce fine-tuning direct déforme les représentations acquises lors du pré-entraînement. Le modèle perd alors une part de sa robustesse face à un changement d'éclairage, d'objet ou de configuration de scène. Pour un intégrateur, cet écart entre performance en laboratoire et fiabilité sur site constitue l'un des principaux freins au passage à l'échelle. Le gain hors distribution, plus marqué que le gain en distribution, va dans le sens de l'hypothèse selon laquelle la dérive des représentations est une cause réelle de fragilité, et pas seulement un détail de réglage. Il faut toutefois rester prudent. Il s'agit d'un preprint non évalué par les pairs, et les chiffres sont des moyennes sur seulement 13 tâches. Le détail du protocole de test en conditions réelles, la taille de l'échantillon et la variance des résultats ne sont pas précisés dans le résumé. Les coûts de l'étape de récupération, notamment l'accès aux données de pré-entraînement, ne sont pas non plus chiffrés. La méthode s'inscrit dans un courant plus large qui cherche à préserver les connaissances du pré-entraînement lors de l'adaptation, par analogie avec les travaux sur l'oubli catastrophique en modèles de langage et en vision. Le choix de GR00T, la famille de modèles fondation de NVIDIA pour l'humanoïde, et de Diffusion Policy, une référence académique pour l'imitation, montre que l'approche se veut indépendante de l'architecture. Elle reste à confirmer sur d'autres VLA, comme Pi-0 ou Helix, et sur des tâches plus longues et plus variées. Une limite pratique apparaît d'emblée: la méthode suppose de disposer des données de pré-entraînement, ce qui n'est pas toujours le cas pour les modèles ouverts dont seuls les poids sont publiés. Les auteurs mettent une page projet à disposition, ce qui devrait permettre aux équipes industrielles d'évaluer rapidement la reproductibilité.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

LIBERO-RECOVER : au-delà de la réussite des tâches, la récupération après échec dans les modèles de manipulation robotique

Des chercheurs ont publié le 5 septembre 2026 sur arXiv (2609.05178) LIBERO-Recover, un benchmark consacré à la récupération après échec des modèles de manipulation robotique Vision-Language-Action (VLA) ou World Action (WAM). Construit à partir de LIBERO, référence de l'apprentissage robotique en simulation, il rassemble plus de 1 000 scénarios d'échecs réels issus de modèles état de l'art, répartis en quatre niveaux : réessai d'action, adaptation d'action, récupération de l'état de l'objet et récupération environnementale. Il évalue quatre compétences : compréhension spatiale, raisonnement sur la structure des objets, compréhension des interactions et raisonnement topologique. Le projet est disponible sur liulin815.github.io/LIBERO-Recovery. L'enjeu est réel pour les intégrateurs et décideurs du secteur robotique : les modèles les plus avancés affichent des taux de succès proches de 100% sur LIBERO, souvent présentés comme preuve de maturité pour un déploiement réel. Les auteurs contestent cette lecture, car ces scores mesurent l'exécution de tâches depuis des états initiaux idéaux, sans jamais tester la réaction à une prise ratée, une collision ou un déplacement involontaire d'objet, situations pourtant inévitables hors laboratoire. LIBERO-Recover déplace ainsi la question de la réussite d'une tâche vers la capacité à s'en remettre après un échec, nuançant l'idée que le sim-to-real et l'apprentissage par imitation à grande échelle seraient déjà résolus. Pour les industriels évaluant des piles VLA, ce travail rappelle que les scores de benchmark actuels ne garantissent pas la robustesse opérationnelle. Ce travail s'inscrit dans une critique méthodologique croissante des benchmarks de manipulation robotique : LIBERO, désormais jugé saturé, ne mesurait que la réussite finale d'une tâche, jamais la résilience face à l'imprévu. Il s'agit d'une contribution académique en preprint, sans lien annoncé avec un produit commercial : aucun robot physique, partenariat industriel ni calendrier de commercialisation n'est mentionné. Les auteurs présentent LIBERO-Recover comme le premier benchmark à grande échelle consacré à la récupération après échec en robotique incarnée, un manque notable face à la multiplication des modèles fondation pour la manipulation. La suite attendue est l'adoption de ce protocole par la communauté pour évaluer les futurs modèles VLA sur cet axe de robustesse, plutôt que sur le seul taux de succès brut.

RecherchePaper

1 source