RecherchearXiv cs.RO 21 juillet 2026

Foresight par apprentissage résiduel pour la manipulation robotique à long horizon avec des modèles vision-langage-action

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Le laboratoire de recherche en robotique derrière l'étude "Foresight Residual RL" a publié le 24 juillet 2026 sur arXiv (2607.16506v1) une méthode visant à corriger un défaut connu des politiques Vision-Language-Action (VLA) sur les tâches d'assemblage complexes. Le problème identifié est concret : sur une tâche en trois phases (saisie, déplacement-insertion, rotation) simulant le serrage d'un écrou avec une clé dans l'environnement Isaac Gym, les méthodes classiques de reinforcement learning résiduel appliquées à une politique VLA gelée échouent à enchaîner les sous-tâches correctement, même quand chaque sous-tâche individuelle réussit. La solution proposée, baptisée Foresight Residual RL, entraîne un prédicteur visuel qui estime, à partir d'une image de l'état terminal d'une sous-tâche, la probabilité de succès des sous-tâches suivantes, et utilise cette estimation comme multiplicateur de récompense pour orienter l'apprentissage. Sur la tâche testée, la méthode atteint 85,6% de réussite sur l'ensemble de la séquence, contre 54,5% pour le RL résiduel standard et des résultats inférieurs pour les politiques VLA de base seules.

Ce résultat pointe un angle mort largement sous-estimé dans le déploiement industriel des politiques génératives pour la manipulation robotique : optimiser chaque geste isolément ne garantit pas un enchaînement fiable des tâches. Pour les intégrateurs qui envisagent des lignes d'assemblage à tolérances serrées, contact-riche, type ligne électronique ou mécanique de précision, la démonstration confirme un écart persistant entre la performance en démonstration isolée et la performance en séquence réelle, un des points de vigilance recurrents pointés par les acteurs du secteur, sceptiques face aux vidéos promotionnelles de robots humanoïdes. Le fait que le succès par sous-tâche reste inchangé alors que le succès global bondit change la manière de penser l'entraînement : il ne s'agit plus seulement de maximiser un taux de réussite par étape, mais de façonner l'état terminal produit à chaque étape pour qu'il reste exploitable par l'étape suivante, une nuance directement pertinente pour les équipes qui construisent des pipelines d'apprentissage par renforcement sur des bases VLA préentraînées comme Pi-0 ou GR00T.

Cette approche s'inscrit dans la lignée des travaux récents combinant politiques VLA préentraînées et affinage par RL résiduel, une stratégie de plus en plus utilisée pour adapter des modèles de manipulation généralistes à des tâches industrielles spécifiques sans réentraîner l'ensemble du modèle. La méthode a été validée uniquement en simulation, sur une tâche mécanique unique et relativement contrainte ; aucune date de transfert vers un robot physique ni de partenariat industriel n'est mentionnée dans l'article. Les auteurs positionnent leurs travaux comme une réponse méthodologique générale au problème d'attribution de crédit sur des horizons longs, un défi que partagent les principaux laboratoires travaillant sur les politiques génératives pour bras robotiques et humanoïdes, de Physical Intelligence à NVIDIA, sans qu'aucun acteur français ou européen ne soit cité dans cette publication.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 Manipulation robotique

À lire aussi

1arXiv cs.RO

MIKASA-Robo-VLA : évaluer la mémoire des modèles vision-langage-action (VLA) pour la manipulation à long horizon

MIKASA-Robo-VLA, un nouveau benchmark publié sur arXiv (v1, octobre 2026), propose 90 tâches de manipulation conditionnées par le langage pour mesurer comment les politiques vision-langage-action (VLA) exploitent une information qui disparaît en cours de tâche. Dans 80 d'entre elles, l'indice dont dépend l'action est masqué ; les 10 restantes sont des contrôles réactifs où il reste visible. Chaque tâche fournit une instruction textuelle, alors que la suite d'origine, MIKASA-Robo (32 tâches), n'utilisait le langage que sur un sous-ensemble représentatif. Pour 70 tâches, les temps de phase de l'environnement définissent un « écart d'information », et dans 28 cas il dépasse la fenêtre de 16 images du VLA à contexte fixe le plus large recensé par les auteurs. Les chercheurs publient 22 500 trajectoires oracle couvrant 10 types de mémoire, aux formats RLDS et LeRobotDataset v3. Une baseline de référence π0.5, avec images courantes et proprioception mais sans historique d'observations ni module de mémoire explicite, est affinée sur 14 tâches et atteint 0,211 ± 0,044 de succès moyen. L'intérêt tient à un angle mort de l'évaluation actuelle. La plupart des VLA ne voient que une ou quelques images récentes, et les benchmarks courants récompensent surtout des comportements réactifs, ce qui peut masquer l'absence totale de mémoire. En distinguant tâches à mémoire et contrôles réactifs, le benchmark permet d'isoler cette faiblesse plutôt que de la confondre avec un défaut de perception ou de contrôle. Pour les intégrateurs et décideurs B2B, c'est un rappel que les démonstrations de manipulation longue durée (assemblage multi-étapes, tri avec conditions cachées, reprise après occlusion) ne disent pas grand-chose de la capacité d'un modèle à retenir ce qu'il ne voit plus. Le score de 0,211 est toutefois à lire avec prudence : il ne porte que sur 14 tâches, et les auteurs reconnaissent eux-mêmes que le moindre succès sur les tâches de la catégorie Long est brouillé par le « chunking » en boucle ouverte et par la composition des types de mémoire de ce sous-ensemble. Il ne prouve donc pas, à lui seul, que la mémoire explique l'écart. Ce travail prolonge la lignée MIKASA-Robo, centrée sur la mémoire en manipulation, et s'inscrit dans le mouvement de standardisation des données robotiques autour de RLDS et de LeRobot, l'écosystème porté notamment par Hugging Face, avec une compatibilité v3 qui facilite la réutilisation. π0.5, de Physical Intelligence, sert de référence, mais aucun résultat n'est publié pour des architectures dotées d'historique ou de mémoire explicite, qui seraient les comparaisons naturelles. La suite logique, que le papier laisse ouverte, serait d'évaluer ces variantes sur l'ensemble des 90 tâches. Le jeu de données et la page du projet sont déjà disponibles, ce qui permet à d'autres laboratoires de tester leurs propres modèles. Il s'agit d'un benchmark de simulation, sans déploiement industriel associé.

RecherchePaper

1 source

2arXiv cs.RO

PDDL-ART : abstraction symbolique autonome par démonstration pour la manipulation robotique à long horizon via modèles vision-langage

La rédaction manuelle de domaines PDDL est un goulot d'étranglement connu de la planification symbolique en robotique, exigeant une expertise spécialisée pour formaliser actions, préconditions et effets : PDDL-ART cherche à déléguer cette tâche à un VLM guidé par une seule démonstration. Pour les intégrateurs visant des tâches multi-étapes complexes, cela laisse entrevoir une planification symbolique reconfigurable sans ingénieur PDDL dédié, combinant la fiabilité des planificateurs classiques et la flexibilité des modèles de fondation, en alternative aux politiques purement end-to-end. Ces résultats restent toutefois ceux d'un preprint non relu par les pairs, obtenus sur un nombre restreint de tâches contrôlées ; le gain de 15 points sur la référence mérite confirmation à plus grande échelle et sur des environnements plus variés. Une équipe de recherche présente PDDL-ART dans un article publié sur arXiv le 19 août 2026 (arXiv:2608.17146v1), un framework qui automatise la construction de domaines et problèmes PDDL (Planning Domain Definition Language) pour la planification robotique à long horizon. Le système s'appuie sur un modèle vision-langage (VLM) pour générer ces descriptions à partir d'une seule démonstration expert, d'une consigne en langage naturel et d'une bibliothèque de noms d'actions disponibles, sans gabarit de domaine ni fine-tuning. Un pipeline de correction en trois étapes, syntaxique, sémantique puis d'exécution, vérifie la cohérence du résultat, notamment via un ancrage symbolique des prédicats qui mobilise les capacités d'utilisation d'outils du VLM pour un raisonnement géométrique et temporel allant au-delà de la simple lecture d'image. Sur des tâches de maintenance moteur et de manipulation domestique impliquant mémoire et inférence de prédicats abstraits, PDDL-ART atteint un taux de réussite moyen de 93,3 %, contre 78,3 % pour un planificateur de référence basé uniquement sur un VLM. PDDL structure la planification symbolique depuis la fin des années 1990, mais son adoption a toujours buté sur la difficulté de traduire des observations sensorielles en prédicats exploitables, un problème que les VLM récents dotés de capacités d'appel d'outils permettent d'attaquer différemment. L'article ne cite aucun laboratoire ni entreprise associée au projet, ce qui le situe pour l'instant au stade de recherche académique plutôt que de produit ou de déploiement industriel ; aucun acteur français ou européen n'y figure. La comparaison à un planificateur VLM de référence positionne PDDL-ART face aux approches neuronales pures de la génération actuelle de modèles vision-langage-action, sans calendrier annoncé pour une publication du code ou une suite expérimentale.

RecherchePaper

1 source

3arXiv cs.RO

STAR : apprentissage de représentations tactiles éparses pour la manipulation dextérique via modèles vision-tactile-langage-action

Des chercheurs ont publié le 12 septembre 2026 sur arXiv (2609.12549) STAR, un système d'apprentissage pour modèles vision-tactile-langage-action destinés à la manipulation dextre bimanuelle. L'équipe a construit une plateforme robotique et un dispositif de téléopération pour collecter 200 heures de données, soit 10 576 trajectoires réparties sur 65 tâches, dont 69,5 % impliquent une manipulation multi-doigts fine, chaque séquence étant annotée simultanément en vision, tactile et langage. STAR combine trois mécanismes pour compenser la rareté spatiale, temporelle et informationnelle des signaux tactiles : un pré-entraînement conjoint visuel-tactile, une représentation par jetons tactiles globaux épars, et une prédiction tactile future éparse. Après entraînement sur ce corpus, puis un post-entraînement léger de seulement 100 trajectoires par tâche, le modèle atteint un taux de réussite moyen de 61 % sur quatre tâches réelles. Ce résultat s'attaque à un goulot d'étranglement connu des modèles vision-langage-action (VLA) : le signal tactile, clairsemé par nature, est souvent négligé au profit de la seule combinaison vision-langage, ce qui limite la finesse de manipulation. Démontrer qu'un post-entraînement de 100 démonstrations par tâche suffit à dépasser 60 % de réussite renforce l'idée qu'une intégration tactile native, plutôt qu'ajoutée après coup, améliore la généralisation des politiques robotiques. Pour les intégrateurs en robotique humanoïde et en préhension industrielle, cela ouvre une piste concrète pour réduire le coût de collecte de données réelles, souvent le vrai frein au passage du laboratoire au terrain. Le chiffre de 61 % reste toutefois à confirmer sur des objets et environnements non vus, les quatre tâches testées ayant été sélectionnées par les auteurs eux-mêmes. STAR s'inscrit dans une recherche croissante visant à doter les modèles VLA d'un véritable retour tactile, alors que des systèmes de référence du secteur, comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, reposent surtout sur la coordination vision-langage sans exploiter systématiquement le toucher. La rareté des jeux de données vision-tactile-langage synchronisés à grande échelle explique en partie pourquoi peu d'acteurs disposent d'un corpus comparable aux 10 576 trajectoires réunies ici. Publié comme préprint sans affiliation industrielle revendiquée ni calendrier de déploiement, STAR reste à ce stade une contribution de recherche. La communauté attendra probablement la publication du code et du jeu de données, ainsi que des comparaisons directes avec d'autres architectures tactiles en cours de développement.

RechercheActu

1 source

4arXiv cs.RO

ReMoBot : apprentissage par imitation en quelques exemples pour la manipulation mobile avec des modèles fondation visuels

Des chercheurs ont publié ReMoBot (arXiv:2408.15919v4), un framework d'apprentissage par imitation à peu d'exemples conçu pour la manipulation mobile sur robots à vision égocentrique. Évalué sur un Boston Dynamics Spot, le système atteint des taux de succès de 70 % sur la tâche "Table Uncover" et 80 % sur "Gap Cover" en environnement réel, avec seulement 20 démonstrations par tâche. Plutôt que de distiller les démonstrations dans une politique paramétrique classique, ReMoBot adopte une stratégie de récupération : à l'inférence, il identifie dans une base de démonstrations d'experts les séquences les plus pertinentes via une combinaison de similarité d'état, d'alignement temporel des trajectoires et de cohérence des séquences d'actions, puis sélectionne directement les commandes motrices sans aucun entraînement supplémentaire. L'ensemble s'appuie sur des vision foundation models pour extraire des représentations robustes depuis la caméra embarquée du robot, en fonctionnement totalement training-free à l'exécution. L'approche retrieval-based présente deux avantages concrets pour les intégrateurs industriels. D'abord, le coût de collecte de données est drastiquement réduit : 20 démonstrations contre plusieurs centaines requises par les méthodes IL standard (ACT, Diffusion Policy), ce qui accélère le déploiement sur de nouvelles tâches ou variantes. Ensuite, l'absence d'entraînement à l'inférence supprime le risque de surapprentissage sur données insuffisantes, problème récurrent avec les objets déformables où la variabilité des états est élevée. ReMoBot surpasse deux baselines entraînées directement sur données réelles sans transfert sim-to-réel sur deux tâches sur trois. La tâche "Curtain Open" reste problématique, signalant que la manipulation d'objets hautement déformables sous occultations partielles constitue encore un verrou non résolu, y compris pour les approches retrieval. ReMoBot s'inscrit dans la tendance à exploiter les vision foundation models (de la famille DINOv2, CLIP, SAM) pour réduire la dépendance aux données propriétaires et améliorer la généralisation. Sur le Spot de Boston Dynamics, plateforme quadrupède commerciale, la manipulation mobile reste un défi structurel : le robot se déplace en même temps qu'il manipule, rendant l'observation égocentrique partielle et bruitée. Face aux VLA de grande taille comme pi-0 (Physical Intelligence) ou RT-2 (Google DeepMind), qui exigent des volumes de données considérables et une infrastructure d'entraînement lourde, ReMoBot se positionne dans le segment "data-efficient, training-free" particulièrement pertinent pour les intégrateurs ou PME industrielles sans capacité de collecte à grande échelle. La prochaine étape logique serait d'enrichir dynamiquement la base de démonstrations et de valider l'approche dans des environnements industriels hors laboratoire contrôlé.

UELes PME et intégrateurs robotiques européens sans capacité de collecte de données à grande échelle pourraient bénéficier directement de cette approche data-efficient (20 démos vs plusieurs centaines), réduisant la barrière d'entrée au déploiement de manipulation mobile intelligente.

RecherchePaper

1 source