RecherchearXiv cs.RO 10 septembre 2026

Ancrage des plans vidéo générés dans une simulation pour des contrôleurs dextériques polyvalents

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent GALATEA, une méthode combinant vidéos générées d'interactions main-objet et simulation physique pour entraîner des contrôleurs robotiques dextres. Décrit dans un article arXiv (2609.10050) publié le 10 septembre 2026, le système utilise des vidéos synthétiques comme références de mouvement pour entraîner un tracker capable de suivre plusieurs objets et trajectoires en simulation. Les auteurs ont ancré plus de 1 500 vidéos générées dans un environnement simulé grâce à une méthode de reconstruction HOI (hand-object interaction) nécessitant une intervention manuelle minimale. Résultat annoncé : des taux de réussite supérieurs de plus de 25 points de pourcentage par rapport aux méthodes de référence lors de l'entraînement en simulation. Des expériences en boucle fermée sur robot réel démontrent ensuite une diversité de prises, notamment des saisies fonctionnelles, des manipulations non préhensiles et un suivi de pose post-saisie. Vidéos et code sont disponibles sur le site du projet, hébergé par les auteurs (Boyuan An et collaborateurs).

L'approche s'attaque à un goulot d'étranglement central de la robotique de manipulation dextre : la rareté de trajectoires de référence fiables et diversifiées pour entraîner des politiques de contrôle. Plutôt que de dépendre de captures de mouvement humain coûteuses ou de démonstrations téléopérées, les auteurs exploitent des modèles vidéo génératifs pour produire des plans de mouvement, que la simulation physique valide et rend exécutables sur du matériel réel. Ce découplage entre génération de plans (vidéo) et exécution bas niveau (tracker appris) illustre une tendance de fond dans les architectures VLA (vision-language-action) : séparer la planification sémantique de haut niveau du contrôle moteur fin. Pour les intégrateurs et laboratoires travaillant sur la manipulation robotique, ce travail suggère une voie pour réduire le coût d'acquisition de données d'entraînement, un frein connu à la généralisation des politiques dextres au-delà de tâches étroitement définies.

Ce travail s'inscrit dans une lignée de recherches académiques cherchant à combler l'écart entre modèles vidéo génératifs, de plus en plus capables de produire des démonstrations visuellement plausibles, et leur applicabilité réelle en robotique, où la physique doit rester cohérente. Contrairement aux annonces de modèles fondation généralistes comme Pi-0, GR00T N2 ou Helix, portées par des acteurs industriels visant un déploiement commercial, GALATEA reste à ce stade une contribution de recherche publiée sur arXiv, sans indication de partenariat industriel, de calendrier de commercialisation ou de déploiement en usine. Les auteurs positionnent leur méthode comme complémentaire aux approches de tracking HOI existantes, dont elle cherche à améliorer la scalabilité par la génération vidéo. Aucune suite ni pilote n'est annoncé au-delà de la publication du code et des vidéos de démonstration.

Dans nos dossiers

NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Ancrage physique des politiques génératives : diffusion guidée par l'optimisation pour le contrôle robotique

Des chercheurs ont publié le 24 juin 2026 sur arXiv (référence 2606.24208) une méthode visant à corriger un angle mort des politiques robotiques génératives : les sorties produites par les modèles de diffusion peuvent être statistiquement valides mais physiquement infaisables. En pratique, un modèle génératif de haute qualité peut planifier une saisie (grasp), un waypoint ou une trajectoire qui viole des contraintes d'atteignabilité (reachability), d'évitement de collision ou d'exécutabilité en boucle fermée, rendant le déploiement direct sur robot impossible. Les auteurs proposent un cadre d'optimisation à l'inférence qui formule le guidage diffusionnel comme un problème d'optimisation sous contraintes. La clé : remplacer la perturbation d'échantillonnage dans le processus de débruitage (backward process) par une correction optimisée, ce qui permet d'imposer des contraintes dures ou souples lors du sampling sans ré-entraîner le modèle. Évalué sur la synthèse de saisies dextères avec contraintes de reachability et d'évitement de collision, et sur la manipulation dynamique avec contraintes de suivi au niveau contrôleur, la méthode améliore le taux de succès jusqu'à 20 points de pourcentage sur la saisie dextère et 23 points de pourcentage sur la manipulation visuomotrice par rapport à la meilleure baseline testée. L'enjeu est ce que les auteurs nomment l'"embodiment gap" : une politique entraînée dans un espace de tâches générique peut produire des comportements conceptuellement transférables, mais leur exécution sur un corps physique spécifique échoue faute de contraintes cinématiques ou dynamiques respectées. Pour les intégrateurs et les OEM robotiques, cela signifie que les modèles généralistes comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) ne peuvent pas être déployés tels quels sur n'importe quel bras ou manipulateur sans couche d'adaptation. L'approche proposée ici opère uniquement en temps d'inférence, sans modification des poids du modèle, ce qui réduit drastiquement le coût d'adaptation à un nouvel embodiment et la rend potentiellement intégrable dans des pipelines existants sans refonte de l'architecture. Le travail s'inscrit dans la dynamique des politiques de diffusion en robotique, initiée notamment par Diffusion Policy (Chi et al., 2023) et prolongée par les architectures VLA de nouvelle génération. Les méthodes concurrentes de guidage par gradient (gradient guidance) et de projection constituent les baselines, et la méthode proposée les surpasse en préservant mieux la qualité des saisies tout en augmentant l'exécutabilité au niveau contrôleur. Dans un secteur où Physical Intelligence, Covariant ou 1X Technologies misent sur des politiques génératives à grande échelle pour atteindre la généralisation inter-robots, cette approche d'optimisation à l'inférence offre un levier d'adaptation pragmatique sans nécessiter de nouvelles données d'entraînement ni de fine-tuning coûteux.

RechercheActu

1 source

2arXiv cs.RO

RLHND : des modèles fondation vidéo comme suiveurs de mains ancrés dans la physique pour l'apprentissage des robots

Des chercheurs présentent RLHND, un modèle de suivi de la main (hand tracking) qui estime conjointement la pose de la main et des informations tactiles réalistes à partir de vidéos égocentriques monoculaires, c'est-à-dire filmées du point de vue de l'opérateur avec une seule caméra. Le système réutilise le backbone de diffusion vidéo pré-entraîné Cosmos 3 comme extracteur de caractéristiques déterministe au niveau du clip, grâce à un conditionnement par « latent propre » (clean-latent conditioning). Pour la pose, il prédit des angles articulaires anatomiquement plausibles et accepte en option un paramètre de forme, ce qui maintient une morphologie de main cohérente dans une même vidéo, voire entre plusieurs vidéos du même acteur. Pour le tactile, un flux « expert » distinct, entraîné pendant que le flux de pose est gelé, prédit les contacts et les forces denses sur la surface de la main. Une propagation de caractéristiques fondée sur le LBS (linear blend skinning) permet d'extraire des attributs par sommet sans attention coûteuse sur chacun d'eux. Les auteurs revendiquent l'état de l'art sur plusieurs benchmarks de pose, ainsi que sur l'estimation du contact et de la force, et fournissent des résultats de retargeting et des expériences sur robot réel. Le code doit être publié. L'enjeu touche directement l'entraînement de politiques robotiques à partir de vidéos humaines, une approche qui se généralise. Le maillon faible y est la qualité des données : les trackers classiques régressent la pose à partir d'images recadrées, avec peu d'a priori sur la dynamique de la main et l'interaction avec les objets. Ils produisent des estimations imprécises et physiquement incohérentes, qui se propagent ensuite dans les actions retargetées vers une main robotique. Ajouter contact et force comble un manque majeur, car la manipulation fine dépend de ces signaux que la vidéo seule n'expose pas. Si les gains se confirment, des vidéos égocentriques ordinaires, bien moins coûteuses que la téléopération ou les gants instrumentés, deviendraient une source de supervision plus exploitable. Le travail suggère aussi que les modèles de fondation vidéo, souvent présentés comme des modèles du monde, peuvent servir de perception physiquement informée, au-delà de la génération. Quelques réserves : il s'agit d'une prépublication arXiv non évaluée par les pairs, les chiffres précis ne figurent pas dans le résumé, l'ampleur des essais robotiques n'est pas détaillée, et la vérité terrain de force reste difficile à obtenir hors laboratoire, ce qui pose la question de la généralisation. Ce travail s'inscrit dans la montée des méthodes qui apprennent des mains humaines filmées pour alimenter des modèles vision-langage-action (VLA) et des mains dextres. Il prolonge la lignée des estimateurs de pose de main à partir d'images isolées, et reprend l'idée de détourner les modèles vidéo génératifs de la famille Cosmos, développée par NVIDIA, vers des tâches de perception. Les acteurs de la robotique humanoïde cherchent à passer à l'échelle leurs données de manipulation sans multiplier les opérateurs en téléopération, et un suivi de main fiable avec signaux tactiles répond à ce besoin. La suite dépendra de la publication du code annoncée sur la page du projet, de reproductions indépendantes et de démonstrations sur des tâches de manipulation plus longues et plus variées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

V2-STRep : représentations structurées de tâches ancrées dans un VLM pour des compétences robotiques réutilisables issues de vidéos générées

Un article publié sur arXiv (référence 2609.20582v1, mis en ligne le 18 septembre 2026) présente V2-STRep, un framework de recherche "zero-shot" qui transforme des vidéos de manipulation générées par IA en compétences robotiques réutilisables. Le principe consiste à remplacer l'enregistrement de démonstrations physiques par un robot pour chaque tâche par une vidéo synthétique, produite par un modèle de génération vidéo à partir d'une image de scène initiale et d'une instruction textuelle. Les auteurs relèvent que cette vidéo générée ne capture qu'une seule réalisation, propre à une scène donnée, sans expliciter la structure de la tâche ni ses contraintes géométriques. V2-STRep corrige ce manque en s'appuyant sur un modèle vision-langage (VLM) pour bâtir une représentation structurée : phases de mouvement, références et contraintes, décrites via des structures géométriques minimales (points, points-normales, axes, plans, poses 6D complètes). Les indices 2D fournis par le VLM sont ensuite reprojetés en 3D à partir d'observations RGB-D, pour reconstruire la géométrie de la tâche et les poses de prise candidates. Des règles propres à chaque type de géométrie transfèrent ensuite le mouvement vers de nouvelles scènes, tandis qu'une optimisation de trajectoire sous contraintes couple sélection de prise et planification complète du mouvement, en exploitant la liberté de rotation restante pour respecter les limites articulaires. Sur six tâches de manipulation réelles, la méthode affiche un taux de réussite supérieur aux méthodes de référence testées, un transfert fiable entre scènes différentes, et une capacité d'adaptation à de nouvelles instructions compatibles sans régénérer de vidéo. Pour les intégrateurs et laboratoires de robotique, l'intérêt tient moins à un produit qu'à une piste méthodologique : contourner le goulot d'étranglement de la collecte de démonstrations téléopérées, coûteuse et lente à faire passer à l'échelle, en s'appuyant sur des modèles de génération vidéo déjà entraînés sur des vidéos humaines. Le travail répond directement à une limite connue de cette approche, à savoir qu'une vidéo générée reste ancrée dans la scène où elle a été produite et ne se généralise pas telle quelle. En démontrant un transfert entre scènes et une adaptation à de nouvelles instructions sans nouvelle génération vidéo, l'étude nuance l'idée reçue que les modèles vidéo-vers-action ne fonctionnent qu'en circuit fermé, scène par scène. Ce travail s'inscrit dans une tendance de recherche plus large visant à exploiter des vidéos humaines ou générées comme substitut aux démonstrations robotiques réelles, en complément des approches VLA entraînées sur des données massives de téléopération comme Pi-0, GR00T N2 ou Helix. Il ne s'agit ici que d'un article de recherche à l'état de preprint, validé sur six tâches en laboratoire, sans annonce de produit, de partenariat industriel ni de déploiement chez un intégrateur. Aucun acteur français ou européen n'est cité dans ces travaux. Les prochaines étapes attendues, classiques pour ce type de publication, sont l'élargissement du nombre de tâches testées, la comparaison avec davantage de baselines, puis une éventuelle reprise par des équipes industrielles cherchant à réduire leurs coûts de collecte de données.

RecherchePaper

1 source

4arXiv cs.RO

Mask2Real-WM : les masques de segmentation, un pont simulation-réel pour modèles du monde dextériques contrôlables

Des chercheurs présentent Mask2Real-WM, un modèle du monde conditionné par l'action conçu pour la manipulation dextrale, capable de prédire les conséquences futures d'une séquence de gestes sans avoir à les exécuter sur un robot réel. L'architecture se décompose en deux étages : un modèle de dynamique qui projette des masques de segmentation futurs à partir des masques passés et d'une séquence d'actions à 23 degrés de liberté (DoF), et un modèle de rendu qui convertit ces masques en images RGB photoréalistes via un backbone Stable Video Diffusion augmenté de ControlNet. Le choix de travailler dans l'espace des masques plutôt que directement en pixels réduit l'écart sim-to-real : le modèle de dynamique est préentraîné sur plus de 50 heures de données de simulation synthétique, puis affiné sur moins de 2,5 heures de démonstrations réelles seulement. Testé sur un benchmark de préhension et dépose dextrale, le système contrôle correctement chacun des 23 degrés de liberté de la main robotique. Ce résultat compte car la plupart des modèles du monde actuels, entraînés de bout en bout sur des pixels, reproduisent bien les trajectoires globales du bras ou de l'effecteur mais échouent à refléter les effets fins de chaque articulation individuellement, ce qui limite leur usage pour évaluer ou planifier des politiques de manipulation dextrale fine. En montrant que le conditionnement par masques combiné au préentraînement en simulation permet une contrôlabilité par-DoF complète, l'étude apporte une piste concrète pour réduire la dépendance aux données réelles, coûteuses à collecter sur des mains robotiques à haute dimensionnalité, l'un des goulots d'étranglement identifiés dans le déploiement des politiques VLA à grande échelle. Les modèles du monde conditionnés par l'action s'inscrivent dans une lignée de travaux visant à simuler les conséquences des actions robotiques sans interaction physique répétée, une alternative aux approches reposant sur la simulation physique classique ou l'apprentissage par renforcement en ligne. Le choix de la segmentation comme représentation intermédiaire distingue cette approche des modèles vidéo génératifs monolithiques employés par d'autres équipes travaillant sur la manipulation dextrale. Les auteurs limitent pour l'instant leurs tests à un seul benchmark de pick-and-place, laissant ouverte la question de la généralisation à d'autres tâches ou morphologies de main, une étape nécessaire avant tout usage en production sur des politiques VLA déployées.

RecherchePaper

1 source