RecherchearXiv cs.RO 13 juillet 2026

PhysV2A : complétion de faisabilité guidée par l'atteignabilité et contrainte par masque sémantique, pour la manipulation vidéo-vers-robot

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

PhysV2A est un nouveau framework de recherche présenté dans un article publié sur arXiv (2607.09365) qui s'attaque à un problème central de la manipulation robotique pilotée par vidéo : convertir un mouvement d'objet en 6 degrés de liberté, extrait de démonstrations humaines, de vidéos générées ou d'observations RGB-D, en une trajectoire réellement exécutable par un robot donné. Le principe clé est de traiter la faisabilité de la prise non pas localement, mais comme conditionnée par la trajectoire entière : chaque candidat de préhension à 6-DoF issu d'une image RGB-D est rigidement couplé au mouvement d'objet reconstruit pour former une hypothèse de trajectoire du point central de l'outil (TCP). Le système applique ensuite une sélection hiérarchique "reachability-gated" qui rejette les paires prise-trajectoire irréalisables via des vérifications cinématiques propres au robot, puis classe les candidats survivants selon leur aptitude à l'exécution. Pour la trajectoire retenue, un masque sémantique S-Mask, assisté par un modèle vision-langage et validé par des règles, distingue les composantes cartésiennes critiques pour la tâche de celles qui peuvent être assouplies, permettant un raffinement de la manipulabilité par optimisation priorisant la redondance et relaxation cartésienne bornée. Sur quatre tâches de manipulation de table testées avec un robot réel, PhysV2A améliore le taux de réussite par rapport aux méthodes de référence fondées sur des a priori vidéo ou sur la seule cinématique inverse, tout en réduisant les échecs liés à la faisabilité cinématique.

L'enjeu dépasse la simple démonstration technique : les priors extraits de vidéos sont par nature agnostiques à l'incarnation du robot, ce qui constitue un des principaux verrous empêchant l'usage à grande échelle de vidéos humaines ou générées comme source de données d'apprentissage pour la manipulation, un défi central pour les approches de type VLA (vision-language-action) qui cherchent à exploiter des corpus vidéo massifs plutôt que des démonstrations téléopérées coûteuses. En montrant qu'un traitement de la faisabilité au niveau trajectoire plutôt qu'au niveau de chaque prise réduit les échecs cinématiques, PhysV2A apporte un élément concret au débat sur l'écart entre priors vidéo prometteurs en simulation et exécution fiable sur robot réel.

Ce travail s'inscrit dans une tendance de recherche plus large où vidéos humaines et vidéos générées sont envisagées comme source de données scalable pour l'apprentissage de politiques robotiques, en écho aux efforts de modèles comme Pi-0 ou GR00T N2 qui cherchent à exploiter des données hétérogènes au-delà de la téléopération classique. L'article, classé comme nouvelle soumission arXiv, reste à ce stade une contribution académique validée sur banc d'essai restreint (quatre tâches, un seul robot), sans indication d'industrialisation ni de partenaire déployant la méthode ; les prochaines étapes attendues concernent l'extension à davantage d'embodiments et de tâches de manipulation plus complexes.

Dans nos dossiers

NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

RelAfford6D : graphes d'affordance 6D relationnels pour la manipulation robotique guidée par contraintes

Des chercheurs ont déposé en juin 2026 sur arXiv (référence 2606.27036) RelAfford6D, un framework sans entraînement pour la manipulation robotique d'objets articulés. Le système s'appuie sur un graphe d'affordances 6D relationnel : à partir d'une consigne en langage naturel, il déduit une topologie sémantique reliant la partie principale d'interaction d'un objet à son ancre physique. Ces noeuds topologiques sont ensuite convertis en poses métriques précises dans l'espace SE(3), soit six degrés de liberté complets en position et orientation, via des modèles de vision fondamentaux pré-entraînés. L'exécution est formulée comme un problème de satisfaction de contraintes cinématiques : le robot génère des trajectoires continues en suivant des variétés physiques strictement définies, qu'il s'agisse d'orbites rotoïdes (rotation) ou prismatiques (translation). Un mécanisme de suivi en boucle fermée assure la replanification en temps réel face aux perturbations. L'approche tranche avec la majorité des politiques data-driven actuelles, comme les VLA basés sur l'imitation ou les méthodes à affordances latentes, qui extraient des points de contact isolés sans contraintes cinématiques explicites. En formulant la manipulation comme satisfaction de contraintes, RelAfford6D obtient des taux de succès zero-shot supérieurs aux baselines data-driven testées, avec une généralisation inter-catégories documentée sur des objets articulés variés (tiroirs, portes, manettes) aussi bien en simulation que dans des environnements physiques réels. Pour les intégrateurs industriels, l'absence d'entraînement spécifique à la tâche est significative : le framework peut s'adapter à de nouveaux mécanismes sans collecter de données de démonstration supplémentaires. La manipulation d'objets articulés en open-world reste l'un des verrous majeurs de la robotique de service et industrielle. Les approches récentes à base de VLA ont progressé sur la flexibilité sémantique mais peinent à garantir la précision géométrique requise pour des mécanismes contraints comme des vannes, portes ou tiroirs industriels. RelAfford6D s'inscrit dans une tendance émergente combinant fondations visuelles pré-entraînées et raisonnement géométrique analytique, sans fine-tuning coûteux. Parmi les travaux concurrents figurent CabiNet, les méthodes à affordance implicite comme GNFactor ou F3RM, et les approches VLA récentes telles que Pi-0. Ce preprint constitue une démonstration académique validée sur banc réel, sans partenariat industriel ni timeline de déploiement annoncé à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

DreamX-Phi 1.0 : modèle du monde vidéo conditionné par l'action pour la manipulation robotique

DreamX-Phi 1.0, un modèle de monde vidéo conditionné par l'action pour la manipulation robotique, est présenté dans un article déposé sur arXiv (2608.13489v1). À partir d'une image observée, d'une instruction en langage naturel et d'une séquence d'actions prescrite, poses de l'effecteur terminal et états du gripper, le système prédit les observations vidéo futures correspondantes. Pour éviter qu'une vidéo réaliste en apparence déplace le mauvais bras ou fasse disparaître l'objet manipulé, les auteurs injectent des transformations géométriques SE(3) propres à chaque bras dans les couches d'attention via un encodage de type PRoPE, complété par une branche de profondeur pour la géométrie de la scène et des masques SAM3 associés à un modèle enseignant V-JEPA figé pour maintenir la cohérence des objets durant la saisie. Le générateur multi-étapes est ensuite distillé en un modèle étudiant à peu d'étapes pour accélérer le déploiement. Le modèle revendique la première place sur la Track 1 et la deuxième sur la Track 2 du WorldArena 2.0 Challenge, avec publication annoncée du modèle et du code. Cette approche s'attaque à un problème central des modèles de monde appliqués à la robotique: une vidéo générée peut paraître photoréaliste tout en étant physiquement incohérente avec les commandes envoyées au robot, ce qui invalide son usage pour l'entraînement de politiques ou la planification. En ancrant la génération vidéo sur la géométrie rigide réelle de chaque bras et en préservant l'identité des objets manipulés, DreamX-Phi cherche à combler l'écart entre démonstration visuelle convaincante et fidélité exploitable pour le contrôle. La distillation en modèle étudiant à peu d'étapes répond à une contrainte pratique bien connue des intégrateurs: les modèles de monde vidéo multi-étapes sont souvent trop lents pour une boucle de contrôle temps réel, ce qui limite sinon leur usage à la simulation ou à l'évaluation hors ligne. Le classement sur WorldArena 2.0 reste toutefois un résultat de benchmark académique et non une validation en conditions réelles sur un robot physique. DreamX-Phi s'inscrit dans une vague plus large de modèles de monde vidéo pour la robotique, qui cherchent à compléter ou remplacer les architectures vision-langage-action comme Pi-0 ou GR00T N2 par une simulation générative directe des conséquences d'une action. Le recours à SAM3 pour la segmentation et à V-JEPA comme enseignant figé situe le projet dans la lignée des modèles de représentation vidéo auto-supervisés récents plutôt que dans une pile propriétaire fermée. À ce stade, aucune information ne mentionne de déploiement sur un robot physique ni de partenariat industriel: il s'agit d'un article de recherche accompagné d'un résultat de compétition, le modèle et le code étant seulement annoncés comme à venir. La suite logique, si cette promesse de publication est tenue, sera l'adoption du modèle comme brique de simulation ou d'évaluation par d'autres équipes travaillant sur la manipulation robotique.

RecherchePaper

1 source

3arXiv cs.RO

GenVid2Robot : de la génération vidéo à la manipulation robotique par cohérence rigide-géométrique

Des chercheurs ont publié le 13 juillet 2026 sur arXiv (2607.09191v1) GenVid2Robot, un système qui transforme des vidéos générées par IA en trajectoires exécutables sur un robot manipulateur réel. Le problème de départ: une vidéo générée peut sembler visuellement plausible sans être physiquement exécutable, faute de géométrie métrique, d'ancrage de préhension, de faisabilité cinématique ou de retour d'exécution. GenVid2Robot part d'une observation RGB-D initiale et d'une instruction de tâche, échantillonne des ancres sémantiques pertinentes sur la première image réelle, puis suit ces ancres à travers les candidats vidéo générés. Un modèle SE(3) relatif et épars vérifie si le mouvement 2D observé est cohérent avec la géométrie 3D des ancres; seul le mouvement validé géométriquement est transféré au robot. Ce mouvement est ensuite appliqué à la pose réelle de l'organe terminal (TCP) au moment de la saisie, déterminée par une préhension contrainte par masque, et un module de compensation de profondeur borné corrige les erreurs locales dues au bruit RGB-D ou aux déplacements de contact. L'enjeu dépasse la démonstration technique isolée: les modèles de génération vidéo (type Sora, Veo ou Genie) sont de plus en plus présentés comme des sources de "priors" de mouvement pour la robotique, mais l'écart entre vidéo plausible et action exécutable reste l'un des obstacles majeurs à leur usage réel, aux côtés du problème classique du sim-to-real. En filtrant les hypothèses de mouvement par cohérence géométrique plutôt qu'en rejouant directement une trajectoire, GenVid2Robot répond directement au risque d'échec en conditions réelles que redoutent intégrateurs et équipes R&D travaillant sur les architectures vision-langage-action (VLA). Le travail s'inscrit dans la lignée des approches combinant modèles génératifs et politiques robotiques, aux côtés d'efforts comme Pi-0, GR00T N2 ou Helix qui cherchent à exploiter des priors visuels ou vidéo à grande échelle. À ce stade, il s'agit d'une publication de recherche avec expériences sur robot réel, non d'un produit commercialisé; les auteurs ne précisent pas de calendrier de déploiement industriel.

RecherchePaper

1 source

4arXiv cs.RO

3PoinTr : apprentissage de la manipulation robotique à partir de vidéos humaines non contraintes

Une équipe de chercheurs a publié sur arXiv (2603.08485) une méthode baptisée 3PoinTr permettant d'entraîner des politiques de manipulation robotique à partir de vidéos humaines non contraintes, sans recourir à de coûteuses démonstrations téléopérées. Le principe repose sur la prédiction de trajectoires 3D denses de points de scène (point tracks) : un transformer léger dit "visibility-aware" apprend, depuis des vidéos d'humains en train de manipuler des objets librement, comment chaque point de la scène devrait se déplacer. Une politique robotique multitâche en boucle fermée extrait ensuite les priors d'action pertinents depuis ces trajectoires prédites. Avec seulement 20 démonstrations robot étiquetées en action, 3PoinTr surpasse les meilleures baselines de behavioral cloning et de vidéo-préentraînement de 25,0 points de pourcentage en tâches réelles et de 29,6 points en simulation. Ce résultat est notable parce qu'il s'attaque à l'un des goulots d'étranglement structurels du domaine : le coût prohibitif de la collecte de données robot. Les approches existantes de video-pretraining imposent typiquement que l'humain "joue le robot", mouvements chorégraphiés, keypoints prédéfinis, annotations manuelles ou positions de préhension connues. 3PoinTr supprime ces contraintes et exploite des vidéos naturalistes, ce qui élargit considérablement le corpus exploitable (YouTube, vidéos industrielles, données de formation existantes). La gestion des occlusions partielles via la supervision sur les points partiellement occultés représente une avancée technique précise par rapport aux baselines : le transformer conserve un signal d'apprentissage même quand la main ou l'outil masque une partie de la scène. Le travail s'inscrit dans une tendance plus large des Visual-Language-Action models (VLA) et des approches fondées sur les représentations 2D/3D pour le transfert sim-to-real, en compétition directe avec des méthodes comme Track2Act, RoboTAP ou ATM (Action Tracking from Motion). Il se distingue par le passage explicite à la 3D et le faible volume de données supervisées requis. La page projet est disponible chez Adam Hung (adamhung60.github.io/3PoinTr), mais aucune annonce de déploiement industriel ou de partenariat n'est associée à cette publication : il s'agit d'un résultat de recherche, pas d'un produit commercialisé.

RecherchePaper

1 source