RecherchearXiv cs.RO 30 juillet 2026

ContactFlow : un conditionnement d'action vidéo transférable entre morphologies

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent Contact Flow, une représentation d'action indépendante de l'embodiment destinée aux modèles du monde en robotique. Le principe consiste à encoder une manipulation via la trajectoire des points de contact 3D entre un acteur (main humaine ou pince robotique) et l'objet cible, en écartant l'apparence et la cinématique propres à chaque acteur. Ce signal sert à conditionner un modèle génératif vidéo entraîné à la fois sur des démonstrations humaines et des vidéos d'interaction robotique, produisant un modèle du monde capable de prédire des issues de manipulation physiquement plausibles. L'équipe l'intègre dans un pipeline en quatre étapes (proposer, imaginer, vérifier, agir), où chaque scénario généré est évalué par un modèle vision-langage avant exécution réelle. Les expériences s'appuient sur le jeu de données DROID ainsi que sur des tâches de manipulation de table en conditions réelles, avec un transfert démontré entre démonstrations humaines et plusieurs embodiments robotiques différents. Le papier est publié sur arXiv (2607.26579v1).

Cette approche cible deux limites connues des modèles du monde vidéo actuels : leur difficulté à capturer les contraintes physiques du contact, et un conditionnement d'action généralement figé sur un embodiment précis, souvent une pince parallèle. En généralisant le signal au contact plutôt qu'à la cinématique de l'acteur, Contact Flow permet de mutualiser l'entraînement entre données humaines, bien plus abondantes et faciles à collecter, et données robotiques, un enjeu central pour les modèles VLA qui peinent encore à passer à l'échelle faute de données d'interaction physique suffisantes. Pour les laboratoires et intégrateurs, c'est un argument de plus en faveur des architectures agnostiques à l'embodiment, une piste explorée aussi par GR00T N2 de NVIDIA ou Pi-0 de Physical Intelligence. La vérification par modèle vision-langage avant action traduit également une prudence croissante face au risque d'exécuter des rollouts imaginés mais physiquement irréalistes.

Les modèles du monde vidéo pour la robotique se sont multipliés depuis 2024, portés par les progrès des générateurs vidéo et la promesse de planifier des actions sans essais coûteux sur du matériel réel. La plupart restent toutefois liés à un type de préhenseur ou de robot donné, limitant le réemploi des données entre plateformes, un problème similaire à celui des modèles VLA comme Helix de Figure ou les familles Octo et RT-2. Contact Flow se positionne comme une brique de représentation plutôt qu'un produit fini : aucun déploiement industriel n'est mentionné, seulement une évaluation sur DROID et des tâches de table en laboratoire. Les suites logiques attendues sont l'extension à des manipulations plus complexes et multi-étapes, ainsi qu'un test de robustesse sur davantage de plateformes.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

CrossSafe : vers des filtres de sécurité latents transférables entre morphologies robotiques

Un article publié sur arXiv le 25 septembre 2026 (2609.28984v1), intitulé "CrossSafe: Towards Cross-Embodiment Latent Safety Filters", propose un filtre de sécurité conditionné par la morphologie du robot et partageable entre plusieurs embodiments. La méthode applique une analyse de type Hamilton-Jacobi reachability directement dans un espace latent construit à partir d'une représentation morphology-aware du robot et de son environnement, plutôt que dans l'espace d'action brut de l'effecteur terminal qu'utilisent la plupart des modèles VLA (vision-language-action). L'approche est évaluée sur cinq embodiments de robots bimanuels et cinq tâches de manipulation, avec des contraintes d'évitement de collision portant sur l'ensemble du corps du robot. Une politique unique, entraînée conjointement sur les cinq tâches et quatre des cinq embodiments, généralise en zero-shot au cinquième embodiment laissé de côté à l'entraînement, réduisant le taux de collision par rapport à la politique nominale sans filtre; les auteurs montrent aussi que multiplier les embodiments à l'entraînement améliore cette généralisation. Ce résultat vise un angle mort des politiques de manipulation généralistes de type VLA, dans la lignée de modèles comme Pi-0, GR00T N2 ou Helix: elles apprennent des actions dans un espace commun d'effecteur terminal sans capturer explicitement comment la sécurité dépend de la morphologie et de la cinématique propres à chaque robot, alors qu'une même action peut être sûre pour un bras et dangereuse pour un autre. Pour des intégrateurs qui déploient une même politique sur des flottes hétérogènes, cela suggère que le raisonnement de sécurité, détecter un obstacle puis décider de l'éviter, peut être mutualisé entre plateformes tout en restant conditionné à la morphologie de chacune, sans nécessiter un filtre réentraîné robot par robot. C'est un indice supplémentaire que la généralisation cross-embodiment, déjà démontrée pour les compétences de manipulation, s'étend à l'évitement de collision, un prérequis pour tout déploiement de VLA en environnement partagé avec des humains. Le travail s'inscrit dans la recherche en apprentissage cross-embodiment et dans les méthodes de contrôle sûr par reachability Hamilton-Jacobi, historiquement coûteuses en calcul et limitées à des systèmes de faible dimension, une contrainte que l'encodage latent proposé ici cherche justement à contourner. Il s'agit à ce stade d'un article académique déposé sur arXiv, sans produit ni robot commercial nommé, et sans acteur français ou européen cité: les cinq embodiments bimanuels testés ne sont pas identifiés publiquement dans le résumé disponible. Aucun calendrier de déploiement réel ni partenariat industriel n'est communiqué; les auteurs indiquent vouloir étendre l'évaluation à davantage d'embodiments et de tâches pour confirmer la courbe de généralisation observée.

RecherchePaper

1 source

2arXiv cs.RO

Transférer le contact, pas seulement le mouvement : préhension souple entre mains dextériques

Des chercheurs ont publié mi-juin 2026 sur arXiv (réf. 2606.15516) une méthode de transfert de politiques de préhension dextre entre mains robotiques hétérogènes. L'approche introduit une interface force-position cross-embodiment : le mouvement est encodé dans un espace latent de pose de main commun à toutes les plateformes, tandis que les efforts de chaque main sont calibrés par identification système en couples articulaires physiques exprimés en N.m, puis convertis en forces au bout des doigts et en descripteurs compacts de charge par doigt. Une politique visuomoteur entraînée par flow matching combine vision, proprioception et contact calibré ; un masquage visuel structuré pousse la politique à s'appuyer sur la force lorsque les contacts sont occultés. Le même contrôleur hybride force-position sert à la collecte de démonstrations et à l'exécution, assurant la cohérence des cibles de force entre entraînement et déploiement. L'enjeu est réel : la préhension dextre stable exige la régulation du contact, pas seulement le suivi de trajectoire. Quand un doigt glisse, se déforme ou sort du champ visuel, c'est le retour de force qui maintient la charge appropriée sur l'objet. Les architectures cross-embodiment existantes unifient le mouvement via des poses retargetées ou des actions latentes, mais laissent le signal de force lié au hardware de chaque main, bloquant le transfert. En calibrant ce signal dans une unité physique commune (N.m), les auteurs rendent la boucle de régulation de contact comparable entre plateformes structurellement différentes. Pour un intégrateur qui déploie plusieurs modèles de mains sur une même cellule, cela ouvre la perspective de bibliothèques de skills partagées plutôt que de politiques ad hoc par hardware. Les expériences montrent que des primitives apprises sont réemployables dans des pipelines de manipulation longue portée, test de généralisation nettement plus exigeant qu'une démonstration isolée. La publication s'inscrit dans le sillage des architectures cross-embodiment post-GR00T N2 et pi0, où l'effort de la communauté vise la réutilisation de politiques entre robots sans retraining complet. Elle répond directement aux limites de travaux comme DexMV ou AnyGrasp, qui normalisent le mouvement mais ignorent la physique du contact. Fait inhabituel : l'abstract ne mentionne ni institution ni auteurs explicites, ce qui peut indiquer une soumission industrielle anonymisée ou un groupe en cours de dévoilement. Le travail reste à ce stade un résultat expérimental de laboratoire sans déploiement annoncé ; la prochaine étape naturelle serait une validation sur des mains commerciales comme la Shadow Hand ou l'Ability Hand dans des scénarios industriels réels.

RechercheOpinion

1 source

3arXiv cs.RO

VLAFlow : un cadre d'entraînement unifié pour les modèles vision-langage-action via co-entraînement et alignement latent futur

Des chercheurs présentent VLAFlow (Vision-Language-Action Flow), un framework unifié de flow-matching destiné à comparer objectivement les différents paradigmes d'entraînement des modèles vision-langage-action (VLA) en manipulation robotique. L'étude s'appuie sur OXEMix, un corpus hétérogène d'environ 5 000 heures de données combinant DROID, OpenX-Embodiment, OpenX-Augmented et RoboCOIN. Sous une architecture commune de type pi-0, avec le même backbone VLM, le même action expert et un espace d'action à 14 dimensions, les auteurs évaluent quatre approches strictement comparables : l'entraînement sur les seules actions (MindPI), le co-entraînement supervisé par le langage (MindLPI), l'alignement des représentations latentes futures (MindWPI), et leur combinaison (MindLWPI). Les tests sont menés sur trois bancs d'essai de référence : LIBERO, LIBERO-Plus et SimplerEnv. Pour les équipes qui entraînent des modèles VLA sur des données robotiques hétérogènes, l'apport principal n'est pas un nouveau produit mais une comparaison contrôlée rare dans un champ où architecture, données et protocole d'évaluation varient habituellement d'un papier à l'autre, rendant les résultats difficiles à départager. Les résultats montrent que l'entraînement action seule se dégrade quand les données proviennent de sources trop diverses, un signal utile pour qui envisage de simplement agréger des jeux de données multi-robots sans garde-fou. La supervision par le langage préserve la généralisation vision-langage, et l'alignement latent futur améliore la modélisation des transitions d'état et des relations action-résultat. La combinaison des deux signaux (MindLWPI) offre le transfert le plus stable sur l'ensemble des bancs d'essai, suggérant qu'un espace de méta-action combinant contraintes linguistiques et prédictives rend l'apprentissage par imitation plus robuste au passage à l'échelle. Ce travail s'inscrit dans la lignée des architectures pi-0 popularisées par Physical Intelligence, dans un paysage où Nvidia (GR00T N2), Figure (Helix) ou d'autres laboratoires développent également des modèles généralistes pour la manipulation robotique. Contrairement à des annonces produit, il s'agit ici d'une publication de recherche (preprint arXiv) centrée sur la méthodologie d'entraînement plutôt que sur un déploiement matériel. Les auteurs positionnent VLAFlow comme un socle reproductible pour de futures comparaisons de paradigmes, sans annoncer pour l'instant de calendrier de mise à disposition du code ou des poids du modèle.

RechercheActu

1 source

4arXiv cs.RO

L'action latente axée sur le mouvement permet l'entraînement VLA multi-morphologie depuis des vidéos subjectives humaines

Une équipe de chercheurs a publié un cadre d'entraînement basé sur des actions latentes permettant de former des modèles VLA (Vision-Language-Action) généralistes à partir de vidéos égocentriques humaines non annotées, sous l'identifiant arXiv:2606.18955. L'architecture centrale, baptisée Hybrid Disentangled VQ-VAE, décompose les dynamiques de mouvement des arrière-plans environnementaux via des masques physiques et construit un codebook d'actions multi-embodiment. Pré-entraîné exclusivement sur des vidéos humaines sans étiquettes d'action, le modèle ne requiert que 50 trajectoires robotiques annotées pour s'adapter à un embodiment cible, contre des milliers généralement exigés par les approches concurrentes. Les résultats, validés en simulation et en environnement réel, affichent des performances comparables aux meilleurs modèles VLA entraînés sur des jeux de données massifs et entièrement annotés. Une stratégie de découplage intention-perception complète l'architecture : le backbone VLM prédit l'intention d'action tandis qu'un encodeur visuel gelé distinct fournit les caractéristiques propres à l'état courant à un module expert d'action, réduisant ainsi les hallucinations d'action. Ce travail s'attaque directement au principal goulot d'étranglement du domaine : la rareté des données robotiques avec annotations de haute fidélité. Les vidéos humaines égocentriques, abondantes sur internet et capturant une grande diversité environnementale, restaient jusqu'ici inexploitables dans les paradigmes d'entraînement classiques faute de labels d'action. Descendre à 50 trajectoires pour l'adaptation aval représente un changement d'ordre de grandeur pour les intégrateurs industriels qui n'ont ni la logistique ni le budget pour constituer des datasets robotiques à grande échelle. Le codebook cross-embodiment ouvre en outre la voie à des modèles fondamentaux transférables entre différentes morphologies de robots, ce qui répond à l'un des reproches récurrents faits aux approches VLA : leur faible généralisation inter-plateforme. Le contexte concurrentiel est dense. Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et OpenVLA visent tous à former des modèles VLA généralistes, mais s'appuient principalement sur des datasets robotiques annotés comme OpenX-Embodiment ou des jeux propriétaires. Des travaux antérieurs comme UniSim ou des approches de pré-entraînement sur vidéo internet avaient déjà exploré cette direction sans atteindre ce niveau de frugalité en données. Ce preprint arXiv reste à ce stade une contribution de recherche : pas de déploiement industriel annoncé, pas de partenariat déclaré. Les prochaines étapes naturelles seraient une évaluation sur des benchmarks standardisés comme LIBERO ou RoboSuite, et une validation sur une palette plus large de morphologies robotiques réelles.

RechercheOpinion

1 source