RecherchearXiv cs.RO 3 juillet 2026

IA physique : modèle du monde 3D fondé sur les principes physiques pour la manipulation d'objets dynamiques (PhysMani)

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent PhysMani, un framework qui couple un modèle du monde en Gaussiennes 3D fondé sur la physique avec un modèle de politique d'action anticipatif, pour la manipulation d'objets rapides et dynamiques en environnement 3D non structuré. Le modèle du monde apprend un champ de vitesse gaussien à divergence nulle par optimisation en ligne, ce qui permet une prédiction rapide et physiquement cohérente de la dynamique future de la scène. Le modèle de politique intègre ensuite ces prédictions via un module d'attention croisée à base de tokens appris. Les auteurs introduisent également PhysMani-Bench, un nouveau benchmark de manipulation dynamique composé de 16 tâches, et rapportent un taux de réussite supérieur à des baselines solides, aussi bien en simulation que lors d'expériences avec un robot réel. Le papier, publié sur arXiv (2607.01938), ne précise ni la plateforme robotique utilisée ni de métriques chiffrées exactes (taux de réussite, temps de cycle, charge utile), ce qui en fait à ce stade une contribution de recherche plutôt qu'un produit ou un déploiement commercial.

Pour l'industrie robotique, ce travail s'attaque à un point faible connu des modèles vision-langage-action (VLA) et des world models existants: leur difficulté à représenter une géométrie 3D précise et à anticiper une dynamique physiquement plausible pour des objets en mouvement rapide. La manipulation de cibles dynamiques, objets qui tombent, glissent ou sont lancés, reste l'un des angles morts des démonstrations actuelles de bras robotiques et d'humanoïdes, la plupart des systèmes généralistes étant surtout validés sur de la manipulation quasi statique. Si les résultats de PhysMani se confirment au-delà du cadre académique, cela ouvrirait une piste pour réduire l'écart entre démonstration en laboratoire et usage réel en logistique ou en industrie, où la prise d'objets en mouvement est fréquente sur convoyeur ou en tri à cadence élevée. Mais tant que l'étude reste limitée à un benchmark maison et sans comparaison indépendante, il s'agit d'une preuve de concept à confirmer, pas d'une solution prête à intégrer.

Ce travail s'inscrit dans la lignée des world models 3D construits sur des représentations en Gaussiennes, une technique héritée du rendu de scènes et de plus en plus utilisée en robotique pour modéliser des environnements denses. Ces approches se positionnent face aux modèles VLA de bout en bout entraînés sur de larges corpus de démonstrations, popularisés par des acteurs comme Physical Intelligence avec Pi-0 ou NVIDIA avec GR00T N2, ainsi qu'aux world models déjà exploités par d'autres équipes de recherche en manipulation. Aucun partenaire industriel ni acteur français ou européen n'est mentionné dans l'abstract. La suite logique pour les auteurs serait d'étendre le benchmark, de tester la méthode sur des plateformes robotiques variées, et de la comparer directement aux VLA généralistes pour situer PhysMani face aux solutions déjà commercialisées.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 World models

À lire aussi

1arXiv cs.RO

DynamicVLA : un modèle vision-langage-action (VLA) pour la manipulation d'objets dynamiques

DynamicVLA est un modèle vision-langage-action (VLA) de 0,4 milliard de paramètres, conçu pour manipuler des objets en mouvement. Il s'appuie sur un encodeur visuel convolutif, choisi pour réduire la latence d'inférence. Un calendrier d'inférence continue fait chevaucher le raisonnement et l'exécution, ce qui rend le contrôle non bloquant. Un mécanisme baptisé Latent-aware Action Streaming écarte le début de chaque séquence d'actions prédite, devenu invalide à cause de la latence, et n'exécute que la fin encore valide. Les auteurs publient aussi le benchmark Dynamic Object Manipulation (DOM). Un pipeline de collecte automatisé y rassemble 200 000 épisodes synthétiques, répartis sur 2 800 scènes et 206 objets. Il a aussi permis de recueillir 2 000 épisodes réels sans téléopération. Le texte, publié sur arXiv en version 2 (2601.22153), est un article de recherche. Il ne décrit ni produit commercialisé ni déploiement industriel. Les résultats sont rapportés en simulation et sur robots réels. Le résumé ne donne ni taux de succès chiffrés ni plateforme robotique précise. Le problème visé est structurel pour les VLA. Ces modèles généralisent bien en manipulation statique, mais l'inférence prend du temps et l'objet continue de bouger pendant ce calcul. L'action prédite à partir d'une observation passée est donc périmée au moment où le robot l'exécute. Pour un intégrateur, cela touche les cas où la scène ne s'arrête pas pour le robot. C'est le cas des convoyeurs en mouvement, du tri à la volée ou des objets passés de main en main. La solution s'attaque à la latence plutôt qu'à la taille du modèle. Un modèle de 0,4 milliard de paramètres reste exécutable sur du matériel embarqué, contrairement aux grands VLA. L'alignement entre le temps de la prédiction et celui de l'action devient ainsi un critère de conception à part entière. Le choix de collecter des données réelles sans téléopération réduit aussi un coût important de la robotique d'apprentissage. Il faut toutefois attendre les chiffres détaillés. Les gains annoncés (mouvements variables, instructions riches en perception, trajectoires inédites) ne sont pas quantifiés dans le résumé. Le résumé ne dit pas non plus si les résultats réels reposent sur des essais nombreux ou sur quelques démonstrations choisies. Ces travaux s'inscrivent dans la vague des VLA généralistes comme Pi-0, GR00T ou Helix. Elle a surtout progressé sur la manipulation statique et les tâches longues, tandis que le contrôle réactif sur objets mobiles restait peu couvert. Le manque de données dynamiques standardisées freinait la comparaison entre méthodes, et c'est le vide que DOM veut combler. La suite dépendra de l'adoption du benchmark par d'autres laboratoires. Elle dépendra aussi de la reproduction des résultats sur des bras et des mains variés. Pour l'industrie, l'étape suivante est un test sur des cadences réelles, avec des charges et des vitesses de ligne de production.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Modèles du monde pour la manipulation robotique

Des chercheurs ont publié en juin 2026 sur arXiv (2606.24742) un modèle généraliste de valeur pour la manipulation robotique, le WVM (World Value Model). La proposition centrale consiste à substituer les backbones VLM (Vision-Language Model) habituellement utilisés par un modèle de monde, nativement mieux adapté à la modélisation temporelle nécessaire pour évaluer la progression d'une tâche. Sur les benchmarks standards, WVM atteint les meilleures performances connues en Value-Order Correlation (VOC), la métrique de référence pour les modèles de valeur robotiques. L'équipe introduit également Suboptimal-Value-Bench, un benchmark multi-embodiment composé de 800 trajectoires sous-optimales annotées frame par frame par des humains, comblant un angle mort des évaluations existantes qui ne contenaient que des données expertes. L'enjeu est directement opérationnel pour quiconque entraîne des systèmes de manipulation à grande échelle : les données collectées en conditions réelles sont rarement uniformément expertes. Un modèle de valeur précis permet de pondérer ou filtrer ces trajectoires hétérogènes, améliorant la qualité de l'entraînement sans nettoyage manuel coûteux. WVM démontre des gains de performance sur plusieurs approches d'extraction de politique, en simulation comme en déploiement réel, ce qui renforce la thèse que l'estimation de valeur est un composant orthogonal et complémentaire au choix d'architecture de politique. La robustesse maintenue sur données sous-optimales est l'aspect le plus significatif : c'est précisément dans ce régime que les VLMs classiques décrochent, leurs préentraînements sur observations visuelles statiques ne suffisant pas à capturer les dynamiques temporelles longues. La montée en puissance des VLA comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA a rendu critique la question de la qualité des données d'entraînement à grande échelle. L'approche WVM s'inscrit dans une tendance émergente qui consiste à spécialiser les composants : un backbone temporel dédié pour l'évaluation de la valeur, distinct du modèle d'action. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans cet article purement académique. Les prochaines étapes naturelles incluent l'intégration du WVM dans des pipelines d'imitation à grande échelle ou en combinaison avec du reinforcement learning offline (IQL, CQL), et une extension à des environnements multi-tâches plus complexes.

RechercheOpinion

1 source

3arXiv cs.RO

DynaWM : un modèle du monde guidé par un VLA de base pour la manipulation d'objets en mouvement

DynaWM, un nouveau modèle du monde ("world foundation model") piloté par des architectures vision-langage-action (VLA), vient d'être présenté dans un preprint publié sur arXiv début juillet 2026. Le système cible un point faible connu des modèles VLA actuels : la manipulation d'objets en mouvement. Techniquement, DynaWM combine trois briques, un encodeur d'actions basé sur Mamba-3 qui traite les séquences d'actions produites par le modèle VLA de base, un encodeur visuel V-JEPA 2.1 qui exploite l'historique d'observations multi-vues, et un encodeur d'état proprioceptif du bras robotique, le tout conditionnant un transformeur à diffusion par flow-matching qui régénère des trajectoires d'action adaptées au mouvement de l'objet. Les auteurs ont aussi construit deux jeux de données : le benchmark DynaGrasp-32, qui couvre six catégories de tâches (variation de vitesse, de trajectoire, manipulation multi-objets), et DynaGrasp-1600, soit 32 scénarios, 1 600 démonstrations et environ 1,53 million d'images. Sur des checkpoints VLA finement réglés, DynaWM améliore les taux de réussite de 7,19 à 45,31 points de pourcentage selon le modèle de base (SmolVLA, X-VLA, Pi-0, Pi-0.5) ; sur des checkpoints seulement grossièrement réglés, les gains grimpent à 26 voire 44 points. L'enjeu dépasse la simple performance chiffrée : la plupart des modèles du monde existants sont fine-tunés directement dans l'architecture VLA, ce qui dégrade souvent les capacités du modèle pré-entraîné. En gardant le VLA de base intact et en ajoutant un module de guidage séparé, DynaWM évite ce compromis, un argument qui parle directement aux équipes de recherche en robotique confrontées à la fragilité des VLA lors du fine-tuning. Pour les intégrateurs, cela touche un cas d'usage concret : le tri ou la préhension d'objets sur convoyeur, en environnement non statique, un scénario encore largement absent des démonstrations spectaculaires de préhension immobile. Le travail s'inscrit dans la lignée des modèles VLA généralistes comme Pi-0, Pi-0.5, SmolVLA ou X-VLA, utilisés ici comme bases de comparaison, ainsi que des travaux sur les modèles du monde en robotique et sur l'encodeur visuel auto-supervisé V-JEPA de Meta. À ce stade, il s'agit d'un résultat de recherche académique évalué sur benchmark simulé et jeu de données maison, sans déploiement industriel annoncé ; la suite logique serait une validation sur bras robotiques réels et une comparaison avec d'autres approches de manipulation dynamique comme GR00T N2 ou Helix.

RechercheActu

1 source

4arXiv cs.RO

DynaMOMA : prédiction instantanée des poses de saisie pour la manipulation mobile d'objets dynamiques

Des chercheurs présentent DynaMOMA, un cadre logiciel pour la manipulation mobile d'objets en mouvement, publié sur arXiv en juin 2026. L'architecture combine deux blocs : un modèle de diffusion ancré (anchor-based diffusion model) qui génère des trajectoires de préhension à court horizon de façon temporellement cohérente, et une politique de contrôle corps entier par apprentissage par renforcement qui pilote simultanément la base mobile et le bras robotique. Un mécanisme nommé anticipation-guided reward ajuste la cible de la politique en substituant progressivement l'observation instantanée à la trajectoire prédite, poussant le système à anticiper plutôt qu'à simplement réagir. Les expériences ont été conduites dans Isaac Gym (NVIDIA), complétées par des validations sur robot physique en environnement réel. L'enjeu industriel est concret : la majorité des systèmes de picking déployés sur convoyeur ou en transfert humain-robot supposent une cible statique ou à trajectoire parfaitement prévisible. Coordonner une base mobile et un bras multi-axes face à un objet dont la pose évolue en continu cumule deux difficultés distinctes : prédire des trajectoires de saisie cohérentes dans le temps, et fermer la boucle de commande corps entier à faible latence. L'usage d'un modèle de diffusion pour la prédiction de trajectoires de préhension (et non pour la génération d'images ou de politiques textuelles) prolonge une tendance récente incluant Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). La démonstration d'un transfert sim-to-real fonctionnel constitue l'élément le plus significatif pour les intégrateurs robotiques. Il s'agit à ce stade d'un preprint académique sans affiliation industrielle déclarée, et l'abstract ne fournit ni chiffres de cadence (cycle time) ni de charge utile (payload), ce qui rend toute comparaison directe avec des solutions commerciales impossible. Isaac Gym facilite la reproductibilité, mais la question du sim-to-real gap sur des scènes dynamiques complexes reste ouverte. DynaMOMA s'inscrit dans le même espace de recherche que Physical Intelligence, Agility Robotics ou Apptronik sur la généralisation de la manipulation, sans cibler un segment commercial précis. Des validations sur objets déformables ou partiellement occultés constitueraient l'extension naturelle vers des cas d'usage industriels réels.

RecherchePaper

1 source