Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Modèles du monde nativement physiques : perspective hamiltonienne pour la modélisation générative
RecherchearXiv cs.RO 

Modèles du monde nativement physiques : perspective hamiltonienne pour la modélisation générative

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs a déposé début mai 2026 sur arXiv (référence 2605.00412v1) un article de position proposant un nouveau cadre théorique pour les modèles du monde en IA incarnée : les Hamiltonian World Models. L'idée centrale est d'encoder les observations d'un robot ou d'un agent autonome dans un espace de phase latent structuré, de faire évoluer cet état via une dynamique inspirée du formalisme hamiltonien de la mécanique classique (avec des termes de contrôle, de dissipation et des résidus appris), puis de décoder la trajectoire prédite en observations futures exploitables pour la planification. Il s'agit d'un preprint théorique sans résultats expérimentaux publiés à ce stade.

L'argument principal avancé est que le véritable goulot d'étranglement des modèles du monde n'est plus leur capacité à générer des futurs visuellement réalistes, mais à produire des prédictions physiquement cohérentes et exploitables pour la décision sur un horizon long. Les trois courants dominants actuels peinent chacun à garantir cette stabilité physique : les modèles vidéo génératifs 2D (à la Sora ou Genie), les modèles 3D centrés sur la reconstruction de scènes, et les modèles latents prédictifs de type JEPA (portés notamment par Yann LeCun chez Meta) progressent en silo sans répondre aux exigences du contrôle robotique réel. Pour les équipes de reinforcement learning basé sur modèles (MBRL) et les intégrateurs robotiques, cela se traduit concrètement par des politiques qui dérivent lors des rollouts simulés, fragilisant le transfert sim-to-real. Ancrer la dynamique latente dans le formalisme hamiltonien promettrait une meilleure interprétabilité des représentations internes, une moindre consommation de données d'entraînement et une stabilité accrue en inférence longue.

Les auteurs reconnaissent eux-mêmes les obstacles pratiques majeurs : friction, contacts discontinus, forces non-conservatives et objets déformables rendent l'application directe du hamiltonien aux scènes robotiques réelles particulièrement complexe. Ce travail s'inscrit dans un renouveau plus large des world models, porté par Dreamer (Google DeepMind), JEPA (Meta), Genie 2 (Google DeepMind) et les travaux de Physical Intelligence sur les Visual-Language-Action models, mais il se distingue par un ancrage explicite en physique analytique plutôt qu'en apprentissage purement statistique. Aucun déploiement ni partenariat industriel n'est annoncé : l'article reste pour l'instant une contribution théorique ouvrant une direction de recherche.

Dans nos dossiers

IA physique & VLAPhysical Intelligence — π0World modelsarXiv cs.RO

À lire aussi

PH-Dreamer : un modèle du monde piloté par la physique via la dynamique générative port-hamiltonienne
1arXiv cs.RO 

PH-Dreamer : un modèle du monde piloté par la physique via la dynamique générative port-hamiltonienne

Des chercheurs ont publié PH-Dreamer (arXiv:2605.18303, mai 2026), une architecture de modèle du monde intégrant un cadre Port-Hamiltonien dans les réseaux récurrents à espace d'état utilisés en apprentissage par renforcement basé sur des modèles. L'approche combine trois mécanismes couplés : des priors physiques dans les transitions latentes via un routage d'énergie contrôlé par flux et dissipation, un modèle d'énergie estimant le Hamiltonien et le bilan de puissance à partir d'observations proprioceptives, et un Actor-Critic guidé par énergie avec multiplicateurs de Lagrange pour régulariser l'optimisation de politique. Evaluée sur des benchmarks de contrôle visuel, l'architecture réduit le volume de l'espace de phase latent de 4,18 à 8,41 %, la consommation d'énergie simulée jusqu'à 7,80 %, et le jerk quadratique moyen (mesure de la brutalité des transitions de commande) jusqu'à 9,38 %, tout en améliorant les rendements asymptotiques. L'enjeu central est la fidélité physique des simulateurs internes : les modèles du monde conventionnels opèrent dans un espace latent non contraint, produisant des trajectoires qui violent la conservation d'énergie et les principes dissipatifs. Pour un ingénieur de contrôle ou un intégrateur robotique, un simulateur interne mieux calibré réduit l'écart sim-to-real et améliore la robustesse au transfert vers des systèmes physiques. La réduction de jerk est mécaniquement pertinente : des commandes plus lisses diminuent l'usure des actionneurs sur des robots réels. Le résultat le plus significatif reste la réduction de variance entre récompenses imaginées et réelles, indicateur de calibration du modèle plutôt que simple gain de tâche, ce qui constitue une contribution exploitable concrètement pour le transfert sim-to-real en robotique de manipulation. PH-Dreamer s'inscrit dans la lignée des travaux Dreamer de Google DeepMind (Hafner et al.), référence en RL basé sur modèle pour le contrôle visuel à faible nombre d'échantillons. L'intégration du formalisme Port-Hamiltonien dans les réseaux de neurones est un champ actif depuis les Hamiltonian Neural Networks de Greydanus et al. (2019) et les réseaux lagrangiens neuronaux. PH-Dreamer étend cette logique aux modèles récurrents génératifs complets, là où les travaux précédents se limitaient à des systèmes plus simples. Il s'agit d'un preprint de recherche fondamentale sans déploiement industriel annoncé. Les prochaines étapes naturelles incluent des validations sur robots physiques avec proprioception réelle et des comparaisons directes avec DreamerV3 et TD-MPC2 en conditions de transfert réel.

RecherchePaper
1 source
PLaW-VLA : modélisation prédictive d'un modèle du monde latent pour les politiques vision-langage-action
2arXiv cs.RO 

PLaW-VLA : modélisation prédictive d'un modèle du monde latent pour les politiques vision-langage-action

PLaW-VLA, une politique vision-langage-action (VLA) décrite dans un preprint arXiv (2610.12285), propose de donner aux robots une capacité d'anticipation sans payer le coût habituel des modèles du monde génératifs. Les auteurs modélisent les états futurs pertinents pour la tâche dans un espace de représentation latent pré-entraîné, orienté prédiction, au lieu de reconstruire les pixels. L'architecture repose sur un Mixture-of-Transformers. L'action est générée à partir de l'historique d'observations, de la sémantique de la tâche en cours et des états futurs prédits, via une attention causale structurée. Les résultats annoncés sont un gain de 11,8 points de pourcentage sur le benchmark RoboTwin Hard Horizon III par rapport à des politiques purement réactives, et un gain de 1,77 point sur LIBERO-Plus en zéro-shot par rapport à une prédiction latente fondée sur la reconstruction. Le modèle du monde est léger et prédit les états futurs en parallèle. Sa latence d'inférence est environ 19 fois inférieure à celle d'une modélisation générative monde-action, pour une performance de politique comparable. L'intérêt pour l'industrie tient à l'inférence. Les VLA augmentés d'un modèle du monde génératif sont difficiles à embarquer, car la génération d'images futures ajoute une latence incompatible avec le contrôle en boucle fermée sur du matériel réel. Un facteur 19 sur la latence, à performance égale, indique que l'essentiel de l'information utile à la planification longue se loge dans une représentation compacte, et que la fidélité visuelle des prédictions n'est pas nécessaire. Le résultat contredit l'idée que prévoir le futur exige de le dessiner. Il faut toutefois relativiser. Ces chiffres viennent de benchmarks simulés (RoboTwin, LIBERO-Plus), sans validation sur robot physique mentionnée. Le gain de 1,77 point en généralisation est modeste et sa significativité statistique n'est pas précisée. Pour un intégrateur, c'est une piste d'architecture à surveiller, pas un produit ni un déploiement. Ce travail s'inscrit dans la course aux VLA dotés de capacités prédictives, après la première génération de politiques réactives (de type Pi-0 ou OpenVLA), qui mappent directement l'observation courante vers l'action et échouent sur les tâches à long horizon. Une seconde famille, qui intègre des modèles du monde génératifs pour imaginer le futur en pixels, a montré des gains mais au prix d'un calcul élevé. PLaW-VLA se positionne entre les deux, avec une prédiction latente allégée. Il s'agit d'un preprint en version 1, sans revue par les pairs. Aucun code, calendrier de publication ni test sur robot réel n'est annoncé. La suite logique serait une validation sur plateformes physiques et des comparaisons directes avec les VLA généralistes industriels sur des tâches de manipulation longues, où la latence reste le critère décisif.

RecherchePaper
1 source
PileBelief : un état physique persistant pour la modélisation du monde pilotée par l'interaction
3arXiv cs.RO 

PileBelief : un état physique persistant pour la modélisation du monde pilotée par l'interaction

Des chercheurs présentent PileBelief, un modèle du monde pour l'excavation robotique, dans un article publié le 22 septembre 2026 sur arXiv (2609.22858v1). Le système cible un problème concret: à chaque coup de godet, le terrain change de forme et les observations locales ne suffisent plus à connaître l'état réel du sol, sa résistance ou son support sous la surface visible. PileBelief combine un a priori physique conditionné par l'observation avec une mémoire de déformation indexée dans l'espace et une mémoire de réponse physique, affinées par des lectures alignées sur l'action et des corrections résiduelles ciblées. Une fois les poids figés au déploiement, les interactions réellement exécutées mettent à jour une croyance mesurée sur le sol, tandis que les actions hypothétiques font évoluer un état imaginé distinct. Face à une base de référence limitée à l'observation courante, PileBelief réduit l'erreur de prédiction conjointe à cinq pas de temps de 10,8% et le regret de sélection d'action hors ligne de 65,5%, avec des gains confirmés en simulation physique Newton/MPM et sur des données d'excavation réelle, notamment pour la prédiction du volume de godet. Pour la robotique de chantier et le BTP autonome, ce travail cible un verrou concret: contrairement à la manipulation d'objets rigides, l'excavation transforme en continu l'environnement, ce qui rend aveugles les modèles du monde classiques limités à l'image courante face à ce qui a été creusé ou déplacé hors champ de vision. En conservant une mémoire persistante de l'état physique plutôt qu'en repartant de zéro à chaque observation, l'approche se rapproche du comportement d'un opérateur expérimenté qui se souvient de ce qu'il a déjà retiré. Le gain de 65,5% sur le regret de sélection d'action est le chiffre le plus parlant pour les intégrateurs, car il montre que le modèle choisit de meilleures actions candidates, pas seulement qu'il prédit mieux visuellement, ce qui alimente un débat plus large sur les modèles du monde en robotique: l'observation instantanée, même bien traitée, ne suffit pas dans les tâches où l'environnement est irréversiblement transformé par l'action du robot. L'article se positionne face aux modèles du monde instantanés qui dominent la recherche en manipulation robotique, généralement limités à une image ou un nuage de points par prédiction, sans mémoire à long terme sur l'état physique du terrain. En distinguant une croyance mesurée, mise à jour uniquement par des actions réellement exécutées, d'un état imaginé servant à évaluer des actions hypothétiques sans corrompre cette croyance, les auteurs proposent une architecture potentiellement réutilisable pour d'autres tâches de transformation continue de l'environnement, comme le terrassement ou la manutention de matériaux en vrac. Le papier reste au stade de prépublication de recherche, sans mention de déploiement industriel ni de partenaire commercial, et ouvre la voie à des travaux visant à valider l'approche sur davantage de types de sols et sur des engins d'excavation grandeur réelle.

RecherchePaper
1 source
Hydra-0 : flux d'action pour la modélisation généraliste du monde et le contrôle
4arXiv cs.RO 

Hydra-0 : flux d'action pour la modélisation généraliste du monde et le contrôle

Hydra-0, un nouveau modèle du monde généraliste pour la robotique, a été présenté dans un preprint publié sur arXiv le 19 août 2026 (arXiv:2608.18077). Le système repose sur un concept baptisé "action flow" : les actions du robot y sont représentées comme un flux de mouvement de pixels plutôt que comme des commandes articulaires classiques, ce qui crée une interface visuelle commune permettant d'apprendre les conséquences des actions à travers différents robots, tâches, environnements et architectures de génération vidéo. Dans sa meilleure configuration, Hydra-0 réduit l'erreur de mouvement du robot de 90,4% et l'erreur de mouvement des objets de 60,2% par rapport à une base de référence conditionnée par l'action classique. Sur le benchmark RoboLab, le modèle atteint une corrélation de Pearson de r=0,96 entre les taux de réussite rejoués en simulation et les taux de réussite de référence, un signal de fidélité élevé pour l'évaluation de politiques en boucle ouverte. Les auteurs décrivent aussi un mode inverse émergent : le modèle peut prédire un mouvement robotique compatible à partir d'un flux d'objet désiré transféré depuis une démonstration humaine, une "tête d'action" entraînée convertissant ensuite ces représentations latentes en actions exécutables sans démonstration robotique experte spécifique à la tâche. Pour l'industrie robotique, ce travail s'attaque directement à deux goulots d'étranglement connus des approches vision-language-action (VLA) : la dépendance à des démonstrations robotiques coûteuses par tâche, et la difficulté à faire généraliser un modèle entre embodiments et environnements hétérogènes. En transformant l'action en un signal visuel partagé, l'approche promet une adaptation plus économe en données et une composition zero-shot de comportements, deux propriétés recherchées par les intégrateurs qui veulent déployer un même modèle sur plusieurs plateformes matérielles sans réentraînement lourd. Il faut toutefois noter qu'il s'agit d'un résultat de recherche publié en preprint, évalué sur un benchmark interne (RoboLab) et non d'un système déployé en production ou en usine ; les gains annoncés restent à confirmer par une évaluation indépendante et par des essais sur robots physiques réels au-delà du cadre expérimental décrit. Ce travail s'inscrit dans la vague plus large des modèles du monde et des architectures VLA développés ces dernières années pour unifier perception, prédiction et contrôle robotique, un axe de recherche où plusieurs laboratoires cherchent à résoudre le fossé entre démonstrations en simulation et transfert vers le réel. La piste ouverte par le mode inverse d'Hydra-0, apprendre le contrôle à partir de vidéos humaines sans démonstration robotique dédiée, pourrait, si elle se confirme à plus grande échelle, réduire significativement le coût de collecte de données pour l'entraînement de politiques robotiques généralistes. L'article ne précise pas de calendrier de déploiement industriel ni de partenariat commercial associé.

RecherchePaper
1 source