IA physiquearXiv cs.RO 30 juillet 2026

Fluidifier la génération de mondes : Enfold intègre son calcul dans des représentations prédictives pour un contrôle incarné efficace

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent Enfold, une méthode qui transfère le calcul effectué par les modèles génératifs de "monde" (world models) dans une représentation prédite directement à partir de l'observation présente et de l'instruction en langage naturel, sans générer de vidéo future à chaque étape. Pendant l'entraînement, les états intermédiaires produits par le générateur lorsqu'il transforme une trajectoire future bruitée en séquence cohérente supervisent un encodeur qui ne voit que le présent. Cette représentation conditionne ensuite la génération future et alimente des têtes de contrôle spécifiques à la tâche, sans que les gradients de tâche ne modifient l'encodeur. Au déploiement, le système n'exécute plus du tout le générateur: seule la représentation prédite pilote l'action. Testée sur les benchmarks LIBERO et RoboTwin2.0 ainsi que sur des tâches robot réel, l'approche réduit la latence d'action d'un facteur 3,7 par rapport à la référence Fast-WAM, et la variante Enfold-Flash atteint un facteur 10,1.

L'enjeu est concret pour la robotique: les modèles VLA (vision-language-action) adossés à des world models génératifs impressionnent en démonstration mais restent souvent trop lents pour un contrôle temps réel, car ils doivent générer explicitement une trajectoire future à chaque cycle de décision. En montrant qu'il est possible d'internaliser ce calcul dans une représentation compacte inférée depuis le seul présent, sans dégrader le contrôle, les auteurs s'attaquent à l'écart classique entre démonstration et déploiement réel qui freine l'adoption de ces architectures chez les intégrateurs. La représentation apprise filtre en outre les variations sans intérêt et privilégie les changements qui se déploient sur un horizon long, exactement ce dont un robot a besoin pour anticiper une tâche plutôt que réagir image par image. Signal encourageant: quand un humain modifie la scène en cours d'exécution, la continuation générée et les actions exécutées s'adaptent, ce qui exclut un simple rejeu de trajectoire figée.

Enfold s'inscrit dans la lignée des travaux sur les world models appliqués au contrôle robotique, dont WAM sert ici de référence de comparaison, une famille d'approches popularisée par des systèmes comme Pi-0 ou GR00T N2 mais généralement pénalisée par le coût de calcul du générateur à l'inférence. En déplaçant ce coût vers l'entraînement et en ne conservant au déploiement qu'une représentation légère, les auteurs ouvrent une piste pour rapprocher ces architectures des cadences de contrôle réelles, préalable à tout déploiement industriel à grande échelle. Les résultats restent toutefois issus de simulation et d'un nombre limité de tâches réelles, une validation plus large sur cas d'usage industriels constituant la suite logique.

Dans nos dossiers

NVIDIA GR00T World models

À lire aussi

1arXiv cs.RO

ELASTIC : passage à l'échelle adaptatif du calcul en temps de test pour l'apprentissage efficace de politiques de contrôle génératives

Un nouvel article de recherche publié sur arXiv (identifiant 2606.31132) présente ELASTIC, un algorithme conçu pour optimiser le calcul mobilisé au moment de l'exécution par les politiques de contrôle génératives, notamment les diffusion policies et les modèles vision-langage-action (VLA) de type flow-based. Ces politiques peuvent allouer davantage de ressources selon deux axes : la mise à l'échelle séquentielle, qui augmente le nombre d'étapes de débruitage pour affiner une action, et la mise à l'échelle parallèle, qui échantillonne plusieurs actions candidates pour explorer différents modes de la distribution. ELASTIC formule ce choix comme un meta-processus de décision markovien : une meta-politique observe l'état du robot et décide, à chaque itération de débruitage, combien d'étapes séquentielles et d'échantillons parallèles allouer, entraînée par apprentissage par renforcement sans accès aux données d'entraînement de la politique de base. Sur des benchmarks de manipulation simulés avec des diffusion policies, ELASTIC domine au sens de Pareto les approches à budget fixe ou à échelle unique. En conditions réelles, avec le modèle VLA pi-0.5, la méthode égale les performances d'un "best-of-10" (dix tentatives échantillonnées) tout en réduisant la latence de 34%. L'enjeu dépasse la seule performance de laboratoire : l'allocation de calcul test-time reste aujourd'hui largement empirique, fixée à la main selon la tâche. Un mécanisme qui adapte automatiquement l'effort de calcul, par exemple en explorant davantage lors d'une phase de saisie éloignée de l'objet puis en resserrant la précision près du contact, s'attaque directement au compromis latence/fiabilité qui freine le déploiement industriel des VLA. Pour les intégrateurs, cela ouvre la voie à des politiques capables de s'exécuter plus vite sans sacrifier le taux de réussite, un point critique pour des cycles de production. Le travail s'inscrit dans la lignée des recherches sur le test-time scaling, déjà popularisé en robotique par les diffusion policies et par des modèles comme GR00T N2 ou Pi-0 de Physical Intelligence, dont pi-0.5 sert justement de base expérimentale ici. Les auteurs ne précisent pas de calendrier de déploiement industriel ; il s'agit pour l'instant d'un résultat de recherche destiné à orienter la conception des futures architectures VLA plutôt qu'un produit prêt à intégrer.

IA physiquePaper

1 source

2arXiv cs.RO

FlowCorrect : correction interactive et efficace de politiques de flux génératif pour la manipulation robotique

Des chercheurs ont publié sur arXiv (arXiv:2602.22056, version 3) une méthode baptisée FlowCorrect, destinée à corriger en temps réel les politiques de manipulation robotique génératives basées sur le flow matching, sans réentraînement. Le système s'appuie sur de brèves corrections humaines de trajectoire, transmises via une interface VR légère, pour ajuster localement la politique lorsque le robot rate une prise ou une pose de justesse. L'équipe a testé FlowCorrect sur un robot réel, sur quatre tâches de manipulation sur table : prise-et-dépose, versement de liquide, redressement d'une tasse et insertion. Avec un budget de corrections faible, la méthode atteint un taux de réussite de 80% sur des cas d'échec précédemment observés, tout en préservant les performances sur les scénarios déjà maîtrisés. Le résultat cible un problème concret pour les intégrateurs industriels : les politiques génératives de type VLA ou flow-matching, entraînées par imitation, échouent souvent lors du déploiement à cause de déplacements de distribution entre l'entraînement et le terrain, un écart bien documenté entre démonstrations impressionnantes et robustesse réelle. Plutôt que de réentraîner l'ensemble du modèle, coûteux et lent, FlowCorrect propose une correction incrémentale et locale à partir de très peu de démonstrations, ce qui intéresse directement les équipes cherchant à fiabiliser des déploiements sans cycle complet de réentraînement. Le chiffre de 80% doit toutefois être lu avec prudence : il porte sur seulement quatre tâches de laboratoire et un nombre limité d'essais, loin des volumes de déploiement industriel évoqués par des acteurs commerciaux du secteur humanoïde. FlowCorrect s'inscrit dans la lignée des politiques visuomotrices génératives (flow matching, diffusion) qui sous-tendent des modèles comme Pi-0 ou GR00T N2, et dans un courant de recherche en apprentissage par imitation interactif visant à corriger les robots en boucle avec l'humain plutôt que de tout réentraîner depuis zéro. Le papier, marqué comme une mise à jour ("replace") sur arXiv, correspond à une révision d'un travail déjà soumis plutôt qu'à une première annonce. Aucune entreprise ni site de déploiement industriel n'est cité : il s'agit d'un travail de recherche académique, testé en conditions de laboratoire, sans indication de pilote commercial ni de calendrier de mise sur le marché. Sa portée reste donc celle d'une preuve de concept méthodologique, à confirmer sur des tâches plus variées et des volumes plus importants avant toute intégration industrielle.

IA physiquePaper

1 source

3arXiv cs.RO

Apprentissage continu sans données pour un modèle d'action du monde, par relecture générative rectifiée

Des chercheurs proposent R²-WAM, une méthode d'apprentissage continu sans données pour les « world action models » (WAM), ces modèles construits sur des générateurs vidéo préentraînés qui prédisent conjointement observations et actions d'un robot. Le problème de départ est connu: un WAM s'adapte vite à une nouvelle tâche, mais oublie les précédentes lors d'un fine-tuning séquentiel. Le rejeu d'expérience (ER) limite cet oubli, mais il suppose de conserver les données anciennes, ce qui est rarement possible en robotique où une politique circule sous forme de poids seuls. L'équipe fait donc régénérer au modèle ses propres trajectoires complètes, de façon autorégressive, puis les rejoue. Brutes, ces trajectoires restent loin du rejeu de données réelles, pour deux raisons: le modèle ne reconnaît pas la fin d'une tâche et continue à produire des mouvements sans but, et, en génération en boucle ouverte, les actions dérivent peu à peu par rapport aux observations générées. R²-WAM corrige cela en coupant les trajectoires à l'achèvement de la tâche grâce à un évaluateur agentique, et en écartant celles dont les actions sont physiquement incohérentes avec les images. Sur les quatre suites du benchmark LIBERO et cinq tâches en conditions réelles, la méthode réduit l'oubli de plus de 90 % par rapport au fine-tuning séquentiel et se rapproche presque de l'ER, sans accéder à aucune donnée des tâches passées. L'enjeu est très concret pour qui déploie des politiques robotiques: les poids se partagent, les jeux de données beaucoup moins, pour des raisons de propriété, de confidentialité ou de volume. Pouvoir enrichir un modèle de nouvelles compétences sans repartir des données d'origine ouvre la voie à des mises à jour incrémentales chez les intégrateurs et les utilisateurs finaux. Les auteurs livrent aussi un résultat diagnostique utile: l'oubli se concentre dans la modélisation de la dynamique inverse. Un WAM « amnésique » produit toujours des images plausibles des tâches passées, mais ses actions échouent. Cela suggère que la qualité visuelle d'un modèle vidéo ne garantit pas la fiabilité du contrôle, et que les efforts de régularisation devraient viser la tête d'actions plutôt que la génération visuelle. Ce travail s'inscrit dans la montée des politiques vision-langage-action et des modèles de monde adossés à la vidéo, où l'apprentissage continu reste un verrou majeur face aux approches classiques de rejeu ou de régularisation. Les résultats reposent toutefois sur LIBERO, un benchmark de simulation, et seulement cinq tâches réelles: il reste à voir comment la méthode tient sur de longues séquences de tâches, des scènes plus variées ou des modèles de grande taille. La dépendance à un évaluateur agentique, dont le coût et la fiabilité ne sont pas détaillés ici, constitue une autre inconnue. Cette version v2 de l'article sur arXiv est accompagnée d'une page projet, mais aucun produit ni déploiement industriel n'est annoncé: il s'agit de recherche académique.

IA physiquePaper

1 source

4arXiv cs.RO

PSR : apprentissage de représentations sensorimotrices prédictives pour la manipulation en contact riche

Une équipe de recherche a mis en ligne sur arXiv, le 21 septembre 2026 (référence 2609.21753), un framework baptise PSR (Predictive Sensorimotor Representation), qui entraine un Transformer multimodal a prédire activement la dynamique future des contacts plutôt que de simplement réagir au retour de force, pour améliorer la manipulation robotique dite "contact-rich". Cette hiérarchie de représentations prédictives est ensuite injectée dans le flux d'actions d'une politique visuomotrice, ici un modèle Vision-Language-Action baptise PSR-VLA. Teste sur six taches réelles de manipulation avec contact, PSR-VLA atteint 91,7% de réussite globale, soit 30,0 points de mieux que le modèle de référence pi-0.5, 22,5 points de mieux que ForceVLA-pi-0.5 et 19,2 points de mieux que ForceVLA2-pi-0.5; des vidéos des taches et des tests de stabilité sont en ligne sur psr-vla.pages.dev. Ce résultat cible un angle mort des modèles VLA généralistes actuels, tels Pi-0, GR00T N2 ou Helix, qui peinent sur les taches ou le toucher compte autant que la vue: vissage, insertion avec jeu serre, manipulation d'objets déformables. Pour les intégrateurs industriels évaluant ces modèles pour l'assemblage ou la logistique fine, cette précision est ce qui sépare une démonstration de laboratoire d'une cellule de production fiable. Un gain de 20 a 30 points face a des variantes déjà "force-aware" comme ForceVLA suggère que prédire activement la dynamique des contacts, plutôt que seulement réagir au retour de force, comble une partie de l'écart entre démo et déploiement réel. Les chiffres restent toutefois ceux d'une seule équipe, sur six taches qu'elle a choisies, sans validation indépendante ni test sur d'autres plateformes robotiques. PSR s'inscrit dans la suite de travaux comme ForceVLA, qui ajoutaient déjà un signal de force en entrée sans le rendre prédictif; la comparaison directe avec pi-0.5, ForceVLA-pi-0.5 et ForceVLA2-pi-0.5 positionne le framework comme une amélioration architecturale plutôt qu'un nouveau modèle fondation concurrent de ceux de Physical Intelligence ou NVIDIA. Il s'agit a ce stade d'un simple dépôt de recherche sur arXiv, sans annonce produit ni partenariat industriel: aucun calendrier de déploiement ni d'intégration dans un robot commercial n'est mentionne. La suite logique serait une validation sur d'autres plateformes robotiques, terrain suivi de près par des acteurs européens comme Pollen Robotics ou Wandercraft.

UEAucun acteur européen n'est implique dans cette recherche, mais elle concerne un axe de R&D (manipulation VLA contact-riche) suivi par des intégrateurs européens comme Pollen Robotics et Wandercraft.

IA physiqueOpinion

1 source