Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Modèle du monde à action conditionnée : un planificateur d'action généralisable pour la prise de décision
RecherchearXiv cs.RO 

Modèle du monde à action conditionnée : un planificateur d'action généralisable pour la prise de décision

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent World Action Planner (WAP), un système de planification robotique combinant un modèle vision-langage (VLM) et un modèle du monde conditionné par les poses et les images, capable de gérer plusieurs tâches. Décrit dans un article arXiv publié fin juillet 2026 (arXiv:2607.27599), le système fonctionne en deux temps : le VLM propose un plan d'action initial à partir d'une consigne, puis ce plan est raffiné de manière itérative par optimisation et recherche, en simulant des trajectoires possibles ("rollouts") dans le modèle du monde avant de les exécuter réellement. Selon les auteurs, WAP surpasse significativement les modèles de bout en bout de référence, à la fois les architectures vision-langage-action (VLA) et les modèles du monde purs (WAM), sur des tâches compositionnelles, des agencements de scène inédits et des scénarios de généralisation zéro-shot. Le projet est documenté sur worldactionplanner.github.io, sans précision sur le matériel robotique utilisé ni sur un calendrier de déploiement.

L'enjeu dépasse la performance brute : c'est la capacité de généralisation qui est visée, un point faible connu des politiques par apprentissage par imitation, qui excellent dans leur environnement d'entraînement mais échouent souvent face à une scène ou une tâche nouvelle. En couplant raisonnement symbolique du VLM et vérification physique via simulation interne, WAP s'attaque directement à l'écart entre démonstration contrôlée et robustesse réelle, un sujet central pour les intégrateurs qui cherchent des robots capables de sortir du script préprogrammé. À ce stade, il s'agit toutefois d'un résultat de recherche évalué en simulation ou en environnement contrôlé, pas d'un produit commercial ni d'un déploiement industriel.

Ce travail s'inscrit dans la course actuelle autour des modèles VLA (à l'image de Pi-0 ou GR00T N2) et des modèles du monde pour la robotique, deux approches concurrentes pour doter les robots humanoïdes et bras manipulateurs d'une autonomie généralisable. En proposant une architecture hybride qui combine planification par recherche et prédiction du monde plutôt qu'une politique end-to-end unique, les auteurs positionnent WAP comme une alternative aux approches purement VLA, dont les limites de généralisation restent un point de friction reconnu dans le secteur.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

Modèle de cognition du monde pour l'interaction humain-robot généralisable
1arXiv cs.RO 

Modèle de cognition du monde pour l'interaction humain-robot généralisable

Un article scientifique publié sur arXiv (référence 2607.22999v1) présente WCM, pour World-Cognition Model, un agent robotique conçu pour rendre l'interaction homme-robot aussi fluide que celle qu'offrent déjà les agents conversationnels dans le logiciel. Le système repose sur une architecture baptisée SLAK, acronyme de Sensing, Logic, Action et Knowledge, qui sépare explicitement la perception, le raisonnement, le contrôle moteur et la mémoire. Cette séparation s'appuie sur un runtime asynchrone permettant au raisonnement, au dialogue et à l'exécution de se dérouler en parallèle plutôt que séquentiellement. WCM ajoute un mode d'apprentissage supervisé par l'humain, où l'utilisateur peut enseigner interactivement au robot des tâches longues ou complexes ; ces épisodes d'enseignement, combinés aux exécutions autonomes, sont ensuite convertis en données de supervision par chaîne de raisonnement (chain-of-thought) pour affiner le modèle en continu. Sur neuf tâches réelles d'interaction homme-robot, le système atteint un taux de réussite moyen de 73,8 %, y compris sur des tâches exclues de l'entraînement par chaîne de raisonnement et sur une tâche longue apprise uniquement par démonstration humaine. L'enjeu dépassé ici n'est pas tant la performance brute que la question de la contrôlabilité. Les approches dominantes actuelles, qu'il s'agisse des politiques vision-langage-action (VLA) ou des planificateurs fondés sur des modèles du monde, sont optimisées pour exécuter une instruction, mais laissent peu de visibilité à l'utilisateur sur les raisons d'une action donnée et peu de moyens de corriger ou réorienter le robot en cours de tâche. En proposant un mécanisme explicite de correction et d'enseignement en temps réel, WCM répond à un point de friction identifié par les intégrateurs industriels : un robot qui exécute bien mais s'explique mal reste difficile à déployer et à faire confiance sur des tâches non anticipées. Le travail s'inscrit dans la lignée des recherches récentes sur les modèles de fondation pour la robotique, où des architectures comme les VLA ont cherché à généraliser l'exécution de tâches à partir de démonstrations massives. WCM se positionne en complément plutôt qu'en rupture, en ajoutant une couche cognitive et interactive au-dessus du contrôle bas niveau. Les auteurs ne précisent pas de calendrier de déploiement industriel ni de partenaire commercial ; il s'agit à ce stade d'une publication de recherche, dont la prochaine étape logique serait l'extension à un plus grand nombre de tâches et de plateformes robotiques.

RecherchePaper
1 source
SANTS : un planificateur adaptatif à l'état pour les modèles d'action du monde
2arXiv cs.RO 

SANTS : un planificateur adaptatif à l'état pour les modèles d'action du monde

Des chercheurs proposent SANTS (State-Adaptive Noise Trajectory Scheduler), un scheduler léger pour les politiques de diffusion vidéo-vers-action dans les World Action Models (WAMs). Soumis sur arXiv (2605.27947) le 28 mai 2026, le travail part d'un constat empirique : dans les WAMs pixel-space, débruiter complètement la vidéo future n'optimise pas toujours la qualité de l'action produite. Au-delà d'un seuil dépendant de l'état du robot, le raffinement supplémentaire sature ou dégrade la performance. SANTS lit la représentation vidéo-état courante et le niveau de bruit, prédit un point d'arrêt adaptatif, et est entraîné par post-training avec une récompense sur la qualité finale de l'action (et non sur la fidélité de la vidéo intermédiaire). Résultats annoncés : 94,4 % de succès sur RoboTwin 2.0, 73,1 % sur sept tâches réelles, avec une réduction de latence de 81,7 % et 79,0 % respectivement par rapport au débruitage complet. L'enjeu opérationnel est la fréquence de contrôle : les WAMs souffrent d'une latence d'inférence élevée qui limite leur déploiement dans des boucles de contrôle rapides. Diviser par cinq ce coût d'inférence sans perte majeure de performance valide l'idée que la représentation future n'a pas besoin d'être parfaitement rendue pour conditionner efficacement l'action, une hypothèse implicite des architectures WAM qui n'était pas encore démontrée à cette échelle. Cela dit, le papier reste un preprint non relu par les pairs, et sept tâches réelles constituent un set de validation étroit pour prétendre à une généralisation industrielle. Les WAMs ont émergé comme alternative aux politiques VLA classiques en intégrant une prédiction vidéo du futur pour guider la génération d'actions. SANTS se positionne comme une surcouche d'optimisation compatible avec les designs existants, sans modifier la branche action du modèle de base. Dans l'écosystème actuel, Physical Intelligence (pi0), NVIDIA (GR00T N2) et Figure (Figure 03) développent des politiques de diffusion pour la manipulation, où la réduction de la latence d'inférence devient un facteur de compétitivité commerciale. Les prochaines étapes naturelles seraient une validation sur des benchmarks plus larges comme DROID ou Open X-Embodiment, et la mise à disposition publique des poids et du code.

RechercheOpinion
1 source
Modélisation unifiée condition-action pour une génération d'action précise en une étape
3arXiv cs.RO 

Modélisation unifiée condition-action pour une génération d'action précise en une étape

Des chercheurs publient sur arXiv (identifiant 2608.16153v1) un nouveau papier intitule "Unified Condition-Action Modeling for Accurate One-Step Action Generation", qui présente UCA-Flow, un framework de modélisation conjointe condition-action pour générer des trajectoires robotiques en une seule étape. Contrairement aux politiques de diffusion et de flow habituelles, qui traitent les conditions (observations visuelles, timestep, intervalle temporel) comme des signaux auxiliaires séparés des tokens d'action, UCA-Flow fusionne l'ensemble dans une séquence unique traitée par un Unified Condition-Action Transformer, ce qui permet de reconstruire dynamiquement les représentations de condition selon l'étape de génération en cours. Les auteurs ajoutent un schéma de supervision en double passe sur les variables u et v pour renforcer l'optimisation conjointe. Resultat annonce: un gain de 9,3 points de pourcentage de taux de réussite moyen par rapport a la meilleure base de comparaison, avec une inférence 45,6 fois plus rapide que DP3 et 33,4 fois plus rapide que Simple DP3, tout en restant 4,3 fois plus rapide que FlowPolicy en une étape et 2,3 fois plus rapide que MP1. Pour l'industrie de la manipulation robotique, ce travail s'attaque a un compromis central: les politiques de diffusion et de flow, au coeur de nombreux modèles VLA vision-language-action, doivent générer des actions précises tout en respectant des latences très serrées en boucle fermée, et accélérer l'inférence se faisait jusqu'ici généralement au prix de la précision. En montrant qu'un traitement conjoint des conditions et des actions améliore simultanément vitesse et taux de réussite, UCA-Flow bouscule l'hypothèse selon laquelle rapidité et fiabilité s'excluent dans ce type de politique. Pour les intégrateurs qui évaluent des architectures de contrôle temps réel pour bras manipulateurs ou plateformes mobiles, ce résultat suggère une piste d'optimisation potentiellement transférable au-delà du cas teste, sous réserve de validation indépendante. UCA-Flow s'inscrit dans la lignée des politiques de diffusion pour la manipulation, dont DP3 et sa variante allégée Simple DP3 servent de référence historique, suivies par des approches en une seule étape comme FlowPolicy et MP1, toutes citées comme bases de comparaison. Le papier ne précise ni affiliation institutionnelle ni plan de commercialisation: c'est une publication de recherche évaluée sur des benchmarks de manipulation, sans démonstration annoncée sur robot physique en conditions réelles ni intégration a un produit existant, et les chiffres proviennent des propres expériences des auteurs, non encore confirmes de manière indépendante. Les suites naturelles seraient une reproduction par des tiers, une extension a des taches multi-bras plus complexes, et une possible intégration dans des architectures VLA généralistes comme Pi-0 ou GR00T N2, qui reposent elles aussi sur des têtes d'action par diffusion ou par flow.

RechercheOpinion
1 source
De la prédiction à la décision : sélection d'action guidée par modèle du monde pour l'excavation continue de tas
4arXiv cs.RO 

De la prédiction à la décision : sélection d'action guidée par modèle du monde pour l'excavation continue de tas

Une équipe de recherche présente dans un article publie en preprint sur arXiv (2609.15382) le World-Action Model (WAM), un système de décision pour l'excavation autonome par chargeuse sur pneus. Comme chaque scoop modifie le relief disponible pour l'action suivante, WAM génère plusieurs trajectoires de godet candidates, éliminé celles géométriquement impossibles, prédit conjointement pour chacune le changement de terrain et le volume charge, puis exécuté celle au chargement prédit le plus élevé avant de replanifier depuis le nouveau relief observe. Sur 32 épisodes de test MinSlope a géométries distinctes, ce classement par modèle du monde applique a des propositions générées par diffusion fait chuter le nombre moyen de passes de godet de 651,8 a 540,6 (-17,1%), préservé un taux de réussite de 32/32 et améliore chaque épisode teste individuellement. En comparaison système complet, WAM termine ses 32 épisodes contre 29 sur 32 pour une politique "soft actor-critic" entraînée séparément. L'équipe a aussi valide l'interface sur des données de chargeuse grandeur réelle et déployé la boucle complète perception-proposition-prédiction-sélection-exécution en conditions physiques, via une implémentation ROS2/TensorRT traitant cinq candidats en 72,4 millisecondes sur un module Jetson AGX Orin. Le résultat vise un problème central du terrassement autonome: chaque action transforme l'environnement de la décision suivante, ce qui rend l'anticipation des conséquences plus déterminante que la seule qualité du mouvement exécuté. En montrant qu'une couche de décision fondée sur un modèle du monde améliore a la fois l'efficacité, moins de passes pour un même résultat, et la fiabilité, taux de complétion supérieur a une politique de renforcement entraînée de bout en bout, l'étude indique que le gain vient du choix explicite entre plusieurs actions possibles plutôt que de la seule politique de mouvement. Pour les intégrateurs et fabricants d'équipements de chantier et de mines, une baisse de 17% du nombre de passes se traduit directement en gains de temps de cycle a l'échelle d'une flotte, même si ces chiffres restent issus de la simulation, l'expérience physique ne démontrant pour l'instant que la faisabilité de la boucle fermée en conditions réelles. Le travail s'inscrit dans l'automatisation des engins de terrassement, ou les approches existantes reposent soit sur des politiques de mouvement générées par diffusion sans raisonnement explicite sur les conséquences terrain, soit sur de l'apprentissage par renforcement comme le soft actor-critic utilise ici en comparaison. Les auteurs testent également plusieurs représentations d'entrée, étendues spatiales et cinq architectures de réseau afin d'identifier un prédicteur "structure par la physique" a la fois précis et rapide, une contribution méthodologique distincte du résultat applicatif. A ce stade, il s'agit d'un article de recherche en preprint, valide sur chargeuse grandeur réelle en boucle expérimentale mais sans déploiement en flotte ni acteur industriel nomme, ce qui le situe cote recherche amont dans un domaine ou l'automatisation des chargeuses et pelles intéressé autant les laboratoires que les fabricants d'équipements de chantier et de mines.

RecherchePaper
1 source