Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Test-Time Scaling pour les modèles d'action du monde via évaluation géométrique zéro-shot
RecherchearXiv cs.RO 

Test-Time Scaling pour les modèles d'action du monde via évaluation géométrique zéro-shot

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Le 24 juillet 2026 des chercheurs ont publié sur arXiv (2607.17454) une méthode d'allocation de calcul au moment de l'inférence pour les World Action Models (WAM), ces modèles robotiques qui prédisent à la fois un segment d'actions et les observations futures qui en découlent. La technique, sans entraînement supplémentaire, sélectionne la meilleure parmi plusieurs trajectoires générées (Best-of-N, avec N=8) en évaluant la cohérence géométrique des observations futures prédites entre plusieurs points de vue, grâce à un modèle de fondation géométrique figé qui vérifie la reprojection de profondeur. Une seconde version ajoute une porte de déclenchement légère qui ne lance cet échantillonnage supplémentaire que si la trajectoire initiale semble incohérente. Testée sur cinq combinaisons de benchmarks et de modèles (RoboCasa, LIBERO Long et RoboTwin 2.0), la méthode à budget fixe améliore le taux de réussite dans tous les cas, faisant passer la moyenne du groupe RoboCasa de 66,3% à 68,4% avec Cosmos Policy, et de 80,8% à 82,5% avec X-WAM. La version avec porte de déclenchement conserve en moyenne 74,8% du gain obtenu par la version systématique, tout en ne déclenchant un échantillonnage additionnel que sur 26,2% des décisions.

L'enjeu dépasse le simple gain de score: la méthode traite un problème concret pour le déploiement de robots pilotés par des modèles vision-langage-action (VLA), celui de décider en temps réel si dépenser plus de calcul avant d'exécuter un geste vaut le coût en latence. Contrairement aux approches classiques de test-time scaling qui nécessitent un signal de récompense ou une étiquette de tâche, ce sélecteur fonctionne sans supervision, uniquement à partir de la cohérence géométrique des futurs prédits. C'est un signal utile pour les intégrateurs qui cherchent à fiabiliser des politiques VLA en production sans réentraînement, et une preuve que l'écart entre démonstration et fiabilité réelle peut être réduit par du calcul additionnel bien ciblé plutôt que par un modèle plus gros.

Les auteurs situent leur travail dans la lignée des World Models robotiques récents, qui couplent prédiction du futur visuel et génération d'actions, à l'image de Cosmos Policy ou X-WAM utilisés ici comme architectures de base. L'article documente aussi un mode d'échec: certaines trajectoires reçoivent un score de cohérence faussement bas, ce qui explique pourquoi les gains de performance plafonnent, voire se dégradent, quand on augmente excessivement le nombre de trajectoires échantillonnées N. Cette limite ouvre la voie à des travaux futurs sur des métriques de sélection plus robustes.

Dans nos dossiers

IA physique & VLAWorld modelsarXiv cs.RO

À lire aussi

FOCAL-VLA : distillation géométrique guidée par sous-tâches et modélisation implicite du monde pour les modèles vision-langage-action
1arXiv cs.RO 

FOCAL-VLA : distillation géométrique guidée par sous-tâches et modélisation implicite du monde pour les modèles vision-langage-action

Une équipe de recherche a mis en ligne sur arXiv un nouveau framework baptisé FOCAL-VLA, décrit dans l'article "Subtask-Guided Geometry Distillation and Implicit World Modeling for Vision-Language-Action Models" (arXiv:2609.21228v1, auteur principal Zhiyuan Gao, site du projet zhiyuan-gao.github.io/FOCAL-VLA). La méthode combine deux briques : une distillation géométrique guidée par sous-tâche, qui transfère les connaissances spatiales du modèle VGGT vers le modèle vision-langage-action en alignant ses représentations latentes uniquement sur les zones d'image pertinentes pour l'interaction en cours, et une modélisation implicite du monde, qui capture l'évolution 3D future de la scène via les features de Track4World extraites d'images de démonstration présentes et futures. Point clé technique : ni VGGT ni Track4World ne tournent au moment de l'inférence, seules les représentations apprises pendant l'entraînement guident la génération d'actions. Les auteurs annoncent des performances supérieures aux méthodes de référence à la fois sur des benchmarks de simulation et sur des tâches de manipulation réelle, sans toutefois publier dans l'abstract de chiffres précis (taux de réussite, temps de cycle, charge utile). L'enjeu adressé est connu du secteur : les modèles VLA qui mappent directement une observation 2D vers une action peinent sur la compréhension spatiale et temporelle fine, ce qui limite leur précision sur des manipulations complexes et des séquences longues. Les approches géométriques existantes, en intégrant toute la scène, diluent l'attention du modèle sur des informations non pertinentes pour la tâche en cours. En ciblant la supervision géométrique sur la sous-tâche active et en gardant les modèles auxiliaires hors de la boucle d'inférence, FOCAL-VLA vise un compromis précision-coût de calcul pertinent pour les intégrateurs cherchant à déployer des VLA en production sans surcoût matériel à l'exécution. FOCAL-VLA s'inscrit dans la vague de recherche académique cherchant à enrichir des modèles VLA généralistes (dans la lignée de travaux comme Pi-0, GR00T N2 ou Helix) d'une meilleure compréhension géométrique et temporelle. Il s'agit à ce stade d'un article de recherche déposé sur arXiv, non encore validé par une revue par les pairs ni testé en déploiement commercial ; les résultats comparatifs proviennent des auteurs eux-mêmes et restent à confirmer par des évaluations indépendantes.

RechercheActu
1 source
LeapBot-JAC : chaînes d'actions conjointes pour les modèles d'action du monde
2arXiv cs.RO 

LeapBot-JAC : chaînes d'actions conjointes pour les modèles d'action du monde

LeapBot-JAC (Joint Action Chains), présenté sur arXiv, propose une réorganisation du budget de tokens d'action dans les politiques robotiques à « action chunking », c'est-à-dire celles qui prédisent une séquence de commandes futures mais n'en exécutent qu'un préfixe avant de replanifier. Au lieu d'ajouter des tokens ou des paramètres, la méthode répartit le budget fixe en deux chaînes au sein d'un unique « action expert » partagé : des références clairsemées de commandes lointaines et des cibles d'exécution denses. Les deux chaînes sont supervisées par les commandes issues des démonstrations et débruitées conjointement, à des positions temporelles physiques alignées. Une attention dirigée permet aux tokens d'exécution de lire les tokens de référence, dans le respect des contraintes de visibilité du modèle hôte. Les deux chaînes participent à l'inférence, mais seule la chaîne d'exécution pilote le robot. Sur le benchmark LIBERO, la méthode atteint 98,3 % de succès avec FastWAM et LeapBot-WA, contre 97,0 % et 97,3 % auparavant. En zero-shot sur LIBERO-Plus, les taux passent de 53,5 % à 70,4 % pour FastWAM et de 73,1 % à 77,3 % pour LeapBot-WA. RoboTwin et deux tâches en conditions réelles complètent l'évaluation. Pour les équipes qui travaillent sur les « world action models » (WAM), ces modèles qui combinent prédiction du monde et génération d'actions, le résultat suggère qu'un gain notable de robustesse peut venir de l'organisation des tokens plutôt que de la taille du modèle. Le bénéfice est surtout visible hors distribution : +16,9 points sur LIBERO-Plus pour FastWAM, contre +1,3 point sur LIBERO standard, benchmark déjà proche de la saturation. Ce point compte pour les intégrateurs, car la généralisation à des perturbations non vues pèse davantage sur la fiabilité en production que le score sur un banc d'essai connu. Le coût d'intégration paraît faible, la méthode n'ajoutant ni tokens ni paramètres, ce qui la rend potentiellement greffable sur d'autres architectures. Des réserves s'imposent toutefois : les auteurs reconnaissent des comparaisons à graine d'entraînement unique, ce qui limite la portée statistique des écarts, et seules deux tâches réelles sont rapportées, sans chiffres de succès, de temps de cycle ni de taux d'échec détaillés dans le résumé. Le gain bien plus faible sur LeapBot-WA (+4,2 points sur LIBERO-Plus) indique aussi que l'effet dépend de la base de départ. Ces travaux s'inscrivent dans la course aux politiques VLA et WAM, où des modèles comme Pi-0, GR00T ou Helix cherchent à améliorer la précision et la réactivité du pilotage par chunks d'actions. La tension entre horizon de prédiction long, qui donne de la cohérence, et exécution dense, qui donne de la précision, est un problème ouvert que JAC aborde sans modifier le coût d'inférence nominal. Il s'agit d'une publication académique, sans produit commercialisé ni déploiement industriel annoncé. Les prochaines étapes à surveiller sont la réplication avec plusieurs graines, l'évaluation sur davantage de tâches réelles et l'adoption éventuelle de ce schéma par d'autres modèles d'action en diffusion ou en flow matching.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Apprentissage d'a priori géométriques 4D pour des modèles d'action du monde efficaces en inférence
3arXiv cs.RO 

Apprentissage d'a priori géométriques 4D pour des modèles d'action du monde efficaces en inférence

Des chercheurs publient MECo-WAM (Multi-Expert Co-Training World Action Model), une nouvelle architecture de "World Action Model" (WAM) conçue pour la manipulation robotique, décrite dans un papier référence arXiv:2607.05468v1. L'idée est d'injecter des a priori géométriques 4D dans les représentations vidéo-action pendant l'entrainement, sans alourdir le graphe d'inférence au moment du déploiement. Le système combine trois experts durant l'entrainement : un expert vidéo, un expert action, et un expert 4D léger supervise par des cibles relationnelles issues d'un encodeur VGGT gelé. Une visibilité asymétrique entre experts empêche les raccourcis non causaux entre géométrie auxiliaire et génération d'actions. Deux mécanismes assurent le transfert des connaissances géométriques vers le chemin vidéo-action réellement déployé : une attention a masque de lecture 4D a décroissance progressive, qui fournit un guidage géométrique restreint en début d'entrainement puis le retire par étapes, et une distillation géométrique temporelle orientée action, qui aligne les relations géométriques intra-image et leur évolution en priorisant les zones visuelles pertinentes pour l'action du robot. Au déploiement, tous les composants 4D auxiliaires sont supprimes. Sur les benchmarks LIBERO et RoboTwin 2.0, le modèle atteint respectivement 98,2% et 92,6% de réussite, avec des gains confirmes sur des taches de manipulation réelles. Ce travail cible une limite connue des WAMs actuels : l'entrainement conjoint vidéo-action optimise généralement des latents orientes apparence, qui capturent mal la géométrie évolutive nécessaire a une manipulation précise. En montrant qu'un gain de précision est possible sans surcout d'inférence, MECo-WAM répond a une tension centrale pour les intégrateurs et les équipes de recherche appliquée : les modèles VLA (vision-language-action) les plus performants deviennent souvent trop lourds pour un déploiement temps réel embarque. La méthode illustre une tendance de fond dans la recherche en manipulation robotique, celle de déporter la complexité géométrique et multimodale vers la phase d'entrainement pour ne conserver au runtime qu'un pipeline léger, une piste directement pertinente pour les fabricants de bras robotiques et de systèmes AMR qui cherchent a industrialiser des politiques apprises. MECo-WAM s'inscrit dans la lignée des World Action Models qui cherchent a unifier prédiction vidéo future et génération de séquences d'actions exécutables, une approche déjà explorée par des architectures VLA comme Pi-0 ou GR00T N2. La référence a VGGT, encodeur de géométrie 4D reconnu en vision par ordinateur, situe le papier a l'intersection de la reconstruction 3D/4D et de l'apprentissage de politiques robotiques. Les auteurs évaluent leur approche sur deux benchmarks de simulation standards, LIBERO et RoboTwin 2.0, ainsi que sur des taches réelles, mais ne donnent pour l'instant aucun calendrier de déploiement industriel ni de partenariat avec des intégrateurs : le travail reste, a ce stade, une contribution de recherche publiée sur arXiv.

RecherchePaper
1 source
WAM-OPD : distillation on-policy pour les modèles d'action du monde
4arXiv cs.RO 

WAM-OPD : distillation on-policy pour les modèles d'action du monde

Des chercheurs publient WAM-OPD (arXiv:2608.22364v1), une méthode de post-entraînement pour les world action models (WAM), qui couplent prédiction vidéo du futur et génération d'actions robotiques. Une fois distillés pour accélérer l'inférence, ces modèles étudiants perdent des capacités et rencontrent des états mal couverts par les données hors ligne d'origine. WAM-OPD y répond par une distillation "on-policy" sans renforcement à récompense éparse : l'agent étudiant agit dans l'environnement, un enseignant figé annote ses historiques avec des cibles vidéo et action cohérentes, et la branche action s'entraîne sous son propre plan vidéo, comme au déploiement, via des adaptateurs légers et un régularisateur flow-matching. Sur le simulateur RoboTwin 2.0, le modèle Flash-WAM voit son taux de réussite passer de 0% à 58,3% sur HANDOVER MIC, et de 16,7% à 33,3% sur PUT OBJECT CABINET. Le résultat vise un compromis bien connu du secteur robotique : les modèles d'action pilotés par vidéo sont souvent trop lourds pour du contrôle temps réel, et leur compression classique dégrade la fiabilité. WAM-OPD montre qu'une supervision dense sur les trajectoires produites par l'étudiant en conditions réelles de déploiement peut restaurer une partie des compétences perdues, sans recourir à un apprentissage par renforcement coûteux. Pour les intégrateurs, c'est un signal à nuancer : les auteurs qualifient eux-mêmes leurs résultats de "preuve de capacité initiale", obtenue sur seulement deux tâches en simulation, loin d'une généralisation démontrée. Cette approche prolonge la lignée des modèles de monde vidéo appliqués à la robotique, où action et prédiction visuelle sont générées conjointement, une piste également suivie par des familles comme GR00T N2, Pi-0 ou Helix. Le défi reste constant : un enseignant volumineux doit être compressé pour tourner en boucle de contrôle rapide, au prix de compétences que la distillation classique ne restitue pas toujours. Seul le modèle ouvert Flash-WAM a été testé ici, sur le banc bimanuel RoboTwin 2.0, sans validation sur robot réel ni comparaison aux modèles commerciaux du marché. Les auteurs présentent ces résultats comme préliminaires et annoncent vouloir étendre l'évaluation avant toute conclusion sur la généralisation de la méthode.

RecherchePaper
1 source