RecherchearXiv cs.RO 16 juillet 2026

GigaWorld-Policy-0.5 : un WAM plus rapide et puissant grâce à AutoResearch

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

GigaWorld-Policy-0.5, développé par une équipe de recherche chinoise, s'attaque à un problème concret des World Action Models (WAM), ces architectures qui améliorent l'apprentissage de politiques robotiques en modélisant conjointement les actions et l'évolution future de la scène visuelle. Le défaut des WAM existants est de générer explicitement des vidéos futures au moment de l'inférence, ce qui alourdit fortement le calcul et empêche un déploiement en boucle fermée temps réel. GigaWorld-Policy-0.5 conserve la dynamique visuelle future comme signal d'entraînement mais bascule à l'inférence vers un décodage uniquement orienté action. Le modèle combine un entraînement mixte Action-Conditioned World Modeling (AC-WM) et WAM classique, renforçant le couplage entre dynamique visuelle et actions robotiques. Côté architecture, une Mixture-of-Transformers sépare les experts dédiés à la modélisation visuelle de ceux dédiés à la génération d'actions, réduisant le calcul actif lors de l'inférence pure. Résultat annoncé : 85 millisecondes de latence d'inférence sur une configuration locale RTX 4090. Les auteurs ajoutent un pipeline agentique baptisé AutoResearch pour rechercher automatiquement les configurations d'entraînement optimales, réduisant le temps et l'intervention manuelle nécessaires au réglage des hyperparamètres.

Cette approche répond à une tension centrale du secteur robotique : les modèles vision-langage-action (VLA) les plus performants s'appuient souvent sur une prédiction vidéo coûteuse pour ancrer physiquement leurs décisions, ce qui les rend inadaptés à un contrôle en temps réel sur du matériel embarqué. En démontrant qu'il est possible de conserver les bénéfices d'entraînement liés à la dynamique visuelle future tout en s'affranchissant de sa génération explicite à l'inférence, GigaWorld-Policy-0.5 offre une piste concrète pour rapprocher les WAM d'un usage industriel réel, sur des GPU consumer plutôt que des clusters dédiés. Pour les intégrateurs et décideurs B2B, la latence de 85 ms mesurée sur une RTX 4090 reste un chiffre en environnement contrôlé, sans précision sur la tâche exécutée ni sur la charge du système complet (perception, planification), ce qui invite à la prudence avant d'en déduire une performance transposable telle quelle en production.

GigaWorld-Policy-0.5 s'inscrit dans la lignée des World Action Models qui ont émergé pour pallier les limites des VLA purement réactifs, en s'inspirant des travaux sur les modèles du monde utilisés en simulation avant d'être transposés au contrôle robotique réel. Le papier ne détaille pas de comparaison chiffrée directe avec des systèmes concurrents comme Pi-0, GR00T N2 ou Helix, ce qui limite l'évaluation de son positionnement compétitif réel. L'apport revendiqué de la version 0.5 tient surtout à l'architecture Mixture-of-Transformers et au pipeline AutoResearch, présentés comme des briques permettant d'itérer plus vite sur les configurations d'entraînement. Le document, publié sur arXiv (2607.13960v1), reste à ce stade une contribution de recherche sans mention de déploiement industriel, de partenariat ou de calendrier de commercialisation.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T World models arXiv cs.RO

À lire aussi

1Interesting Engineering

Robot humanoïde marche sur sable, gravier et pentes grâce à un cadre d'entraînement plus rapide

Des chercheurs du Georgia Institute of Technology ont mis au point un nouveau cadre d'apprentissage automatique baptisé « Learn to Teach » (L2T), qui permet à un robot humanoïde bipède de marcher sur du sable, du gravier, de l'herbe détrempée, des pentes, des escaliers et des surfaces glissantes, tout en réduisant nettement le temps et la puissance de calcul nécessaires à l'entraînement du contrôleur. Contrairement à l'apprentissage classique par renforcement de type enseignant-élève, où un modèle « professeur » est d'abord entraîné en simulation avant de transmettre ses connaissances à un modèle « élève » qui pilote le robot réel, la méthode de Georgia Tech entraîne les deux agents simultanément. Selon Feiyang Wu, chercheur principal du projet, l'approche séquentielle classique pose deux problèmes : elle prend trop de temps et gaspille une partie des informations collectées par le professeur en cours d'apprentissage. Le contrôleur a été testé sur un robot humanoïde grandeur nature dans le laboratoire du professeur associé Ye Zhao, où l'équipe a aussi poussé et tiré la machine pendant les essais pour observer sa capacité à ajuster sa démarche et rester stable. Les travaux ont été présentés à l'ICRA (IEEE International Conference on Robotics and Automation). Cette avancée s'attaque à un goulot d'étranglement bien identifié dans la robotique humanoïde : l'entraînement de contrôleurs en simulation nécessite souvent des heures de calcul sur du matériel GPU coûteux, un frein direct à l'itération rapide et au déploiement à grande échelle. En faisant apprendre le professeur et l'élève en parallèle, et en permettant au professeur de tirer des enseignements de l'expérience de l'élève, l'équipe réduit ce que les roboticiens appellent le « fossé d'imitation » entre les conditions idéalisées de la simulation et la réalité du terrain, un problème central dans le débat sur le fameux « sim-to-real gap ». Fait notable, le même contrôleur généraliste a surpassé le logiciel fourni par le fabricant du robot sur plusieurs types de terrains, sans nécessiter de contrôleurs distincts par environnement, ce qui illustre la valeur d'une recherche en apprentissage automatique directement confrontée au monde réel plutôt qu'à des démonstrations scénarisées. Wu reconnaît que l'équipe ne s'attendait pas elle-même à une telle polyvalence pour un robot humanoïde aussi volumineux, la locomotion agile sur terrain accidenté n'ayant jusqu'ici jamais été véritablement démontrée pour ce type de machine. Au-delà de la marche, les chercheurs estiment que le cadre « Learn to Teach » pourrait s'appliquer à d'autres architectures de robots et à des tâches variées exigeant un déplacement fiable en environnement imprévisible, ouvrant une piste de recherche transférable bien au-delà du seul cas d'usage testé à Atlanta.

RecherchePaper

1 source

2arXiv cs.RO

WorldScape Policy 2.0 : vers une modélisation d'action du monde pilotable grâce à une mémoire enrichie par le raisonnement

WorldScape Policy 2.0 est un nouveau modèle d'action du monde (World Action Model, WAM) publié en preprint sur arXiv, conçu pour la manipulation robotique par apprentissage conjoint des transitions visuelles et des actions du robot. Son architecture combine une mémoire visuelle causale à court terme, qui alimente le module de génération (DiT) avec les observations récentes pour préserver la dynamique locale d'interaction, et une mémoire d'événements à long et court terme, qui organise les sorties d'un modèle vision-langage en trois niveaux : historique global, activité locale et frontières d'événements. Cette mémoire récupérée sert de sous-objectif implicite pour la planification autonome, renforcé par un mécanisme de "semantic forcing" qui transfère la sémantique des instructions au niveau événementiel dans le flux de planification latent. Les auteurs introduisent également ManipEvent-5M, un jeu de données de pré-entraînement embarqué comptant près de 5 millions de segments d'événements, chacun aligné avec des trajectoires d'action, des instructions de tâche au niveau épisode, des légendes de sous-tâches au niveau segment, des images d'objectif et des démonstrations vidéo. L'enjeu dépasse la seule prouesse technique : les modèles d'action du monde actuels souffrent d'un contexte temporel limité, d'une supervision par le langage trop grossière (au niveau de l'épisode entier) et d'un conditionnement quasi exclusivement textuel, ce qui limite le suivi de la progression des tâches, l'ancrage fin entre langage, vidéo et action, ainsi que le transfert entre différentes morphologies de robots. En proposant un conditionnement multimodal unifié, exploitable aussi bien par instruction de haut niveau que par image d'objectif ou contexte vidéo, WorldScape Policy 2.0 s'attaque directement à l'écart persistant entre démonstrations en laboratoire et exécution robuste sur des tâches longues et complexes, un point de friction central pour quiconque cherche à faire passer les architectures VLA (vision-langage-action) du prototype à un déploiement fiable. Le papier s'inscrit dans la lignée des travaux récents qui cherchent à dépasser les VLA purement textuels en intégrant une mémoire structurée et une planification hiérarchique, plutôt que de simplement empiler davantage de données ou de paramètres. Les auteurs revendiquent des résultats supérieurs en simulation et sur plateformes réelles pour la planification autonome à long horizon, le suivi d'instructions fines et l'adaptation en contexte. Il s'agit à ce stade d'une contribution académique (article "new" sur arXiv), sans acteur industriel ni calendrier de déploiement associés : la validation par la communauté et la reproduction des résultats sur d'autres bancs de test restent les prochaines étapes attendues.

RechercheActu

1 source

3arXiv cs.RO

Accélérer l'exécution des politiques grâce à un apprentissage par renforcement léger : SpeedTuning

SpeedTuning, un framework d'apprentissage par renforcement décrit dans une prépublication arXiv du 11 août 2026 (arXiv:2608.09138v1), vise à accélérer l'exécution des politiques de manipulation robotique apprises par imitation. Le système apprend à prédire, pour chaque action, la vitesse d'exécution optimale, en complément d'une politique de base déjà entraînée et sans nécessiter de nouvelle collecte de démonstrations. Ses auteurs rapportent un gain de vitesse supérieur à 2,4x par rapport à la politique originale, avec un taux de réussite jugé adéquat, comparé à la fois à la politique de base et à des méthodes d'accélération naïves comme l'interpolation linéaire à vitesse fixe. La méthode a été testée sur des tâches dynamiques et précises, verser un liquide, lancer un objet et saisir un objet, en conditions réelles sur robot. Le problème ciblé touche un point sensible du secteur : les politiques apprises par imitation héritent de la cadence de l'opérateur humain pendant la téléopération de collecte de données, ce qui plafonne structurellement leur vitesse une fois déployées, et aucune méthode établie ne permettait jusqu'ici d'accélérer une politique déjà entraînée sans repasser par une collecte de démonstrations plus rapides et coûteuses en heures de téléopération. En démontrant qu'il est possible de découpler vitesse d'exécution et taux de réussite, SpeedTuning s'adresse directement aux intégrateurs industriels, pour qui le temps de cycle conditionne la rentabilité d'une cellule robotisée. La portée de la démonstration reste toutefois limitée : le gain de 2,4x est une moyenne sur trois familles de tâches testées en laboratoire, pas une garantie généralisable, et l'article ne précise ni la plateforme robotique utilisée ni son nombre de degrés de liberté. Ce travail s'inscrit dans une limitation bien identifiée de l'apprentissage par imitation appliqué à la manipulation robotique, où les politiques de type diffusion ou VLA (vision-language-action) restent bridées par la qualité et la vitesse des démonstrations humaines collectées par téléopération, un goulot d'étranglement sur lequel travaillent plusieurs laboratoires développant des modèles fondation pour la robotique. En proposant une couche d'accélération post-hoc plutôt qu'une nouvelle architecture de politique ou un nouveau mode de collecte, SpeedTuning se positionne comme un complément aux approches existantes plutôt qu'un concurrent direct. Le document, publié en prépublication sur arXiv et non encore évalué par les pairs, ne mentionne aucun partenariat industriel ni date de mise en production : il s'agit pour l'instant d'un résultat de recherche restant à valider sur un éventail plus large de tâches et de plateformes avant toute adoption en environnement industriel.

RecherchePaper

1 source

4arXiv cs.RO

GigaWorld-1 : une feuille de route pour créer des modèles du monde évaluant les politiques robotiques

Une équipe de recherche publie GigaWorld-1, un modèle du monde spécialement conçu pour évaluer les politiques robotiques, accompagné de WMBench, un banc d'essai construit à partir de données réelles de téléopération et de rollouts de politiques appariés sur des tâches de manipulation variées. L'étude analyse 7 modèles du monde vidéo, 4 schémas de représentation d'action et plus de 324 000 rollouts de politiques simulés mis en correspondance avec des exécutions robotiques réelles, en s'appuyant aussi sur les soumissions de la communauté au CVPR 2026 GigaBrain Challenge, des trajectoires synthétiques et plus de 12 000 heures de vidéos d'entraînement. Trois résultats principaux ressortent : la qualité d'un évaluateur dépend surtout de la cohérence des rollouts sur de longs horizons temporels et de leur fidélité à l'action réelle, plutôt que du simple réalisme visuel à court terme ; les gains de pré-entraînement viennent autant d'un équilibre entre connaissances générales et contrôlabilité spécifique au robot que de la seule taille des données ; et des choix d'architecture comme l'encodage d'action, la conception de la mémoire et le post-entraînement orienté évaluation déterminent fortement l'alignement avec le comportement réel du robot. Code, modèles, jeux de données et outils sont publiés en intégralité. Ce travail s'attaque à un vrai goulot d'étranglement du secteur : contrairement aux LLM, évaluables via des benchmarks numériques rapides, les politiques robotiques nécessitent des essais physiques lents, coûteux et limités par le matériel et la supervision humaine. Utiliser des modèles du monde comme évaluateurs de substitution promet d'accélérer drastiquement l'itération sur les modèles fondation embarqués (VLA), en simulant les conséquences d'une action avant tout déploiement réel. Mais jusqu'ici, personne n'avait établi méthodiquement ce qui rend un modèle du monde fiable pour ce rôle précis d'évaluateur, plutôt que pour la génération vidéo générique. En démontrant que le réalisme visuel court terme est un mauvais proxy et que la cohérence long-horizon compte davantage, l'étude remet en cause une hypothèse implicite du secteur, celle voulant qu'un bon générateur vidéo fasse automatiquement un bon simulateur d'évaluation, avec des implications directes pour tous les laboratoires qui entraînent des politiques de manipulation (type GR00T N2, Pi-0 ou Helix) et cherchent à réduire leur dépendance aux essais sur banc réel. Le travail s'inscrit dans la montée en puissance des modèles du monde comme brique d'infrastructure pour la robotique fondation, un axe de recherche porté ces derniers mois par des acteurs comme World Labs, Genie de DeepMind ou les initiatives associées au GigaBrain Challenge du CVPR 2026, dont les soumissions communautaires alimentent d'ailleurs directement WMBench. La démarche se distingue par son échelle : plus de 12 000 heures de vidéos d'entraînement et 324 000 rollouts appariés à des exécutions réelles, un volume rarement atteint pour ce type d'analyse comparative. En publiant intégralement code, modèles et jeux de données, les auteurs positionnent GigaWorld-1 et WMBench comme une référence ouverte que d'autres laboratoires pourront reprendre pour benchmarker leurs propres politiques, une étape qui pourrait accélérer la comparaison objective entre familles de modèles VLA concurrentes, aujourd'hui difficile faute de protocole d'évaluation standardisé.

RecherchePaper

1 source