RecherchearXiv cs.RO 30 septembre 2026

Un parmi l'infini : transformer les futurs d'un modèle du monde préentraîné en actions de robot

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent RoboActualizer, une architecture qui transforme un modèle de monde vidéo préentraîné en politique robotique exécutable sans ré-entraîner son lourd backbone. Le principe, baptisé « actualisation », consiste à geler l'encodeur du modèle de monde et à n'entraîner par-dessus qu'un module léger, chargé de sélectionner, parmi les futurs plausibles qu'encode le modèle, celui qui correspond à la tâche demandée, puis d'en extraire les actions. L'actualiseur repose sur deux experts DiT (diffusion transformers) légers qui prédisent conjointement les latents futurs et les actions par flow matching. Il compte à partir de 60 millions de paramètres, s'entraîne sur un seul GPU avec 32 Go de mémoire au pic, et affiche une latence de 39 ms, compatible avec le contrôle temps réel. Les auteurs revendiquent jusqu'à 100 fois moins de paramètres entraînables que les modèles monde-action (WAM) et les VLA existants. Les résultats portent sur les benchmarks de simulation LIBERO, LIBERO-Plus et RoboTwin 2.0, ainsi que sur cinq tâches réelles menées sur deux plateformes. L'abstract ne chiffre pas les taux de réussite et ne nomme ni les plateformes ni les modèles comparés.

L'enjeu est d'abord économique. Les approches actuelles adaptent le backbone entier d'un modèle de monde avec de grands jeux de données robotiques et de gros budgets de calcul, ce qui réserve ce type de recherche aux laboratoires les mieux dotés. Si l'hypothèse des auteurs tient, à savoir que le coût principal a déjà été payé lors du préentraînement vidéo, un intégrateur ou une équipe universitaire pourrait spécialiser une politique sur une seule carte graphique, sans infrastructure de cluster. Ce serait un argument sérieux pour les VLA à backbone gelé et pour la réutilisation de modèles de monde comme socle commun. Il faut toutefois rester prudent : l'évaluation réelle se limite à cinq tâches, LIBERO est un benchmark proche de la saturation, et l'expression « gréât performance » ne dit rien de l'écart avec les meilleurs modèles entièrement affinés. La robustesse hors distribution et la généralisation à des tâches longues restent à démontrer.

Ce travail s'inscrit dans la convergence entre modèles de monde vidéo et politiques robotiques, où des approches WAM et des VLA comme Pi-0 ou GR00T ont montré que le préentraînement sur vidéo transfère des connaissances physiques utiles. Ces méthodes ont cependant tendance à croître en taille, ce qui pose des problèmes de latence et de coût de déploiement. RoboActualizer prend le contre-pied en visant l'efficacité, un critère central pour le contrôle embarqué. Il s'agit ici d'un préprint (arXiv, version 1) non évalué par les pairs, sans produit ni déploiement industriel annoncés. Les prochaines étapes à surveiller sont la publication du code et des poids, des comparaisons directes avec des VLA de référence à budget de calcul égal, et des tests sur des plateformes et des tâches plus variées.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

NVIDIA GR00T World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

Being-M0.7 : un modèle du monde et de l'action latent pour robots humanoïdes

Being-M0.7 est un modèle monde-action latent pour robots humanoïdes, présenté dans un preprint arXiv (2610.11283v1). Il vise la loco-manipulation, c'est-à-dire la coordination de la marche et de la manipulation en anticipant l'évolution de la scène et les mouvements du corps entier. Ses auteurs s'appuient sur un corpus constitué à partir de plus de 10 000 heures de données brutes centrées sur l'humain. Ce corpus mêle trois types de flux: vidéo seule, mouvement seul, et paires vidéo-mouvement. L'entraînement se fait en trois temps. Un pré-entraînement apprend la dynamique visuelle et la structure cinématique du corps entier. Un « mid-training » robot adapte ensuite ce prior aux points de vue et à la dynamique corporelle des robots. Enfin, un post-entraînement d'action greffe un « action expert » qui combine les représentations prédictives du prior figé avec les images courantes et la proprioception, par attention croisée à portes (gated cross-attention), pour produire des commandes corps entier exécutables. Les auteurs annoncent le meilleur taux de succès agrégé parmi les baselines comparées sur le benchmark SIMPLE. Sur des tâches réelles de loco-manipulation avec un Unitree G1, le modèle égale la meilleure baseline sans la dépasser. Le résumé ne donne ni chiffres de succès, ni liste des tâches, ni nombre d'essais. L'intérêt tient à l'attaque d'un goulot d'étranglement connu: les démonstrations robot sont rares et coûteuses, alors que la vidéo et la capture de mouvement humaines abondent. Leur exploitation se heurte à deux obstacles. Beaucoup de jeux de données n'ont qu'une modalité, et le mouvement humain ne se traduit pas directement en actions robot. Prédire conjointement les états visuels latents futurs et le mouvement pousse les représentations visuelles à encoder la cinématique à venir. L'étape intermédiaire robot et l'action expert servent de pont vers l'exécution. Le résultat réel reste nuancé. L'avantage est net en simulation, mais il disparaît sur le matériel: la parité avec la meilleure baseline sur G1 suggère que l'écart simulation-réel n'est pas résolu et que le gain du pré-entraînement sur données humaines reste à démontrer au-delà de benchmarks maîtrisés. Les intégrateurs doivent y voir une piste de recherche prometteuse pour réduire la dépendance à la téléopération, et non une capacité prête pour le déploiement. Il s'agit d'une publication académique, sans produit, sans pilote industriel ni calendrier de commercialisation. Ce travail s'inscrit dans la vague des modèles monde-action et des VLA (vision-langage-action) appliqués aux humanoïdes, où plusieurs acteurs cherchent à exploiter la vidéo humaine à grande échelle. On y trouve des modèles généralistes de type Pi-0, GR00T ou Helix, et des approches qui prédisent le futur visuel pour guider l'action. Le Unitree G1, humanoïde abordable très répandu dans les laboratoires, sert de plateforme de validation commune, ce qui facilite la comparaison entre équipes. La version «0.7» laisse penser à une série de modèles Being, dont les itérations précédentes ne sont pas détaillées ici. Les suites à surveiller sont la publication du code, des poids et des protocoles d'évaluation, ainsi que des tests sur des plateformes plus variées et des tâches plus longues. Une confirmation indépendante sur matériel réel dira si l'avantage observé en simulation se maintient.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

ProtoAct : transformer les protocoles de laboratoire humide en actions robotiques incarnées

Les protocoles de laboratoire biologique sont rédigés pour des chercheurs formés et laissent souvent implicites les opérations de routine, les conditions dépendantes de l'état du système et les paramètres contextuels, ce qui les rend difficiles à traduire en actions exécutables par un robot. Des chercheurs présentent ProtoAct, un framework structuré qui convertit des procédures biologiques en texte libre en séquences d'actions adaptées à l'exécution robotique. Le système combine trois modules : ProtoRAG, qui récupère des exemples annotés manuellement pour un parsing sensible au contexte, RefineChecker, qui détecte et corrige les étapes manquantes ou incohérentes, et ActSchema, qui transforme la procédure raffinée en séquences JSON contraintes de fonctions exécutables. Pour évaluer l'approche, les auteurs ont constitué BioP2E, un jeu de données comprenant 22 protocoles de culture cellulaire annotés manuellement, décomposés en 258 conditions de surveillance, 910 sous-tâches exécutables et 962 appels d'action ancrés dans le monde physique. Les tests couvrent sept grands modèles de langage différents comme backbone. Cette publication cible un problème concret pour l'automatisation en biotechnologie : la majorité des protocoles de laboratoire existants ne sont tout simplement pas lisibles par une machine sans réécriture manuelle coûteuse, ce qui freine le déploiement de robots dans les laboratoires humides (wet labs). En démontrant qu'un pipeline de parsing structuré peut produire des sous-tâches exploitables pour entraîner des modèles vision-langage-action (VLA) et obtenir une exécution réussie à la fois en simulation et sur robot réel, ProtoAct apporte une preuve de concept que l'automatisation de laboratoire peut s'appuyer sur les protocoles existants plutôt que sur des réécritures ad hoc, un enjeu pertinent pour la recherche pharmaceutique et l'automatisation scientifique. Les auteurs situent leur contribution dans la lignée des travaux combinant génération augmentée par récupération (RAG) et modèles de langage pour le raisonnement procédural, appliqués ici à un domaine peu couvert jusqu'ici : la biologie expérimentale. Les ablations menées montrent que la récupération contextuelle, la vérification a posteriori et les contraintes de schéma apportent chacune une contribution complémentaire, sans qu'aucun de ces éléments seul ne suffise. Le papier ouvre la voie à une intégration plus large avec des systèmes de collecte de démonstrations pour l'entraînement de modèles VLA en laboratoire.

RecherchePaper

1 source

3arXiv cs.RO

R²-WAM : post-entraînement par réparation et rejet pour les modèles d'action du monde

Des chercheurs proposent R²-WAM, un cadre de post-entraînement en deux étapes, « réparer puis rejeter », destiné aux World Action Models (WAM). Ces modèles prédisent, sous forme de vidéo, les conséquences d'actions robotiques échantillonnées, afin d'affiner une politique de contrôle. Le système atteint 93,8 % de succès moyen sur le benchmark de simulation RoboTwin 2.0, en moyenne sur les configurations « clean » et randomisées. Sur une tâche réelle de longue durée, le pliage de chemise (Fold Shirt), il obtient 87,5 % de succès moyen, contre 0 % pour Fast-WAM, la base de comparaison. Le gain est obtenu sans interaction supplémentaire avec l'environnement et sans modification de la procédure d'inférence. Le code et les démonstrations sont annoncés sur une page projet dédiée. Le mécanisme tient en deux temps. L'étape de réparation corrige un défaut connu des WAM : une vidéo prédite visuellement plausible peut ne pas refléter l'action fournie en entrée, ce qui fausse tout raffinement de politique fondé sur elle. Les auteurs introduisent un score d'alignement cinématique, qui mesure l'écart entre le mouvement prédit et le mouvement démontré, pour ancrer l'imagination du modèle dans le comportement réel du robot. L'étape de rejet utilise ensuite ce modèle vidéo réparé pour comparer les résultats imaginés des actions échantillonnées à ceux des démonstrations. Les échantillons dont la progression de tâche prédite tombe sous la référence démontrée d'une marge prescrite servent d'exemples négatifs pour un fine-tuning négatif. L'intérêt dépasse le score de benchmark. Le résultat suggère que la prédiction vidéo peut passer du statut de simple apprentissage de représentations à celui de critique de conséquences, capable de trier les mauvaises actions hors ligne. Cela réduit le besoin de rollouts physiques coûteux, un point clé pour les intégrateurs confrontés au coût de collecte de données. Le contraste sur Fold Shirt est frappant : 0 % pour la base de comparaison indique que la cohérence action-vidéo est un goulot d'étranglement réel sur les tâches déformables à long horizon. Il faut toutefois rester prudent : il s'agit d'un travail académique, la tâche réelle est unique, le nombre d'essais n'est pas précisé dans le résumé, et aucun déploiement industriel ni temps de cycle n'est évoqué. Ce travail s'inscrit dans la montée des modèles du monde appliqués au contrôle, où la vidéo prédictive sert de fondation aux politiques, en parallèle des approches VLA (vision-langage-action) classiques. RoboTwin 2.0, benchmark bimanuel en simulation, est devenu un terrain de comparaison courant, et Fast-WAM représente ici l'état de l'art immédiat auquel les auteurs se mesurent. La suite logique serait une validation sur davantage de tâches réelles, d'autres plateformes et des volumes d'essais plus larges, ainsi qu'une comparaison avec les politiques VLA déployées commercialement. Aucun acteur européen ni calendrier de pilote n'est mentionné dans cette version de l'article, publiée sur arXiv en révision (v2).

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

LeapBot-JAC : chaînes d'actions conjointes pour les modèles d'action du monde

LeapBot-JAC (Joint Action Chains), présenté sur arXiv, propose une réorganisation du budget de tokens d'action dans les politiques robotiques à « action chunking », c'est-à-dire celles qui prédisent une séquence de commandes futures mais n'en exécutent qu'un préfixe avant de replanifier. Au lieu d'ajouter des tokens ou des paramètres, la méthode répartit le budget fixe en deux chaînes au sein d'un unique « action expert » partagé : des références clairsemées de commandes lointaines et des cibles d'exécution denses. Les deux chaînes sont supervisées par les commandes issues des démonstrations et débruitées conjointement, à des positions temporelles physiques alignées. Une attention dirigée permet aux tokens d'exécution de lire les tokens de référence, dans le respect des contraintes de visibilité du modèle hôte. Les deux chaînes participent à l'inférence, mais seule la chaîne d'exécution pilote le robot. Sur le benchmark LIBERO, la méthode atteint 98,3 % de succès avec FastWAM et LeapBot-WA, contre 97,0 % et 97,3 % auparavant. En zero-shot sur LIBERO-Plus, les taux passent de 53,5 % à 70,4 % pour FastWAM et de 73,1 % à 77,3 % pour LeapBot-WA. RoboTwin et deux tâches en conditions réelles complètent l'évaluation. Pour les équipes qui travaillent sur les « world action models » (WAM), ces modèles qui combinent prédiction du monde et génération d'actions, le résultat suggère qu'un gain notable de robustesse peut venir de l'organisation des tokens plutôt que de la taille du modèle. Le bénéfice est surtout visible hors distribution : +16,9 points sur LIBERO-Plus pour FastWAM, contre +1,3 point sur LIBERO standard, benchmark déjà proche de la saturation. Ce point compte pour les intégrateurs, car la généralisation à des perturbations non vues pèse davantage sur la fiabilité en production que le score sur un banc d'essai connu. Le coût d'intégration paraît faible, la méthode n'ajoutant ni tokens ni paramètres, ce qui la rend potentiellement greffable sur d'autres architectures. Des réserves s'imposent toutefois : les auteurs reconnaissent des comparaisons à graine d'entraînement unique, ce qui limite la portée statistique des écarts, et seules deux tâches réelles sont rapportées, sans chiffres de succès, de temps de cycle ni de taux d'échec détaillés dans le résumé. Le gain bien plus faible sur LeapBot-WA (+4,2 points sur LIBERO-Plus) indique aussi que l'effet dépend de la base de départ. Ces travaux s'inscrivent dans la course aux politiques VLA et WAM, où des modèles comme Pi-0, GR00T ou Helix cherchent à améliorer la précision et la réactivité du pilotage par chunks d'actions. La tension entre horizon de prédiction long, qui donne de la cohérence, et exécution dense, qui donne de la précision, est un problème ouvert que JAC aborde sans modifier le coût d'inférence nominal. Il s'agit d'une publication académique, sans produit commercialisé ni déploiement industriel annoncé. Les prochaines étapes à surveiller sont la réplication avec plusieurs graines, l'évaluation sur davantage de tâches réelles et l'adoption éventuelle de ce schéma par d'autres modèles d'action en diffusion ou en flow matching.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source