Identifier l'habitude, la physique et la nuisance dans les modèles du monde des robots

Une équipe de recherche propose, dans un article publié sur arXiv (référence 2609.09210v1), une méthode pour décomposer les données de démonstrations téléopérées utilisées pour entraîner les modèles du monde en robotique. Le constat de départ est que ces démonstrations, collectées par téléopération, apparaissent multimodales même quand la dynamique physique sous-jacente est quasi déterministe une fois l'action connue. Les auteurs identifient trois facteurs mélangés dans ce bruit apparent : l'habitude de l'opérateur humain dans le choix des actions, la physique partagée du système, et le "nuisance" lié à l'observation (apparence, angle de caméra). Ils formalisent cette décomposition via un modèle causal structurel (a=g(h,z,u), z'=f(z,a), o=r(z,c)) et le valident par des interventions ciblées : remplacer ou mélanger les actions à état fixe dégrade fortement l'erreur de prédiction de l'état suivant, alors que des changements d'apparence ou de caméra ne devraient pas l'affecter. La règle d'adaptation qui en découle consiste à figer la partie du modèle qui lit la physique partagée et à ne mettre à jour qu'une fine interface. Testée sur trois bancs d'essai de manipulation robotique, StackCube, DROID et RH20T, cette approche améliore le transfert en few-shot par rapport à un entraînement complet from scratch, tout en conservant une dynamique plus propre face à des données d'adaptation corrompues.

Cette contribution s'adresse directement à un point de friction connu des modèles vision-langage-action (VLA) et des world models robotiques : la difficulté à distinguer, dans des vidéos de démonstration, ce qui relève du vrai comportement physique de ce qui n'est qu'artefact de capture ou tic de l'opérateur humain. En proposant une méthode pour isoler ces facteurs sans tout réentraîner, les auteurs offrent une piste concrète pour réduire le coût d'adaptation des modèles de manipulation à de nouveaux environnements ou capteurs, un enjeu central pour les intégrateurs qui cherchent à déployer l'apprentissage par imitation à moindre coût de données.

Le travail s'inscrit dans la lignée des recherches sur les architectures VLA et les world models pour la manipulation robotique, où les gains rapportés par StackCube, DROID et RH20T servent de référence communautaire pour comparer les méthodes de transfert. Les auteurs prennent soin de délimiter leur contribution : ils ne prétendent pas que les actions latentes équivalent à l'habitude de l'opérateur, ni ne visent les benchmarks de génération vidéo à grande échelle, signalant une portée volontairement méthodologique plutôt qu'un système de production prêt à déployer.