Auditer les écarts entre instructions et trajectoires dans les démonstrations robotiques multimodales
Des chercheurs décrivent, dans un article publié sur arXiv (2608.07895), une méthode d'audit ciblant un défaut discret des jeux de démonstrations robotiques utilisés pour entraîner les politiques vision-langage-action (VLA) : les Instruction-Trajectory Mismatches (ITM), des trajectoires physiquement correctes mais associées à la mauvaise instruction textuelle. Contrairement aux trajectoires ratées, ces erreurs paraissent plausibles et corrompent l'association langage-comportement apprise par le modèle. Les auteurs proposent Multimodal Probabilistic Fusion (MMPF), un cadre d'audit sans réentraînement qui traite vision, langage et trajectoire comme des experts distincts, estime une distribution de labels par accord de voisinage local et similarité à des prototypes globaux, puis fusionne ces signaux par pondération d'entropie prédictive dans un produit d'experts. Testé sur les benchmarks LIBERO avec mismatches injectés et sur des données bruitées de vrais robots, MMPF obtient la meilleure précision de détection et de correction des labels parmi les méthodes comparées. Pour l'industrie des modèles VLA généralistes, ce travail souligne que la qualité de l'étiquetage linguistique des démonstrations pèse autant que le volume de données ou l'architecture du réseau. Les pipelines de collecte à grande échelle, par téléopération ou vidéo humaine, produisent souvent des instructions mal associées aux trajectoires, un problème moins visible que les échecs physiques mais tout aussi corrosif pour l'apprentissage. Les auteurs montrent que l'audit améliore surtout les politiques dans les tâches où le langage est nécessaire pour distinguer entre plusieurs comportements possibles, un signal utile pour les laboratoires qui industrialisent la préparation de données d'entraînement robotique. Cette approche s'inscrit dans la montée des efforts de curation de données pour l'apprentissage robotique à grande échelle, à mesure que les politiques VLA se généralisent au-delà des démonstrations parfaitement contrôlées. Elle se distingue des méthodes de filtrage post-hoc classiques, qui repèrent des rollouts physiquement incorrects, en ciblant des erreurs sémantiques invisibles à l'œil nu. Les expériences sur robot réel mettent en évidence un arbitrage entre deux stratégies correctives : supprimer les démonstrations suspectes ou les réétiqueter automatiquement. Chacune modifie différemment la performance finale de la politique, ouvrant la voie à une intégration de ce type d'audit dans les pipelines de préparation de données, avant même l'entraînement des modèles.
