MobiGuide : récupération en ligne guidée par le vocabulaire pour la manipulation mobile

MobiGuide, un modèle VLA (vision-langage-action) génératif pour la manipulation mobile, est décrit dans une prépublication arXiv (2604.01567, version 2). Le travail s'attaque à un problème précis: conserver plusieurs modes d'action plausibles tout en restant réactif à l'exécution. Saisir une bouteille dans une scène encombrée peut se faire par plusieurs plans de mouvement base-bras physiquement valides. Les politiques VLA déterministes entraînées par régression L1 sont efficaces mais moyennent les modes valides et peuvent produire des actions physiquement invalides. Les politiques génératives par diffusion représentent mieux les distributions multimodales, mais leurs propositions, générées depuis du bruit pur, sont peu contraintes, et l'échantillonnage itératif alourdit l'inférence. MobiGuide construit à partir de démonstrations expertes un vocabulaire structuré de trajectoires, qui encode des motifs de mouvement du corps entier. Selon l'observation courante et l'instruction, le modèle raffine localement ces trajectoires de référence en propositions adaptées au contexte, puis sélectionne la plus appropriée. Un module léger de correction résiduelle applique en plus des ajustements à haute fréquence, pas à pas, pendant l'exécution.

L'intérêt tient à l'endroit où le travail place la contrainte. Plutôt que de partir du bruit, il ancre la génération sur des modes experts réalistes, ce qui vise à garder la multimodalité sans payer le coût d'un débruitage long. Le module résiduel traite un défaut connu de l'action chunking: exécuter des séquences d'actions en boucle partiellement ouverte réduit le coût d'inférence, mais laisse de petits écarts s'accumuler en dérive. Pour un intégrateur, cette combinaison répond à deux exigences de terrain, la robustesse aux perturbations et la latence faible. Les auteurs annoncent de meilleurs taux de succès et une meilleure stabilité sous perturbations d'exécution, avec une inférence à faible latence. Le résumé ne donne toutefois aucun chiffre, ni taux de succès, ni latence, ni nombre de tâches. Il ne précise pas non plus si les essais ont eu lieu en simulation ou sur robot réel, donc l'écart entre démonstration et déploiement reste à vérifier dans l'article complet.

Cette approche s'inscrit dans une tendance qui rapproche les politiques robotiques des méthodes de planification par vocabulaire de trajectoires, déjà utilisées en conduite autonome. Elle répond aux limites des deux familles dominantes: la régression déterministe, qui moyenne les modes, et la diffusion, plus expressive mais plus coûteuse. La manipulation mobile, qui coordonne base et bras, aggrave ces limites, car l'espace d'actions est plus large et les erreurs se cumulent. Il s'agit d'un travail académique, sans produit, sans pilote industriel ni calendrier annoncé. Son poids dépendra des benchmarks publiés, de la comparaison avec les VLA généralistes et diffusion actuels, et d'une validation sur plateformes physiques.