Robot humanoïde de vente au détail : combler l'écart labo-magasin avec un cadre VLA post-entraînement efficace en données

Une équipe de recherche présente DEED (Data-Efficient Post-Training and Experience-Driven Learning), un système de post-entraînement conçu pour combler l'écart entre les performances en laboratoire et le fonctionnement fiable en conditions réelles des robots humanoïdes pilotés par modèles vision-langage-action (VLA). Le framework a été testé sur une tâche concrète de réapprovisionnement de paquets de chips en supermarché, avec un robot humanoïde Unitree G1-Edu piloté par le modèle fondation GR00T N1.6. DEED repose sur trois composants : un pipeline de post-entraînement économe en données, combinant alignement de la fréquence de contrôle, curation des données, mise en évidence visuelle des zones pertinentes pour la tâche et réduction de la dépendance au VLA ; une méthode d'affinage par l'expérience en conditions réelles, adaptée du système RECAP via un préfixe d'avantage textuel et une fonction de valeur vision-langage ; et un outil d'analyse dans l'espace latent permettant d'étudier les comportements en et hors distribution. Le tout fonctionne avec un seul GPU.

L'apport principal de ces travaux est de démontrer que combler l'écart entre démonstration en labo et déploiement en magasin relève avant tout d'un problème d'intégration système, et non d'un problème d'architecture de modèle. Une politique qui échoue avec un simple fine-tuning naïf devient opérationnelle grâce à une conception soignée des données et un post-entraînement ciblé, sans changer de modèle de base. Pour les intégrateurs et décideurs du secteur robotique, ce résultat pèse dans le débat sur la maturité réelle des VLA à grande échelle : il suggère que la robustesse face aux erreurs d'exécution et aux variations d'environnement s'obtient par ingénierie de données plutôt que par des architectures toujours plus lourdes.

Le travail s'inscrit dans la vague actuelle des modèles fondation pour humanoïdes commerciaux, dans la lignée de GR00T N2 ou Pi-0, déployés par des acteurs comme Figure ou Tesla avec Optimus. En s'appuyant sur RECAP pour l'apprentissage par l'expérience, DEED propose une méthode reproductible avec des ressources de calcul limitées, potentiellement transposable à d'autres tâches de manutention en environnement commercial ou logistique.