Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Xiaomi-Robotics-1 : passage à l'échelle des modèles vision-langage-action avec plus de 100 000 heures de trajectoires réelles
IA physiquearXiv cs.RO 

Xiaomi-Robotics-1 : passage à l'échelle des modèles vision-langage-action avec plus de 100 000 heures de trajectoires réelles

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Xiaomi a dévoilé Xiaomi-Robotics-1, un modèle vision-langage-action (VLA) fondation entraîné sur plus de 100 000 heures de trajectoires de manipulation collectées en conditions réelles via des dispositifs UMI (Universal Manipulation Interface). L'entraînement se déroule en deux temps : une phase de pré-entraînement qui dote le modèle de capacités générales de génération d'actions, appuyée sur un pipeline d'auto-annotation générant des descriptions en langage naturel des transitions d'état de la scène, puis une phase de post-entraînement qui aligne ces capacités sur des instructions impératives et sur des embodiments robotiques spécifiques. Sur les benchmarks de simulation, le modèle établit un nouvel état de l'art avec 57,6% de taux de réussite sur RoboCasa365 (contre 46,6% précédemment) et un score moyen de 20,07 sur RoboDojo (contre 13,07 pour le meilleur résultat antérieur). Xiaomi annonce la publication future du code et des poids du modèle.

L'intérêt principal tient au comportement de scaling observé : les performances progressent de façon cohérente avec la taille des données et du modèle en pré-entraînement, et ce gain se transfère directement au post-entraînement, avec de meilleures performances hors distribution sur robot réel. C'est un signal notable pour l'industrie, qui cherche à valider l'hypothèse que les modèles VLA généralistes, entraînés à grande échelle sur données réelles plutôt que simulées, peuvent servir de politique de base robuste, adaptable à des tâches dextres complexes avec peu de données de fine-tuning. Pour les intégrateurs et décideurs robotique, cela renforce la piste des foundation models comme alternative viable aux pipelines spécialisés tâche par tâche.

Ce travail s'inscrit dans une compétition intense entre grands acteurs sur les modèles VLA fondation, aux côtés de Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. L'usage de dispositifs UMI, portables et peu coûteux pour collecter des données de manipulation sans robot physique, s'inscrit dans une tendance à contourner le goulot d'étranglement de la téléopération classique. Reste à voir si la publication effective du code et des checkpoints, promise mais non encore livrée, confirmera la reproductibilité des résultats annoncés.

Dans nos dossiers

IA physique & VLANVIDIA GR00TPhysical Intelligence — π0

À lire aussi

PointACT : des modèles vision-langage-action (VLA) avec interaction multi-échelle point-action
1arXiv cs.RO 

PointACT : des modèles vision-langage-action (VLA) avec interaction multi-échelle point-action

Une équipe de chercheurs a soumis en mai 2026 sur arXiv (2605.21414) PointACT, un modèle VLA (Vision-Language-Action) dual-système qui intègre des représentations 3D par nuages de points directement dans le processus de décodage d'actions. Contrairement aux VLAs existants quasi-exclusivement fondés sur des représentations visuelles 2D, PointACT couple un backbone vision-langage préentraîné à un mécanisme d'interaction multi-échelle point-action utilisant une attention fenêtrée bottleneck. Évalué sur les benchmarks LIBERO et RLBench, le modèle améliore le taux de réussite de 10 points de pourcentage sur la suite RLBench-10Tasks par rapport aux VLAs de l'état de l'art. Les gains sont encore plus importants lorsque le backbone est gelé et que l'expert d'action est entraîné from scratch, ce qui suggère une forte modularité de l'architecture. Ce résultat valide une hypothèse longtemps débattue : coupler des représentations géométriques 3D hiérarchiques avec des représentations sémantiques 2D préentraînées est essentiel pour un contrôle robot spatialement ancré. Pour les intégrateurs et les décideurs industriels, cela pointe vers un angle mort structurel des VLAs génériques actuels (OpenVLA, pi-0, GR00T N2) sur les tâches de manipulation de précision : saisie d'objets minces, assemblage, tri serré. La progression de +10% sur RLBench-10Tasks est significative dans un domaine où les gains se mesurent souvent en points uniques. Les études d'ablation confirment que c'est le couplage serré des deux modalités, et non le simple ajout d'un nuage de points, qui génère la performance. Les VLAs à backbone vision-langage dominent la manipulation généraliste depuis 2023, avec OpenVLA (UC Berkeley), pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA) comme références sectorielles. Tous partagent la même limitation héritée : une représentation 2D du monde. PointACT s'inscrit dans un courant moins médiatisé qui cherche à injecter de la géométrie 3D dans ces pipelines, aux côtés de travaux comme RoboPoint. L'étape critique restante est de valider ces architectures hors simulation, sur des capteurs bruités réels (RGB-D, LiDAR), pour confirmer si les gains tiennent face au gap sim-to-real. Ce preprint n'a pas encore été évalué par les pairs.

IA physiqueOpinion
1 source
AgiBot dévoile GE-Act 2.0, son modèle monde-action natif avec un passage à l'échelle des données x100
2Pandaily 

AgiBot dévoile GE-Act 2.0, son modèle monde-action natif avec un passage à l'échelle des données x100

Paragraphe 1: AgiBot a présenté GE-Act 2.0, un modèle "world-action" entraîné depuis une initialisation aléatoire sur des données de manipulation robotique, plutôt qu'adapté d'un générateur vidéo préexistant, en entraînant conjointement représentation visuelle, prédiction du futur et prédiction d'action. La société en fait le premier test systématique de la mise à l'échelle des données: le volume d'entraînement passe de 300 à 30 000 heures, sans réglage fin par tâche ni démonstration au moment de l'évaluation. Sur un protocole zéro-shot, avec scènes, éclairages et objets inédits, couvrant 100 tâches élémentaires et environ 20 familles de compétences sur deux robots, le taux de réussite grimpe de 17,1% à 44,1% sur la plateforme G1-OP et de 13,4% à 31,1% sur G2-90D, avec des progrès encore mesurables entre les paliers de 5 000 et 30 000 heures. Le nombre de tâches réussies au moins une fois passe de 39 à 76 sur G1-OP et de 24 à 72 sur G2-90D; des gestes fins comme plier une serviette, empiler des gobelets en papier, reposer un capuchon de stylo ou arranger des fleurs dans des scènes inédites n'apparaissent de façon fiable qu'au plus haut palier de données. G2-90D, qui ne représente que 2% des données contre plus de la moitié pour G1-OP, gagne malgré tout 17,7 points grâce au transfert entre robots. Un encodeur CoAE compresse chaque image de 256 par 384 pixels en 24 tokens, un planificateur visuel prédit un segment de futur et un modèle de dynamique inverse le traduit en actions, pour un temps de cycle d'environ 104 millisecondes sur une RTX 5090. Après réglage fin, AgiBot revendique 60,52% sur les tests hors distribution de RoboTwin et 0,770 sur le suivi d'instructions de GenieSim, devant plusieurs modèles comparés; les documents sont publiés sur ge-act-v2.github.io. Paragraphe 2: Ces résultats visent le débat sur la généralisation des modèles VLA (vision-language-action) et l'écart entre démonstration et déploiement réel: une architecture native, plutôt qu'un empilement de modules pré-entraînés séparément, passerait mieux à l'échelle des données. Pour les intégrateurs et décideurs industriels, l'enjeu est la robustesse hors distribution, qui réduit le coût de reconfiguration site par site, frein majeur à l'adoption des humanoïdes en usine ou en logistique. L'apparition tardive des compétences fines suggère que la course entre AgiBot, Figure, 1X ou Physical Intelligence se joue autant sur le volume et la diversité des données de téléopération que sur l'architecture du modèle. Le transfert observé entre G1-OP et G2-90D appuie l'idée qu'un apprentissage partagé entre robots différents peut compenser la rareté de données propre à chaque plateforme. Ces chiffres restent toutefois auto-publiés par AgiBot, sans validation indépendante ni comparaison en conditions réelles avec des modèles concurrents comme GR00T N2 de NVIDIA, Pi-0 de Physical Intelligence ou Helix de Figure. Paragraphe 3: GE-Act 2.0 s'inscrit dans la pile logicielle GE d'AgiBot, où GE-Sim gère l'évaluation de politiques et la construction d'environnements simulés, tandis que GE-Act convertit les futurs prédits en mouvements robotiques. La société chinoise, déjà connue pour ses humanoïdes commerciaux et ses jeux de données de téléopération à grande échelle, présente cette publication comme une étape de recherche plutôt qu'un produit livré: les documents techniques sont diffusés sur une simple page de projet, sans partenaire industriel, site pilote ni calendrier de commercialisation annoncés pour ce modèle précis. La comparaison revendiquée face à RoboTwin et GenieSim, deux bancs d'essai utilisés par les laboratoires chinois et occidentaux, vise à positionner AgiBot dans une compétition où les vidéos soigneusement sélectionnées restent souvent difficiles à distinguer d'une capacité réellement généralisable en production.

IA physiqueOpinion
1 source
Au-delà du passage à l'échelle des données : le pré-entraînement continu centré sur la représentation pour les modèles vision-langage-action
3arXiv cs.RO 

Au-delà du passage à l'échelle des données : le pré-entraînement continu centré sur la représentation pour les modèles vision-langage-action

Des chercheurs ont publie sur arXiv le modèle VLAct, un système vision-langage-action (VLA) fonde sur un pré-entrainement continu qui privilégié la qualité de représentation plutôt que le seul volume de données robotiques. Le backbone VLM généraliste est étendu sur des trajectoires multi-robots hétérogènes, en préservant le prior du VLM et en unifiant partiellement les actions entre morphologies avant un fine-tuning par tache. Sur LIBERO-Plus et RoboTwin 2.0, VLAct devance les systèmes industriels ABot-M0 et LingBot-VLA avec 82,6% et 92,5% de réussite, et se classe sixième sur RoboDojo devant toutes les entrées "world-action model". Sur la morphologie humanoïde inédite RoboCasa-GR1, il bat le GR00T-N1.6 entraine sur 100% des données en n'en utilisant que 20%, le tout avec des données open-source et seulement 16 GPU d'entrainement. Ce résultat nuance l'hypothèse dominante selon laquelle la performance des VLA dépend surtout du volume de trajectoires collectées, sur le modèle du scaling des grands modèles de langage. En rivalisant avec des systèmes industriels grâce a seulement 16 GPU et des données publiques, les auteurs montrent que la qualité du transfert entre morphologies pèse davantage que la taille brute des données, un axe accessible a des équipes aux moyens plus modestes. Le résultat sur RoboCasa-GR1, ou une morphologie jamais vue est généralisée avec un cinquième des données habituelles, s'attaque directement au frein du transfert cross-embodiment. Ces résultats restent toutefois obtenus sur des bancs d'essai simules, sans déploiement industriel réel documente: une contribution de recherche, pas un produit commercialise. Les références choisies, les systèmes chinois ABot-M0 et LingBot-VLA et le GR00T-N1.6 de NVIDIA, situent VLAct dans une compétition dense entre modèles VLA généralistes, aux cotes d'acteurs comme Physical Intelligence (Pi-0) ou Figure AI (Helix), absents toutefois des baselines testées ici. Le modèle se positionne comme une alternative sobre en calcul face a la course a l'échelle des données menée par les grands laboratoires. Publie pour l'instant en preprint, l'article ne mentionne ni partenariat industriel ni calendrier de déploiement; les étapes attendues restent la revue par les pairs et, le cas échéant, la publication du code et des poids, les données d'entrainement étant déjà open-source.

IA physiqueOpinion
1 source
VOTE : optimisation vision-langage-action par vote d'ensemble de trajectoires
4arXiv cs.RO 

VOTE : optimisation vision-langage-action par vote d'ensemble de trajectoires

Le papier VOTE ("Vision-Language-Action Optimization with Trajectory Ensemble Voting"), publié sur arXiv sous la référence 2507.05116, propose une nouvelle méthode d'entraînement pour les modèles Vision-Language-Action (VLA) utilisés en robotique manipulatrice. Les auteurs, dont le code est disponible sur GitHub (LukeLIN-web/VOTE), s'attaquent à deux limites des VLA actuels : la génération de tokens d'action très nombreux, qui alourdit la latence d'inférence et le coût d'entraînement, et une exploitation insuffisante des actions déjà générées, qui dégrade les performances. Leur framework finetune les modèles pour produire beaucoup moins de tokens d'action, en parallélisant fortement le décodage, puis combine les prédictions courantes et passées via une stratégie de vote d'ensemble au moment de l'inférence. Résultat annoncé : des taux de réussite supérieurs à l'état de l'art, avec une inférence 39 fois plus rapide qu'OpenVLA et un débit de 46 Hz sur plateformes embarquées. Ce gain de vitesse cible directement le principal frein au déploiement réel des VLA : leur latence, souvent incompatible avec un contrôle robotique en temps réel sur du matériel embarqué à ressources limitées. Si les chiffres se confirment en dehors des benchmarks propriétaires des auteurs, cela renforcerait l'idée qu'on peut réduire drastiquement la latence sans changer d'architecture ni ajouter de puissance de calcul, simplement en repensant le nombre de tokens générés et leur exploitation post-inférence. C'est un argument concret pour les intégrateurs qui cherchent à faire tourner des politiques VLA sur des bras robotiques ou plateformes mobiles sans GPU serveur. Le travail s'inscrit dans une course plus large à l'efficacité des VLA, où OpenVLA sert de référence open source largement citée, aux côtés d'approches comme Pi-0 (Physical Intelligence), GR00T (NVIDIA) ou Helix (Figure), toutes confrontées au même compromis entre richesse de représentation et vitesse d'exécution. VOTE se positionne comme une optimisation d'inférence complémentaire à ces modèles plutôt qu'un concurrent direct, avec pour prochaine étape l'adoption par la communauté via son code publié.

IA physiqueActu
1 source