Robots humanoïdes entraînés sur 1 million d'heures de vidéos humaines : jusqu'à 90 % de réussite

HumanNet : passage à l'échelle de l'apprentissage vidéo centré sur l'humain à un million d'heures

Des chercheurs ont publié HumanNet, un corpus vidéo d'un million d'heures centré sur les activités humaines, conçu pour alimenter l'apprentissage de l'intelligence embodied à grande échelle. Disponible sous forme de preprint arXiv (2605.06747), le dataset couvre des perspectives à la fois à la première et à la troisième personne, et capture des interactions fines avec des objets, l'utilisation d'outils, et des comportements de longue durée dans des environnements réels variés. Au-delà de la vidéo brute, HumanNet fournit des annotations centrées sur l'interaction : légendes textuelles, descriptions de mouvement, et signaux liés aux mains et au corps. L'expérience clé de validation compare deux configurations d'entraînement continu à partir du modèle Qwen VLM : 1 000 heures de vidéo égocentrique tirées de HumanNet surpassent 100 heures de données issues de robots réels (Magic Cobot) sur un ensemble fixe de données de validation. Ce résultat, s'il se confirme à plus grande échelle, remet en cause un dogme du secteur : l'idée que les modèles VLA (Vision-Language-Action) nécessitent impérativement des données collectées sur des robots physiques pour progresser. La collecte de données robot est coûteuse, lente, et difficile à diversifier, ce qui constitue l'un des principaux goulots d'étranglement dans la course aux systèmes généralistes. HumanNet propose un chemin alternatif : exploiter la vidéo humaine comme substitut scalable et économique, en transférant des représentations motrices et interactives vers les systèmes robotiques. Il faut toutefois nuancer l'ambition de la démonstration : la validation présentée se limite à une seule ablation contrôlée sur un sous-ensemble de tâches, et aucun résultat en déploiement réel sur des robots n'est encore disponible. Ce projet s'inscrit dans une compétition plus large pour constituer des datasets à grande échelle pour l'embodied AI. Des corpus comme Ego4D (Meta, 3 500 heures), Epic-Kitchens ou Something-Something ont posé des jalons, mais aucun n'atteignait le million d'heures ni ne proposait ce niveau d'annotation motion-aware. Côté modèles, les concurrents directs incluent pi-0 de Physical Intelligence, OpenVLA, RT-2 de Google DeepMind et Helix de Figure AI, tous confrontés au même problème de rareté des données robot. HumanNet ne s'accompagne d'aucune annonce commerciale ni de timeline de déploiement industriel ; il s'agit pour l'instant d'une contribution de recherche qui devra être validée dans des contextes robotiques réels avant de modifier les pratiques des intégrateurs.

💬 1000 heures de vidéo humaine qui surpassent 100 heures de données robot réel, c'est le genre de résultat qui fait mal au dogme du secteur. Si ça se confirme, ça change tout sur le goulot d'étranglement de la robotique généraliste : la collecte de données robot est un cauchemar logistique et financier, et là on parle de le contourner avec du YouTube. Bon, une ablation sur un sous-ensemble de tâches, c'est pas encore la preuve en déploiement, mais l'idée est là.

HuRo : robotiser des vidéos humaines pour un pré-entraînement VLA à grande échelle

Publié le 10 septembre 2026 sur arXiv (2609.10706), HuRo est un pipeline qui transforme des vidéos humaines hétérogènes en données d'entraînement pour des politiques vision-langage-action (VLA), en réalignant observations et trajectoires d'action sur la morphologie d'un robot et en reconstruisant les signaux intermédiaires absents des vidéos brutes. À partir de cinq sources de vidéos humaines, les auteurs ont constitué le jeu de données HuRo : environ 630 000 épisodes robotisés et 142 millions de frames traitées. Sur quatre tâches réelles de manipulation, ce pré-entraînement fait passer le taux de réussite global de 51,5% à 80,3% avec l'augmentation du volume de données, et le taux de réussite hors distribution, sous des variations spatiales et visuelles inédites, de 34,9% à 72,2%. Code et données sont publiés sur le site du projet. Le résultat cible un goulot d'étranglement connu du secteur : la collecte de données réelles par téléopération coûte cher et ne passe pas à l'échelle, alors que les vidéos humaines abondent sur internet. En montrant que la robotisation systématique de ces vidéos améliore les performances de façon quasi monotone avec le volume, HuRo apporte une preuve empirique qu'une loi d'échelle s'applique aussi à ce type de pré-entraînement, un point jusqu'ici débattu dans la communauté VLA. Le gain de robustesse hors distribution, plus marqué que le gain en distribution, répond directement à la critique récurrente faite aux démonstrations de robots humanoïdes, qui échouent souvent dès que l'éclairage ou la position d'un objet change. Les auteurs montrent aussi qu'un pré-entraînement de bout en bout avec des actions retargetées surpasse un simple transfert visuel, nuançant l'idée que la vision seule suffirait à combler l'écart d'incarnation entre humain et robot. Le problème n'est pas nouveau : les approches précédentes robotisaient des vidéos humaines soit dans des contextes déjà appariés à une tâche précise, soit en traitant séparément, à grande échelle, l'alignement des observations et celui des actions. HuRo comble ce vide en unifiant robotisation visuelle et retargeting d'action sur cinq sources vidéo hétérogènes, s'inscrivant dans un mouvement plus large de la recherche en robotique visant à réduire la dépendance des politiques VLA à la téléopération réelle. Aucun partenariat industriel ni déploiement sur du matériel commercial n'est mentionné à ce stade : il s'agit d'un travail de recherche publié en preprint, code et données ouverts, sans calendrier annoncé de transfert vers un produit ou un robot physique précis.

Vidéo : un nouveau modèle d'IA permet aux robots humanoïdes de réussir 90 % des missions complexes

Flexion Robotics a dévoilé Reflect v1.0, une plateforme d'intelligence robotique destinée aux humanoïdes, capable d'exécuter des missions longues et multi-étapes sans intervention humaine pendant l'exécution. Pour illustrer les capacités du système, la société a présenté une démonstration en environnement de bureau : un robot humanoïde reçoit une instruction en langage naturel, récupère un colis de snacks livré au bâtiment, emprunte escaliers et ascenseur, déballe le carton à l'aide d'outils, puis range les articles dans un tiroir désigné. Selon Flexion, l'intégration du reinforcement learning sur plusieurs couches du système a fait passer le taux de complétion end-to-end d'une mission interne à 16 étapes de 38 % à 90 %, contre un modèle supervisé seul. La plateforme gère des charges comprises entre 100 grammes et 3,5 kilogrammes, et le robot est capable de repositionner un colis via des mouvements coordonnés du corps entier, d'opérer un ascenseur, de traverser des escaliers répétés et de contourner des obstacles dynamiques tout en portant des objets. Ce résultat est significatif parce qu'il s'attaque directement au problème de l'autonomie longue durée, considéré comme l'un des verrous majeurs de la robotique humanoïde commerciale. Dans une séquence de tâches, l'accumulation d'erreurs de navigation, de manipulation ou de perception finit statistiquement par faire échouer le système : c'est le "long-horizon failure mode" que les industriels connaissent bien. Reflect v1.0 le traite via un modèle vision-langage (VLM) personnalisé qui fait office de contrôleur de mission, surveille en continu l'avancement, raisonne sur l'environnement et re-planifie à la demande. La couche de mouvement combine des vision-language-action models (VLA) entraînés sur données réelles et des primitives issues du reinforcement learning, tandis qu'un contrôleur corps-entier temps réel assure équilibre et précision des gestes. Pour un COO industriel ou un intégrateur, le signal concret est le suivant : on passe de 38 % à 90 % de succès sur une mission à 16 étapes grâce au RL seul, ce qui suggère que le sim-to-real gap et la fiabilité multi-tâche sont partiellement solubles sans refonte matérielle. Flexion Robotics est une startup relativement récente dans l'écosystème humanoïde, qui se positionne comme fournisseur de couche logicielle agnostique au hardware, à l'image de ce que Apptronik ou 1X cherchent à faire sur leurs propres plateformes. L'article mentionne également ShengShu Technology et son modèle Motubrain, un "cerveau général" combinant perception, raisonnement et action, qui vise le même marché. La concurrence directe inclut Figure (Helix), Physical Intelligence (pi0), Boston Dynamics (Atlas Gen 2) et Tesla (Optimus Gen 3), tous engagés dans une course à l'autonomie longue horizon. Flexion reconnaît que Reflect v1.0 reste limité à des environnements définis, ce qui tempère le chiffre de 90 % : il s'agit d'une évaluation interne sur mission contrôlée, pas d'un déploiement industriel validé en conditions réelles. Les prochaines étapes annoncées concernent l'extension à des environnements moins structurés et la capacité à recevoir des instructions modifiées en cours de mission, deux marqueurs qui, s'ils sont confirmés en production, rapprocheraient Reflect d'une utilisabilité opérationnelle sérieuse.

BeingBeyond : Being-M0.7 s'appuie sur 10 000 heures de vidéos humaines pour apprendre aux humanoïdes à marcher et à saisir

BeingBeyond, la startup d'IA embarquée fondée par Lu Zongqing, professeur associé titulaire à l'Université de Pékin, a publié Being-M0.7, un modèle monde-action latent qui permet à un robot humanoïde de marcher et de manipuler des objets simultanément. Le modèle est préentraîné sur plus de 10 000 heures de vidéo égocentrique humaine brute et de données de mouvement, avant d'avoir vu la moindre trajectoire robot. Le postulat de l'équipe est que les démonstrations robotiques de loco-manipulation corps entier sont rares et coûteuses, alors que la vidéo à la première personne et la capture de mouvement abondent. Le pipeline compte trois étapes: le préentraînement projette vidéo et mouvement dans un espace partagé et prédit conjointement les états visuels futurs et le mouvement du corps; l'entraînement intermédiaire adapte cet a priori à la caméra et à la morphologie du robot; le post-entraînement ajoute un expert d'action distinct qui lit les prédictions du modèle gelé et produit des commandes corps entier. Le modèle travaille sur des caractéristiques d'image DINO gelées plutôt que sur des pixels, et humains comme robots partagent une représentation de mouvement compacte à 22 dimensions, ancrée sur la tête. Les modalités manquantes sont remplacées par des embeddings apprenables. Les données viennent d'Ego4D, Nymeria, HumanML3D, de travaux antérieurs de BeingBeyond et de données achetées. Sur le benchmark de simulation SIMPLE (six tâches humanoïdes, trois niveaux de difficulté), Being-M0.7 réussit 128 essais sur 180, soit 71,1 %, le meilleur score des références testées: 64,4 % pour Ψ0, 52,8 % pour π0.5 et 33,9 % pour GR00T-N1.6. Ψ0 fait toutefois mieux sur une tâche et π0.5 sur deux autres. Sans préentraînement sur données humaines, le score tombe à 48,9 %. Sur un Unitree G1 doté de mains dextres, le modèle réussit 13 essais sur 15 sur trois tâches de marche et saisie, soit 86,7 %, exactement comme GR00T-N1.6, devant π0.5 (7 sur 15) et Ψ0 (3 sur 15). Sur robot réel, il s'agit donc d'une égalité et non d'une avance. L'intérêt tient à la méthode plus qu'au score. L'ablation (de 71,1 % à 48,9 %) suggère que la vidéo humaine peut compenser une partie du déficit de données robot pour la loco-manipulation, un des problèmes les plus difficiles de l'humanoïde. Pour les intégrateurs, le signal reste modéré: échantillon de 15 essais par robot, tâches à horizon court, et un plafond de précision fixé par le contrôleur corps entier qui a servi à collecter les démonstrations. L'écart entre simulation et réel, où l'avantage disparaît, rappelle qu'aucun déploiement industriel n'est annoncé. Le contexte est celui d'une course aux modèles monde-action entraînés sur données humaines. BeingBeyond a déjà publié Being-H0.7, un modèle monde embarqué entraîné sur 200 000 heures de vidéo humaine, et se mesure à NVIDIA (GR00T), Physical Intelligence (π0.5) et à Ψ0. Robotera a de son côté annoncé son VPP2, qui affiche 58,5 % en zero-shot sur de vrais bras ALOHA. Les prochaines étapes à surveiller sont des tests sur horizons longs et des résultats répliqués sur plusieurs plateformes, au-delà du seul G1.