RecherchearXiv cs.RO 15 octobre 2026

λ₀ : passage à l'échelle des données égocentriques humaines en milieu ouvert pour la loco-manipulation des robots humanoïdes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie λ0 (lambda-zéro), un modèle fondation pour la loco-manipulation de robots humanoïdes (manipulation combinée à la locomotion, corps entier), accompagné de HumanVerse, un jeu de données de 500 heures de vidéo égocentrique. Ces vidéos, tournées en environnements ouverts, sont synchronisées avec les mouvements du corps et des mains. Le pipeline aligne les points de vue de caméra et l'apparence des bras humains sur ceux du robot. Il affine ensuite hors ligne les références de mouvement et les entrées du contrôleur, afin de réduire les erreurs de l'effecteur terminal tout en préservant la coordination du corps entier. Les auteurs l'ont validé par un transfert zero-shot sur un Unitree G1, sur des tâches de manipulation corps entier et de loco-manipulation longue portée, sans aucune démonstration robot sur la tâche cible. Pour λ0, ces données humaines alignées servent de supervision en mi-entraînement. Le modèle atteint 90,0 % de réussite sur le benchmark SIMPLE et 62,5 % sur l'ensemble des tâches réelles de loco-manipulation. Les auteurs précisent que plus on ajoute de données humaines corps entier, plus la progression sur les tâches aval s'améliore.

L'intérêt tient au coût de la donnée. Les démonstrations robot par téléopération restent chères et lentes à collecter, et ce goulot limite les modèles vision-langage-action (VLA) actuels. Les corpus humains égocentriques existants omettent souvent la locomotion et la posture, donc l'essentiel de ce qui distingue un humanoïde d'un bras monté sur une base fixe. Montrer qu'une supervision humaine corps entier se transfère, et que la performance croît avec le volume, plaide pour un régime de passage à l'échelle comparable à celui du texte et de l'image. Il faut toutefois lire les chiffres avec prudence. Un taux de 62,5 % en conditions réelles reste loin d'un seuil de déploiement industriel. Le détail des tâches, le nombre d'essais et la comparaison avec des modèles de référence ne figurent pas dans le résumé. Enfin, toutes les validations semblent reposer sur un seul robot, le G1, plateforme de recherche bon marché.

Ce travail s'inscrit dans une tendance déjà visible chez les grands acteurs. Les modèles comme Pi-0 de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure misent sur des mélanges de données robot, de simulation et de vidéo humaine, et Tesla vise lui aussi l'apprentissage à partir de vidéos pour Optimus. La spécificité de λ0 est de coupler explicitement perception égocentrique, posture et locomotion, puis de corriger les écarts de morphologie par un traitement hors ligne. Il s'agit ici d'une publication de recherche (arXiv), sans produit ni déploiement commercial annoncé. Les prochaines étapes à surveiller sont la publication éventuelle des données et du code, la reproduction sur d'autres morphologies que le G1, et la confrontation à des tâches industrielles longues.

Dans nos dossiers

Unitree IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Lois d'échelle des données en apprentissage par imitation pour la manipulation robotique

Une équipe de chercheurs publie sur arXiv (référence 2410.18647, désormais à sa quatrième révision) une étude empirique sur les lois d'échelle des données appliquées à l'apprentissage par imitation en manipulation robotique. Le protocole est rigoureux : plus de 40 000 démonstrations collectées dans de nombreux environnements et avec des objets variés, suivies de plus de 15 000 exécutions réelles sur robot, ce qui en fait l'une des études de scaling en manipulation les plus extensives à ce jour. Résultat central : la performance de généralisation d'une politique d'imitation suit une relation en loi de puissance avec le nombre d'environnements et d'objets d'entraînement. Surtout, quatre collecteurs de données travaillant une seule après-midi ont suffi pour obtenir environ 90 % de taux de réussite en déploiement zéro-shot sur des objets inconnus dans des environnements non vus, sur deux tâches distinctes. Ce que cette recherche établit, c'est que la diversité des environnements et des objets prime largement sur le volume brut de démonstrations : au-delà d'un certain seuil de démonstrations par environnement ou par objet, en ajouter davantage n'améliore plus la généralisation. Ce résultat remet en cause la stratégie intuitive qui consiste à multiplier les répétitions dans un même contexte, et oriente clairement la priorité vers la couverture de distribution plutôt que la densité d'annotation. Pour les intégrateurs industriels et les équipes robotique qui budgètent la collecte de données, l'implication est directe : mieux vaut disperser les efforts sur des scènes variées que d'accumuler des trajectoires dans un seul setup. Le fait d'atteindre 90 % de succès en zéro-shot sur des objets inédits est également un signal fort sur la maturité du paradigme VLA (Vision-Language-Action) en manipulation monomode. Ce travail s'inscrit dans le sillage des succès de scaling en NLP et vision par ordinateur, que des équipes comme DeepMind (RT-2), Physical Intelligence avec Pi-0, ou encore NVIDIA avec GR00T cherchent à transposer en robotique. L'étude reste purement académique pour l'instant, aucun déploiement industriel n'étant annoncé, et les tâches testées demeurent mono-bras sur périmètre contrôlé. Une limite à noter : les vidéos de démonstration et les protocoles d'évaluation exacts ne sont pas tous publics dans la version arXiv, ce qui rend difficile la comparaison directe avec d'autres benchmarks. Les prochaines étapes logiques seront d'étendre ces lois d'échelle aux politiques multi-tâches et de tester leur robustesse sur des plateformes humanoïdes comme Figure 03 ou Optimus Gen 3, où la distribution des états physiques est bien plus large.

RecherchePaper

1 source

2arXiv cs.RO

Ego4WAM : quels facteurs comptent pour le passage à l'échelle des données humaines égocentriques en apprentissage robotique ?

Des chercheurs publient Ego4WAM, une étude systématique sur l'usage des données humaines égocentriques (captées en vue subjective, typiquement par caméra portée) pour entraîner des robots. Le travail s'appuie sur un cadre unifié de « world-action model » (WAM), dont le backbone reste fixe afin d'isoler l'effet de chaque variable. Quatre facteurs sont disséqués : l'alignement entre démonstrations humaines et tâche robotique, la durée des données, la diversité des tâches, et le type de supervision (avec ou sans étiquettes d'action), ainsi que la façon d'employer ces données dans le pipeline d'entraînement. Les résultats sont validés en boucle fermée sur robots réels et sur RoboDojo, un environnement d'évaluation. Les auteurs ne communiquent dans le résumé ni volumes en heures, ni taux de réussite chiffrés, ni plateformes robotiques précises. Trois constats ressortent. Les démonstrations humaines alignées améliorent nettement la généralisation hors distribution et réduisent la quantité de données robot nécessaires sur la tâche cible. La durée et la diversité des tâches n'agissent pas sur les mêmes capacités en aval. Enfin, une supervision vidéo seule, sans action annotée, reste efficace et constitue une bonne base avant un entraînement vidéo-action. Il s'agit d'un preprint arXiv (v1), non relu par les pairs, et l'absence de chiffres dans le résumé impose de consulter l'article complet pour mesurer l'ampleur des gains. L'enjeu est pratique pour les équipes qui constituent des jeux de données de manipulation. Jusqu'ici, les travaux montraient surtout qu'ajouter des données humaines améliorait les performances, sans dire lesquelles comptaient. Ego4WAM suggère que la course aux heures de vidéo est un indicateur trop grossier : un volume modeste de démonstrations bien alignées avec la tâche peut valoir davantage qu'un grand corpus générique. Pour un intégrateur ou un industriel, cela oriente la collecte vers des captations ciblées, moins coûteuses que la téléopération robotique, et valide l'intérêt des vidéos sans actions, bien plus faciles à obtenir à grande échelle. Cela nuance aussi l'hypothèse d'un passage à l'échelle par simple accumulation. Le contexte est celui d'une ruée vers les données humaines : Ego4D a fourni un large corpus égocentrique, tandis que plusieurs acteurs de la robotique humanoïde et des modèles VLA (vision-langage-action) misent sur la capture humaine pour contourner le coût de la téléopération. Les modèles du monde orientés action prolongent cette tendance en prédisant conjointement vidéo et actions. Les prochaines étapes probables sont des comparaisons sur davantage de plateformes et de tâches longues, ainsi qu'une reproduction par d'autres laboratoires. Aucun déploiement industriel ni acteur français ou européen n'est mentionné à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

EgoAlign : combler l'écart entre humains et robots humanoïdes pour la loco-manipulation à longue portée

Des chercheurs de Lambda Humanoid présentent EgoAlign, un cadre de construction de données qui transforme des démonstrations humaines filmées en vue égocentrique en supervision d'actions et d'états exploitable par un humanoïde, sans aucune démonstration collectée sur robot physique. Le système s'appuie sur le modèle et le simulateur du robot cible, dont le retour d'exécution guide la collecte. Il conserve les références de locomotion pour la marche périodique guidée par la vision, et adapte la géométrie d'interaction du haut du corps par alignement d'échelle puis raffinement en boucle avec le contrôleur. Un rejeu causal reconstruit ensuite les états du robot et les étiquettes de tokens de mouvement, appariés aux observations humaines. Un modèle vision-langage-action (VLA) est affiné uniquement sur ces données adaptées, puis déployé en zero-shot sur un humanoïde réel. Les politiques réalisent des déplacements d'objets sur longue distance, la navigation vers des positions d'arrivée jamais vues et une interaction avec le pied évaluée de façon indépendante. Le travail, publié sur arXiv (2609.38046), est accompagné d'une page de projet. L'enjeu est celui de la donnée, principal goulot d'étranglement des VLA humanoïdes. La téléopération produit des démonstrations propres mais reste coûteuse et immobilise un robot sur site. Les vidéos égocentriques humaines sont bien moins chères, mais elles souffrent de différences d'échelle corporelle, de réponse du contrôleur et d'états robot manquants. Les auteurs affirment que le raffinement améliore l'alignement des mains en simulation et le taux de réussite de saisie sur robot réel par rapport à un simple alignement cinématique, et que la collecte humaine réduit le temps d'acquisition sur site face à la téléopération. Ces résultats vont dans le sens d'un transfert humain vers humanoïde exploitable pour la locomotion-manipulation, un domaine où la marche et la manipulation sont rarement apprises ensemble. Le résumé ne chiffre toutefois ni les taux de réussite, ni le gain de temps, ni le nombre de démonstrations, ni le modèle de robot ou de VLA utilisés. Sans ces données, difficile de juger la robustesse hors des tâches choisies pour la démonstration. Ce travail s'inscrit dans une course à la donnée humaine qui mobilise plusieurs acteurs. Des projets comme GR00T chez Nvidia, Pi-0 chez Physical Intelligence ou Helix chez Figure explorent des pistes voisines, mêlant téléopération, simulation et vidéo humaine à grande échelle. La spécificité d'EgoAlign tient à l'usage d'un contrôleur du corps entier continu et polyvalent, et à l'absence totale de données robot physiques. Il s'agit ici d'un résultat de recherche, sans produit ni déploiement industriel annoncé. La prochaine étape logique serait une validation sur davantage de tâches, de morphologies et de volumes de données, avec des comparaisons chiffrées à la téléopération. Aucun acteur français ou européen n'est cité dans ce travail.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage de politiques par simulation pour la loco-manipulation des robots humanoïdes

Une équipe de chercheurs a publié le 9 juin 2026 sur arXiv (2606.08278) SIMPLE, un banc de test de simulation unifié pour l'apprentissage et l'évaluation de politiques de contrôle de robots humanoïdes. La plateforme couple la simulation de dynamique de contact de MuJoCo avec le rendu photoréaliste d'IsaacSim, et propose 60 tâches de loco-manipulation plein corps, 50 scènes d'intérieur et plus de 1 000 assets d'objets. Pour la collecte de données, deux pipelines sont intégrés : génération automatisée de trajectoires par planification de mouvement, et interface de téléopération VR à faible latence. Les auteurs y benchmarkent plusieurs familles de politiques humanoïdes : réseaux d'imitation légers, grands modèles vision-langage-action (VLA) et les récents modèles d'action du monde (WAM, World Action Models). Les expériences démontrent, selon les auteurs, un transfert zero-shot vers des robots humanoïdes physiques dans des configurations similaires. L'enjeu central est un goulot d'étranglement d'évaluation : les modèles fondationnels humanoïdes progressent plus vite que les protocoles pour les tester. Les benchmarks existants se concentrent sur la robotique de table ou les robots à roues, sans couvrir la loco-manipulation plein corps, compétence clé pour les humanoïdes déployés en environnement industriel ou domestique. Si la corrélation sim-to-real revendiquée dans l'article se confirme à plus grande échelle, elle légitime le recours massif à la simulation pour entraîner des politiques de contrôle, réduisant drastiquement les coûts de collecte de données en conditions réelles. C'est précisément le pari industriel de Physical Intelligence avec pi-0, et de Figure AI avec Figure 02 : remplacer les démos téléopérées coûteuses par des pipelines simulés reproductibles. La fragmentation des benchmarks est un problème structurel en robotique humanoïde : chaque laboratoire publie sur ses propres protocoles, rendant toute comparaison inter-équipes difficile. Des initiatives comme HumanoidBench, RoboVerse ou Isaac Lab ont tenté d'y répondre, mais sans couvrir la chaîne complète loco-manipulation avec rendu photoréaliste et pipelines de données intégrés. SIMPLE se positionne à cette intersection. Les équipes de Google DeepMind (GR00T N2, Helix), Agility Robotics (Digit) et Boston Dynamics sont directement concernées. Ce preprint arXiv n'est pas encore évalué par les pairs ; l'adoption par la communauté dépendra de la disponibilité publique du code et des assets, non encore confirmée.

RecherchePaper

1 source