IA physiquearXiv cs.RO 14 juillet 2026

EgoSteer : un système complet pour la manipulation dextre pilotable à partir de vidéos égocentriques

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient EgoSteer, un système complet destiné à rendre les mains robotiques dextres pilotables par instructions en langage naturel, à partir de vidéos égocentriques humaines (arXiv:2607.09701). Le dispositif repose sur trois briques : EgoSmith, un pipeline de données qui a curé 9,6 mille heures de vidéos égocentriques filmées en conditions réelles pour constituer un corpus de pré-entraînement de haute qualité, avec un débit neuf fois supérieur et une précision meilleure que les méthodes précédentes ; une pile robotique unifiée gérant téléopération et correction humaine en boucle ; et EgoSteer lui-même, un modèle vision-langage-action (VLA) enrichi d'un modèle du monde, entraîné sur une infrastructure optimisée. Le système exécute des instructions en langage libre sur plus de 40 tâches distinctes, avec récupération après échec, dextérité fine et capacité de généralisation. Après un pré-entraînement sur données humaines suivi d'un ancrage par post-entraînement robotique et d'un raffinement DAgger, le modèle s'adapte en few-shot à des tâches longues et complexes comme le pliage de boîtes, avec un taux de réussite supérieur à 75% sur deux plateformes robotiques différentes. Le code, les données et le modèle sont mis en open-source sur egosteer.github.io.

Ce travail s'attaque directement au principal goulot d'étranglement des mains robotiques dextres : l'absence de données de démonstration à grande échelle, alignées avec le langage et précises au niveau de l'action. En démontrant qu'un pré-entraînement massif sur vidéos humaines non robotiques peut ensuite être ancré efficacement sur robot réel avec relativement peu de données, l'équipe apporte un signal concret sur le transfert vidéo-vers-robot à l'échelle, un sujet central pour les intégrateurs et laboratoires qui cherchent à réduire le coût de collecte de démonstrations téléopérées. La généralisation cross-embodiment et la récupération après échec restent des points faibles connus des VLA actuels ; les résultats annoncés ici, à évaluer au-delà des tâches et conditions choisies par les auteurs, vont dans le sens d'un rapprochement entre démonstrations en laboratoire et usage réel.

Le manque de données dextres de qualité freine depuis plusieurs années l'extension des architectures VLA, popularisées par des modèles généralistes comme Pi-0 ou GR00T, au-delà des bras et pinces simples vers des mains multi-doigts. EgoSteer s'inscrit dans cette course à l'échelle des données, aux côtés d'efforts similaires chez les acteurs de l'humanoïde et de la manipulation dextre. L'ouverture complète du code, du modèle et du jeu de données constitue la prochaine étape logique pour permettre une réplication indépendante des résultats annoncés.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

DyPES-VLA : apprendre des dynamiques partagées et un contrôle spécifique à chaque incarnation pour la manipulation inter-incarnations

Des chercheurs présentent DyPES-VLA, un modèle vision-langage-action (VLA) conçu pour piloter plusieurs types de robots avec une seule politique généraliste plutôt qu'un modèle par robot. L'approche combine deux briques: un objectif de prédiction du futur qui entraîne le modèle vision-langage, sur des données issues de robots hétérogènes, à capturer le mouvement des objets, les contacts et les changements de scène induits par l'interaction; et une tête d'action à mélange d'experts (MoE) propre à chaque robot, qui traduit ces représentations partagées directement dans l'espace de commande natif de chaque machine, sans reformatage manuel préalable des actions. Cette tête MoE partage ses couches d'attention pour les structures temporelles communes aux tâches, tandis que des experts feed-forward dédiés gèrent les contraintes cinématiques propres à chaque embodiment. Résultat annoncé: 98,0% de réussite sur le benchmark LIBERO, 59,25% sur RoboCasa-GR1 et 89,02% sur RoboTwin 2.0, présentés comme état de l'art en simulation comme en conditions réelles. Le sujet touche un vrai goulot d'étranglement pour les intégrateurs et équipes robotique en entreprise: faire tourner un même modèle VLA sur plusieurs plateformes, bras industriels, robots mobiles ou humanoïdes, exige aujourd'hui un travail manuel lourd pour aligner des espaces d'action hétérogènes, ce qui freine la mutualisation des données d'entraînement et le déploiement à grande échelle. Une politique capable de généraliser nativement entre embodiments réduirait ce coût d'ingénierie par robot et rapprocherait l'objectif, poursuivi aussi par les grands laboratoires du secteur, d'un modèle fondation unique pour la manipulation. Reste que les chiffres avancés sont des scores de benchmark académiques: l'écart classique entre performance en simulation ou en laboratoire contrôlé et robustesse en usine ou en entrepôt n'est pas documenté pour ce modèle en particulier. DyPES-VLA s'inscrit dans la vague récente des VLA "cross-embodiment", qui cherche à dépasser les politiques entraînées robot par robot popularisées par RT-2 ou OpenVLA, sur le même terrain que des modèles généralistes déjà déployés en pilote comme Pi-0 de Physical Intelligence ou GR00T N2 de Nvidia. Publié comme nouvelle soumission sur arXiv, le papier ne précise ni affiliation industrielle ni calendrier de déploiement sur robot physique au-delà des évaluations réelles mentionnées dans l'étude: il relève pour l'instant de la recherche amont plutôt que d'un produit prêt à l'emploi. La suite logique pour ce type de travaux consiste généralement à valider l'approche sur davantage de plateformes et de tâches manipulatoires longues avant tout transfert vers un cas d'usage industriel.

IA physiqueOpinion

1 source

2arXiv cs.RO

Apprendre la physique à partir de modèles vidéo préentraînés : modèles du monde continus et séquentiels pour la manipulation robotique

Une équipe de chercheurs propose PhysGen, un cadre d'apprentissage publié en prépublication sur arXiv (réf. 2603.00110v2), qui exploite des modèles de génération vidéo pré-entraînés comme substituts de simulateurs physiques pour la manipulation robotique. L'idée centrale est de traiter la vidéo générée de manière autorégressive comme un proxy du monde physique, et d'y greffer des actions robotiques continues via une représentation unifiée baptisée "physical tokens", des jetons partagés qui fusionnent la modalité vidéo et les commandes motrices. Pour assurer la convergence, PhysGen intègre du masquage causal, de la cinématique inverse, une prédiction multi-tokens anticipative (L-MTP) et du cache clé-valeur (KV caching). Sur les benchmarks Libero et ManiSkill, le système surpasse OpenVLA de 13,8 points et WorldVLA de 8,8 points. Plus frappant : en conditions réelles, PhysGen atteint les performances de π₀ (Physical Intelligence) sur des tâches physiquement exigeantes, notamment la saisie d'objets transparents, sans avoir bénéficié d'un pré-entraînement spécifique aux données d'action. L'enjeu pour l'industrie est direct : la pénurie de données robotiques à grande échelle reste le principal frein à la généralisation des politiques de manipulation. PhysGen contourne ce goulot en recyclant des modèles vidéo entraînés sur des corpus massifs d'internet pour en extraire une intuition physique implicite, permanence des objets, dynamique de contact, sans collecter de trajectoires robot. Le fait de rivaliser avec π₀ sans son pré-entraînement propriétaire sur des données d'action est une validation partielle de l'hypothèse que le "sim-to-real gap" peut être réduit par la connaissance du monde visuel plutôt que par des démonstrations téléopérées. Cela dit, les résultats restent issus d'un papier de recherche avec des benchmarks sélectifs ; la robustesse sur des scènes industrielles non structurées reste à démontrer. PhysGen s'inscrit dans un courant actif qui voit les laboratoires de robotique piller les architectures de génération multimodale pour nourrir leurs politiques de contrôle : UniSim, Genie, et surtout WorldVLA avaient déjà exploré cette piste. Physical Intelligence (π₀) représente aujourd'hui la référence en termes de performances sur tâches réelles grâce à son pré-entraînement massif sur données d'action hétérogènes, ce qui rend la comparaison de PhysGen d'autant plus significative. OpenVLA (Berkeley) constitue le concurrent open-source direct. La prochaine étape logique pour les auteurs serait une évaluation sur des manipulateurs industriels multi-DOF en environnement non contrôlé, et une intégration avec des pipelines de données synthétiques pour réduire encore la dépendance aux démonstrations humaines.

IA physiqueOpinion

1 source

3arXiv cs.RO

EaDex : un cadre de manipulation dextérique multi-plateforme à partir de démonstrations à faible coût

EaDex, un framework de manipulation dextère multi-corps présenté dans un preprint arXiv (2606.03268, juin 2026), propose d'entraîner des mains robotiques articulées à partir de démonstrations humaines capturées avec une simple caméra RGB-D grand public. Le pipeline repose sur le modèle paramétrique MANO pour reconstruire la géométrie 3D de la main, suivi d'une étape de normalisation et de retargeting cinématique vers différentes morphologies robotiques. Le système a été évalué sur trois mains dextères distinctes et trois catégories de tâches d'ouverture d'objets articulés, couvrant neuf configurations cross-embodiment. Par rapport à une baseline sans mécanisme d'annealing de démonstrations, EaDex affiche une amélioration relative de 55,3 %. Le verrou adressé est structurel pour le secteur: le reinforcement learning pur en manipulation dextère exige une exploration interactive à grande échelle, coûteuse en temps machine et difficile à transférer, tandis que l'imitation learning classique dépend de démonstrations à haute fidélité collectées via des gants haptiques ou des systèmes de motion capture onéreux. EaDex cherche à abaisser ce seuil avec du matériel accessible. Son mécanisme central, l'"annealing dynamique de démonstrations basé sur les récompenses de contact", est notable: il guide l'exploration initiale en s'appuyant sur les trajectoires humaines, puis réduit progressivement cette dépendance à mesure que l'agent accumule des contacts réussis, évitant le sur-ajustement aux trajectoires de référence. Que le même pipeline fonctionne sur trois architectures de main aux cinématiques différentes est le point le plus pertinent pour un intégrateur: cela suggère une généralisation morphologique réelle, pas un résultat ajusté manuellement par configuration. L'approche s'inscrit dans un effort plus large de la communauté pour rendre la collecte de données de manipulation bon marché et scalable, face à des méthodes concurrentes comme DAPG ou DexMimicGen qui requièrent des infrastructures plus lourdes. Le papier n'annonce pas de déploiement industriel ni de partenariat commercial: c'est un résultat de recherche en phase preprint, sans validation sur des objets non-vus ni en conditions réelles non-contrôlées. Les suites naturelles incluront des tests sur des tâches plus complexes (bimanuel, objets déformables) et une comparaison systématique avec des pipelines VLA récents sur des benchmarks standardisés.

IA physiquePaper

1 source

4arXiv cs.RO

SUGAR : cadre d'apprentissage généralisable et extensible pour la loco-manipulation humanoïde par vidéos humaines

Des chercheurs présentent SUGAR (Scalable hUman-video-driven GenerAlizable humanoid loco-manipulation leaRning), un framework publié en préprint sur arXiv (arXiv:2605.20373, mai 2026), conçu pour entraîner des robots humanoïdes à des tâches de loco-manipulation à partir de vidéos humaines non structurées, sans ingénierie de récompenses propre à chaque tâche. Le pipeline se décompose en trois étapes : extraction automatisée de priors cinématiques (trajectoires humain-objet et labels de contact) depuis des vidéos brutes ; raffinement physique via un mimic reward unifié et un progressive state pool qui transforment ces priors imparfaits en mouvements physiquement cohérents ; puis distillation dans une politique hiérarchique composée d'un générateur et d'un suiveur de commandes. Le système a été évalué sur six tâches de loco-manipulation, en simulation et sur matériel humanoïde réel, avec transfert zero-shot vers le monde physique, récupération autonome après échec, et robustesse aux perturbations externes. L'enjeu central est la scalabilité : là où la téléopération humaine, méthode utilisée par Figure AI, Apptronik ou 1X, reste coûteuse et difficile à industrialiser, SUGAR exploite le corpus massif de vidéos humaines disponibles. Le verrou technique était que les priors cinématiques extraits de ces vidéos sont intrinsèquement bruités (occlusions, artefacts de contact, erreurs de retargeting) et inutilisables en l'état pour l'apprentissage. L'étape de raffinement physique est ici la contribution principale. Le fait que la performance scale clairement avec le volume de données vidéo est un résultat significatif : il oriente la recherche vers l'augmentation de données plutôt que l'ingénierie manuelle de récompenses, un changement de paradigme pour les équipes travaillant sur des humanoïdes généralistes. SUGAR s'inscrit dans la vague de contrôle humanoïde piloté par les données, en concurrence directe avec les approches VLA de Physical Intelligence (Pi-0), Google DeepMind, et Nvidia (GR00T N2). Le sim-to-real zero-shot revendiqué reste le défi emblématique du secteur ; les auteurs affirment l'atteindre de manière fiable avec récupération autonome des échecs, mais la sélection de seulement six tâches de démonstration mérite d'être notée. À ce stade, il s'agit d'un résultat académique sans timeline de déploiement commercial : les limites immédiates concernent la diversité des tâches et des environnements testés, qui conditionneront la généralisation à des déploiements industriels réels.

IA physiquePaper

1 source