RecherchearXiv cs.RO 19 juin 2026

CoMo : apprendre le mouvement latent continu depuis des vidéos internet pour un apprentissage robotique à grande échelle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (référence 2505.17006, version 3) une méthode baptisée CoMo, pour "Continuous Motion", conçue pour extraire automatiquement des représentations continues du mouvement à partir de vidéos issues d'Internet, et les réutiliser comme étiquettes d'action pour entraîner des politiques robotiques. CoMo repose sur deux mécanismes distincts : une différence temporelle précoce (Td) appliquée en amont de l'encodeur pour rendre plus difficile l'apprentissage par raccourcis visuels (les modèles ont tendance à coder l'arrière-plan statique plutôt que le mouvement lui-même), et un apprentissage contrastif temporel (Tcl) qui construit des paires positives avec un décalage temporel réduit vers le futur, et des paires négatives en inversant la direction du temps. Le résultat est un espace latent continu, entraîné sur des vidéos à grande échelle, capable de générer des pseudo-étiquettes d'action pour des vidéos jamais vues en phase d'inférence. Des expériences en simulation et en conditions réelles montrent des gains de performance par rapport aux approches discrètes, aussi bien avec des architectures diffusion que autorégressives.

L'enjeu industriel est direct : l'un des goulots d'étranglement du robot learning est la rareté des démonstrations téléopérées, coûteuses à collecter. Si une méthode peut extraire un signal d'action utilisable depuis des vidéos YouTube ou des caméras industrielles non étiquetées, elle réduit mécaniquement le coût de constitution des datasets. La contribution principale de CoMo face aux méthodes discrètes par quantification vectorielle (VQ) est de supprimer la perte d'information liée à la projection dans un codebook de petite taille, et surtout de combler le fossé de distribution entre un espace discret de tokens visuels et un espace d'actions continues à valeurs réelles, fossé qui pénalise l'apprentissage conjoint d'une politique unifiée. La généralisation zéro-shot annoncée est la prétention la plus forte : elle signifie que CoMo pourrait étiqueter des vidéos de nouveaux environnements ou tâches sans ré-entraînement, ce qui reste à valider sur des benchmarks standardisés ; l'abstract ne cite pas de métriques numériques précises.

Ce travail s'inscrit dans un axe de recherche très actif depuis 2023, qui cherche à exploiter Internet comme source de supervision pour les robots, aux côtés de méthodes comme RT-2 de Google DeepMind, Pi-0 de Physical Intelligence, ou encore les travaux sur les VLA (Vision-Language-Action models) d'UC Berkeley et du MIT. Les approches discrètes concurrentes (type GROOT ou méthodes VQ-VAE appliquées à la vidéo) souffrent précisément des limitations que CoMo prétend résoudre. La prochaine étape naturelle serait une validation sur des benchmarks robotiques communautaires comme RLBench, LIBERO ou BridgeData V2, et un test à l'échelle de données réellement "internet-scale" pour confirmer si la généralisation zéro-shot tient face à la diversité des distributions visuelles du monde réel.

Dans nos dossiers

Physical Intelligence — π0 OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprendre la manipulation robotique à partir de vidéos humaines : un état de l'art sur l'apprentissage VLA à grande échelle avec données centrées sur l'humain

Une équipe de chercheurs a publié en juin 2026 sur arXiv (identifiant 2606.00054) un état de l'art sur l'utilisation de vidéos humaines pour entraîner des modèles Vision-Langage-Action (VLA) appliqués à la manipulation robotique. Le papier recense et structure les travaux existants en quatre familles d'approches selon le type d'information extraite : les représentations d'action latentes (encodage des changements entre frames successives), les modèles du monde prédictifs (prévision des frames futures), la supervision 2D explicite (extraction de cues dans le plan image) et la reconstruction 3D explicite (récupération de géométrie ou de mouvement). Les auteurs identifient en parallèle trois verrous ouverts : la structuration de vidéos non annotées en épisodes d'entraînement exploitables, l'ancrage des supervisions vidéo en actions exécutables malgré l'hétérogénéité des embodiments et des points de vue, et la conception de protocoles d'évaluation prédictifs des performances de déploiement réel. L'enjeu derrière cette consolidation est direct : collecter des démonstrations robotiques à grande échelle coûte cher, prend du temps et reste intimement lié à un hardware spécifique. Les vidéos humaines, elles, sont disponibles en quantité quasi illimitée sur internet et capturent une richesse d'interactions physiques et sémantiques inaccessible autrement. Si les méthodes recensées parviennent à combler l'écart d'embodiment, elles pourraient réduire drastiquement le coût de généralisation des VLA, aujourd'hui l'un des principaux freins à leur déploiement industriel. Ce survey arrive à un moment où le gap entre démo de laboratoire et transfert réel reste le problème n°1 du secteur : aucune approche n'y répond complètement, mais la taxonomie proposée clarifie où en est la recherche. Le contexte est celui d'une accélération des VLA generalistes depuis 2024, portée par des modèles comme pi-0 (Physical Intelligence), OpenVLA (UC Berkeley), GR00T N2 (NVIDIA) ou Octo. Ces architectures ont montré une capacité de généralisation prometteuse mais toutes dépendent encore massivement de données de téléopération humaine, coûteuses à acquérir. Ce survey s'inscrit dans un effort collectif pour identifier des alternatives scalables, et les ressources compilées sont accessibles publiquement sur GitHub. Les prochaines étapes naturelles incluent des benchmarks standardisés croisant vidéos humaines et transfert zero-shot vers des robots industriels, un angle encore peu exploré par les acteurs européens comme Enchanted Tools ou Wandercraft, qui pourraient y trouver un levier de différenciation.

UELes acteurs français comme Enchanted Tools et Wandercraft pourraient exploiter la taxonomie proposée pour réduire leur coût d'acquisition de données VLA, mais aucun impact opérationnel direct n'est documenté à ce stade.

RechercheOpinion

1 source

2arXiv cs.RO

Vers un apprentissage robotique prédictif, aligné et à grande échelle

Le papier arXiv 2607.11270, publié le 14 juillet 2026, présente Lumo-2, un modèle latent monde-action développé pour la robotique conçu pour générer des actions en raisonnant sur la dynamique du monde dans un espace latent plutôt qu'en clonant du comportement observé. L'idée centrale est que la qualité de génération d'actions dépend de la géométrie de cet espace latent : les auteurs montrent que les objectifs classiques de tokenisation d'actions basés sur la reconstruction biaisent les représentations vers la fidélité du signal brut, ce qui désaligne la qualité de reconstruction et la performance de contrôle réelle. Pour corriger cela, ils proposent un alignement multi-étapes des modalités, où les représentations d'actions sont progressivement rapprochées de la dynamique du monde latente, de la vision et du langage. Le papier revendique des gains sur des tâches réelles de manipulation dexterous et à long horizon face à des modèles vision-langage-action (VLA) et monde-action (WAM) de référence, sans toutefois publier de chiffres précis de taux de réussite, de temps de cycle ou de comparaison nommée dans le résumé disponible : à ce stade, il s'agit d'une annonce de recherche, pas d'un produit déployé ni de résultats benchmarkés vérifiables publiquement. Si les résultats se confirment à l'échelle et hors distribution, cela renforcerait l'hypothèse selon laquelle le raisonnement prédictif structuré, et non la seule imitation de trajectoires, est la voie vers des politiques robotiques généralisables, un sujet clé alors que des labs et startups (Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, Figure avec Helix) cherchent tous à faire tenir leurs VLA face à des environnements réels imprévisibles plutôt qu'à des démonstrations scénarisées. Ce travail s'inscrit dans la lignée des modèles monde-action apparus depuis 2024-2025, qui tentent de combiner la prédiction vidéo façon world models avec la génération de commandes motrices. Aucun acteur français ou européen n'est cité dans cette publication, et aucune date de suivi, de code ouvert ou de déploiement industriel n'est mentionnée à ce stade.

RechercheActu

1 source

3arXiv cs.RO

JoyAI-RA 0.5 : passage à l'échelle de l'apprentissage de la manipulation robotique via un double alignement d'action

JoyAI-RA 0.5 est un framework généraliste de type VLWA (Vision-Language-World-Action) pour l'apprentissage de la manipulation robotique, présenté dans un preprint arXiv (2608.05674). Le problème de départ : les données robotiques réelles sont rares, donc les politiques généralistes doivent apprendre à partir de sources hétérogènes, vidéo égocentrique humaine, simulation, robots réels, dont l'embodiment et le type de supervision diffèrent, avec des labels d'action souvent manquants ou incompatibles entre eux. Mélanger naïvement ces sources provoque un transfert négatif plutôt qu'un partage de connaissances utile. JoyAI-RA propose un « alignement d'action double » : un alignement implicite infère des actions latentes à partir des transitions visuelles, ce qui permet aux données sans label d'action (humaines, simulées, robotiques) d'entraîner un modèle du monde conditionné par ces actions latentes ; un alignement explicite ancre les trajectoires humaines et robotiques fiables dans un espace d'action physique commun, via une représentation canonique et des actions d'effecteur relatives au cadre caméra. Une phase de renforcement en double boucle combine ensuite adaptation rapide à une tâche et amélioration de la politique de base. Sur le benchmark réel AgiBot, JoyAI-RA obtient de bons résultats aussi bien sur des tâches déjà vues que sur des variations inédites. Le résultat clé concerne le passage à l'échelle : le score de tâche s'améliore de façon constante à mesure que le volume de données de pretraining vidéo humaine augmente, sans signe de plateau même au plus grand volume testé. Pour l'industrie robotique, c'est un signal important : la vidéo humaine, abondante mais faiblement labellisée, ne serait plus un simple signal auxiliaire mais pourrait devenir un axe primaire pour faire monter en compétence les politiques de manipulation. Si ce résultat se confirme à plus grande échelle, il pourrait atténuer le goulot d'étranglement des données qui freine les politiques généralistes de type VLA, puisque collecter des démonstrations sur robot réel reste lent et coûteux alors que la vidéo humaine est quasi illimitée. Cela apporte aussi un élément de réponse au débat récurrent du secteur sur la possibilité de fusionner des données d'embodiments incompatibles sans dégrader la performance, un problème jusqu'ici traité comme une source de transfert négatif plutôt que d'opportunité. Ce travail s'inscrit dans la course aux politiques généralistes de manipulation (VLA) capables de transférer leurs compétences entre plateformes et sources de données, aux côtés d'efforts comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure). La validation s'appuie sur le benchmark AgiBot, lié à l'initiative chinoise du même nom dans l'humanoïde. L'abstract ne précise pas l'organisation exacte derrière JoyAI-RA ; il s'agit pour l'instant d'un résultat de recherche en preprint, non revu par les pairs, et non d'un produit commercialisé ou d'un déploiement en usine. À surveiller : la confirmation de cette tendance sur des volumes de vidéo humaine encore plus grands, et la généralisation de la méthode au-delà du benchmark AgiBot.

RechercheActu

1 source

4arXiv cs.RO

Lois d'échelle des données en apprentissage par imitation pour la manipulation robotique

Une équipe de chercheurs publie sur arXiv (référence 2410.18647, désormais à sa quatrième révision) une étude empirique sur les lois d'échelle des données appliquées à l'apprentissage par imitation en manipulation robotique. Le protocole est rigoureux : plus de 40 000 démonstrations collectées dans de nombreux environnements et avec des objets variés, suivies de plus de 15 000 exécutions réelles sur robot, ce qui en fait l'une des études de scaling en manipulation les plus extensives à ce jour. Résultat central : la performance de généralisation d'une politique d'imitation suit une relation en loi de puissance avec le nombre d'environnements et d'objets d'entraînement. Surtout, quatre collecteurs de données travaillant une seule après-midi ont suffi pour obtenir environ 90 % de taux de réussite en déploiement zéro-shot sur des objets inconnus dans des environnements non vus, sur deux tâches distinctes. Ce que cette recherche établit, c'est que la diversité des environnements et des objets prime largement sur le volume brut de démonstrations : au-delà d'un certain seuil de démonstrations par environnement ou par objet, en ajouter davantage n'améliore plus la généralisation. Ce résultat remet en cause la stratégie intuitive qui consiste à multiplier les répétitions dans un même contexte, et oriente clairement la priorité vers la couverture de distribution plutôt que la densité d'annotation. Pour les intégrateurs industriels et les équipes robotique qui budgètent la collecte de données, l'implication est directe : mieux vaut disperser les efforts sur des scènes variées que d'accumuler des trajectoires dans un seul setup. Le fait d'atteindre 90 % de succès en zéro-shot sur des objets inédits est également un signal fort sur la maturité du paradigme VLA (Vision-Language-Action) en manipulation monomode. Ce travail s'inscrit dans le sillage des succès de scaling en NLP et vision par ordinateur, que des équipes comme DeepMind (RT-2), Physical Intelligence avec Pi-0, ou encore NVIDIA avec GR00T cherchent à transposer en robotique. L'étude reste purement académique pour l'instant, aucun déploiement industriel n'étant annoncé, et les tâches testées demeurent mono-bras sur périmètre contrôlé. Une limite à noter : les vidéos de démonstration et les protocoles d'évaluation exacts ne sont pas tous publics dans la version arXiv, ce qui rend difficile la comparaison directe avec d'autres benchmarks. Les prochaines étapes logiques seront d'étendre ces lois d'échelle aux politiques multi-tâches et de tester leur robustesse sur des plateformes humanoïdes comme Figure 03 ou Optimus Gen 3, où la distribution des états physiques est bien plus large.

RecherchePaper

1 source