RecherchearXiv cs.RO 10 juillet 2026

Comprendre et réduire l'écart de généralisation vidéo-action grâce au ratio temporel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs mettent en évidence un défaut structurel des modèles vidéo-action (VAM) et monde-action (WAM) utilisés en robotique : lorsqu'ils sont finetunés sur des données d'actions robotiques, ces modèles perdent la capacité de généralisation compositionnelle héritée des modèles vidéo génératifs de base, un phénomène baptisé "video-action generalization gap". L'étude, publiée sur arXiv (2607.08127), teste un large espace de configurations de VAM sans trouver de schéma explicatif évident dans les choix de conception standards. Les auteurs introduisent alors le Temporal Ratio (TR), une mesure basée sur l'attention qui quantifie à quel point la tête d'action d'un modèle s'appuie sur les projections latentes futures plutôt que sur l'image ancrée au présent. Le TR se révèle être à la fois un prédicteur de la capacité de généralisation compositionnelle d'un modèle et un indicateur qui varie naturellement selon la phase de la tâche : l'attention se porte vers le futur pendant la planification, puis revient au présent pour les phases de manipulation fine nécessitant de la précision. Les tests ont été menés sur le benchmark LIBERO ainsi que sur des tâches réelles.

Cette découverte a une portée directe pour les concepteurs de politiques robotiques de type VLA (vision-language-action), un domaine où l'écart entre performances en démonstration et robustesse réelle reste un point de friction majeur pour les intégrateurs. En identifiant un mécanisme mesurable et exploitable au moment de l'inférence, l'équipe propose une méthode de guidage adaptatif qui amplifie dynamiquement le signal de conditionnement vidéo compositionnel précisément quand la politique dépend des projections futures. Cela permettrait de réduire l'écart de généralisation OOD-ID (hors distribution vs distribution d'entraînement) sans réentraîner le modèle, une piste concrète pour fiabiliser le déploiement de politiques apprises par vidéo sur des tâches non vues.

Ce travail s'inscrit dans la lignée des efforts récents pour comprendre pourquoi les modèles fondation vidéo, malgré leurs forts a priori compositionnels, ne transfèrent pas systématiquement ces capacités une fois adaptés à la robotique, un sujet également abordé par des familles de modèles comme GR00T N2 ou Pi-0. La suite logique serait une validation à plus grande échelle sur des plateformes robotiques variées et une comparaison directe du TR face à d'autres métriques de diagnostic des politiques VLA.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Construction de la généralisation dans la génération de comportements via des compositions adaptatives de régularités

Une équipe de chercheurs a déposé sur arXiv (2605.31110) un cadre baptisé AICON (Active InterCONnect) pour aborder la généralisation en robotique. Le système représente les régularités, soit les relations prévisibles au sein du couple robot-environnement, sous forme de processus en interaction dans un réseau différentiable. Le retour sensoriel orchestre leur composition en temps réel, tandis qu'une descente de gradient génère le comportement. Les expériences sont menées entièrement en simulation sur un problème maîtrisé, où toutes les régularités pertinentes ont été identifiées et encodées a priori. Confronté à un large éventail de conditions inédites, le modèle produit un comportement adapté dans presque tous les cas ; seul un scénario échoue, et les auteurs démontrent formellement que les régularités encodées y sont insuffisantes. La généralisation reste le verrou central de la robotique apprenante : un robot entraîné sur un ensemble de tâches échoue souvent dès que les conditions varient légèrement. AICON propose une réponse structurelle, en ancrant la généralisation dans un biais inductif explicite, la composition adaptative de régularités, plutôt que dans le volume de données. Les ablations montrent que le réseau module automatiquement l'influence de chaque régularité selon son caractère informatif dans la situation courante, un mécanisme de pondération émergent sans supervision. Pour les chercheurs en apprentissage robot et les intégrateurs, cela remet en question l'hypothèse que la mise à l'échelle des données ou des paramètres suffit à couvrir la distribution des situations réelles. La généralisation est aujourd'hui au coeur des travaux sur les VLA (Vision-Language-Action models) comme pi0 de Physical Intelligence, RT-2 de Google DeepMind ou OpenVLA, qui misent sur des fondations pré-entraînées à grande échelle pour transférer vers de nouvelles tâches. AICON emprunte une voie opposée, plus proche des systèmes dynamiques et du contrôle adaptatif, en cherchant à encoder la structure du monde plutôt qu'à l'approximer par accumulation de données. L'étude reste entièrement en simulation sur des problèmes jouets ; le passage aux robots physiques et l'identification automatique des régularités pertinentes restent des questions ouvertes. Une validation sur des benchmarks de manipulation réelle comme LIBERO ou RLBench constituerait la prochaine étape naturelle.

RecherchePaper

1 source

2arXiv cs.RO

Modélisation d'actions généralement covariante : construction de variétés généralisées par découplage spatio-temporel

Un préprint soumis sur arXiv le 2 juin 2026 (identifiant 2606.00110) introduit le cadre GAM (Generalized Action Manifold), une approche architecturale pour améliorer la généralisation des politiques robotiques en intelligence incarnée. Le problème ciblé est précis : les méthodes actuelles de Vision-Language-Action (VLA) entraînent les robots à régresser des coordonnées absolues, liant la politique à un style de mouvement et une vitesse d'exécution fixes. GAM résout cela via deux mécanismes orthogonaux. Le premier, l'Arc-Length Parameterizer, sépare la géométrie spatiale d'une trajectoire de sa dynamique temporelle, rendant la politique insensible aux variations de vitesse. Le second, le Schema-Affine-Factorization, projette les trajectoires dans un repère normalisé (pose-normalized coordinate frame), distinguant les schémas géométriques invariants des modulations affines locales. Intégré dans une architecture VLA structurée, GAM permet à un faible nombre de démonstrations de peupler densément un manifold d'actions continu et valide. Les auteurs rapportent des performances supérieures aux baselines geometry-agnostic sur des benchmarks empiriques, sans préciser les robots ou plateformes testés. L'enjeu industriel est direct : la généralisation depuis un nombre limité de démonstrations reste l'un des verrous les plus coûteux du déploiement robotique. Dans les usines où les intégrateurs doivent collecter des milliers de trajectoires par variante de tâche, réduire ce volume a un impact économique concret. Le principe de covariance générale, emprunté à la physique relativiste, stipule qu'une loi ne doit pas dépendre du système de coordonnées choisi. Appliqué à la robotique, cela signifie apprendre la structure géométrique intrinsèque d'une tâche plutôt que les habitudes motrices d'un démonstrateur humain. Si validée à l'échelle, cette approche s'attaquerait directement au demo-to-reality gap et au sim-to-real transfer, deux obstacles persistants pour des systèmes VLA commerciaux comme Pi-0 de Physical Intelligence ou OpenVLA. La recherche VLA s'est accélérée depuis 2024 avec Pi-0, RDT-1B, Octo, et les travaux de NVIDIA sur GR00T N2. GAM se positionne comme une couche d'invariance structurelle compatible avec ces architectures existantes plutôt que comme un modèle concurrent. Ce papier reste à ce stade un preprint non relu par des pairs, sans validation sur des robots physiques identifiés ni données de déploiement réel. Aucun auteur, institution ou partenaire industriel n'est mentionné dans l'abstract disponible, ce qui limite l'évaluation de la crédibilité et de la roadmap concrète. La prochaine étape naturelle serait une soumission à CoRL, ICRA ou RSS avec des expériences sur manipulateurs physiques dans des environnements semi-structurés.

RechercheOpinion

1 source

3arXiv cs.RO

MoMo : composer le mode de mouvement en manipulation robotique via une tokenisation spatio-temporelle de l'action

Une équipe de recherche présente MoMo, un framework d'apprentissage par imitation en deux étapes qui permet de faire varier non plus seulement la précision d'un geste robotique, mais sa manière d'être exécuté. Le système combine un tokeniseur d'actions spatio-temporel et un transformeur de clonage comportemental, qui reçoit en entrée à la fois la tâche à accomplir et une condition continue de « mode de mouvement ». Testé sur six tâches de manipulation avec un robot réel, ce paramètre permet de produire des comportements qualifiés de posés, dynamiques ou intermédiaires, que des évaluateurs humains parviennent à distinguer de façon fiable. Les différences se mesurent concrètement dans la vitesse et l'accélération des articulations, ainsi que dans l'angle d'approche de l'effecteur terminal. Fait notable, lorsqu'une tâche n'a été démontrée que dans un seul mode d'exécution, MoMo parvient à transférer un mode demandé mais jamais vu pour cette tâche précise, tout en conservant l'essentiel du taux de réussite. Le papier est publié sur arXiv (2607.26315v1). Cette capacité de généralisation compositionnelle, à savoir combiner une tâche connue avec un style d'exécution inédit, touche un point sensible du déploiement industriel des robots manipulateurs: jusqu'ici, les modèles vision-langage-action (VLA) de type Pi-0, GR00T N2 ou Helix se concentrent surtout sur le « quoi faire », rarement sur le « comment le faire ». Or pour un intégrateur, la manière d'exécuter un geste compte autant que sa réussite: un préhenseur qui va vite sur une pièce robuste mais qui doit ralentir sur un composant fragile, ou une cadence différente selon la proximité d'un opérateur humain. Que ce réglage de style soit réutilisable d'une tâche à l'autre, sans réentraîner un modèle dédié par comportement, laisse entrevoir une réduction du coût de personnalisation des compétences robotiques en usine. Ce travail s'inscrit dans la lignée des recherches en clonage comportemental et en apprentissage par imitation, qui cherchent depuis plusieurs années à dépasser la simple reproduction de trajectoires démontrées pour capturer des facteurs de comportement transférables. Il reste, à ce stade, une preuve de concept académique limitée à six tâches et un seul bras robotique en laboratoire, sans indication de partenariat industriel ni de calendrier de déploiement. La suite logique serait une validation sur davantage de plateformes et de familles de tâches, pour vérifier si ce contrôle du style de mouvement tient à l'échelle des modèles VLA généralistes actuellement commercialisés.

RecherchePaper

1 source

4arXiv cs.RO

Affordance-Based : planification de manipulation guidée par du texte et généralisation sim-vers-réel via conversion réel-vers-sim

Des chercheurs présentent un système de planification de manipulation robotique fondé sur la reconnaissance d'affordances (les possibilités d'action qu'offre un objet) et la prédiction des effets des actions. Concrètement, le système génère plusieurs futurs visuels possibles à partir de l'état actuel de la scène, puis sélectionne le plan dont le résultat prédit correspond le mieux à un objectif exprimé en langage naturel au moment de l'exécution, via un module de correspondance objectif-image multimodal. Sa particularité: le suivi de la position des objets nommés dans la consigne reste actif même lorsqu'ils deviennent occlus ou que leur apparence change en cours de tâche, ce qui permet de continuer à planifier là où un système classique perdrait la cible. Les auteurs ajoutent un module de conversion d'image "réel-vers-simulation", qui traduit les images d'un environnement physique, avec des objets de formes et de textures variées, vers une représentation visuelle standardisée proche de celle utilisée en simulation, pour faciliter le transfert vers un robot réel. Le système est évalué module par module puis testé de bout en bout sur des tâches de manipulation jugées difficiles, en simulation et sur banc matériel. L'enjeu dépasse la démonstration technique: c'est une tentative de répondre frontalement au problème du sim-to-real, en normalisant visuellement la scène réelle plutôt qu'en essayant de faire converger deux domaines visuels différents par entraînement. Pour les équipes qui développent des robots pilotables par consigne textuelle, la persistance du suivi d'objet malgré l'occlusion est un point dur classique des pipelines de manipulation, souvent négligé dans les démonstrations en conditions idéales. Le papier ne revendique pas de généralisation zero-shot totale, mais isole méthodiquement les briques (affordances, prédiction, matching texte-image, conversion visuelle) plutôt que de les noyer dans un modèle monolithique de bout en bout, ce qui facilite le diagnostic des points de rupture. Ce travail s'inscrit dans la lignée des systèmes de planification par affordances et des modèles vision-langage-action récents (RT-2, OpenVLA, Pi-0, GR00T N2, Helix), mais s'en distingue par une architecture modulaire plutôt qu'un modèle end-to-end unique. Publié comme preprint arXiv le 14 juillet 2026, sans affiliation ni benchmarks chiffrés détaillés dans le résumé, il reste à ce stade non revu par les pairs; les suites logiques seraient une comparaison directe avec les approches VLA sur des benchmarks standardisés.

RecherchePaper

1 source