RecherchearXiv cs.RO 21 septembre 2026

AnyviewMeter : adapter les modèles de récompense robotiques via la géométrie caméra et l'attention multi-vue

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent AnyviewMeter, un framework d'adaptation pour les modèles de récompense robotiques utilisés pour évaluer visuellement la progression d'une tâche. Le problème identifié : ces modèles, une fois entraînés, voient leurs prédictions varier selon le point de vue de la caméra ou les occlusions, même quand l'état réel de la tâche n'a pas changé. AnyviewMeter combine un fine-tuning à faible rang avec des rayons de Plücker alignés sur les tokens, qui encodent la géométrie de la caméra directement dans les caractéristiques visuelles et dans les mécanismes d'attention, ainsi qu'une attention par blocs synchronisée qui fusionne plusieurs vues à l'intérieur du décodeur préentraîné. Le système s'appuie sur le modèle Robometer et fonctionne en configuration mono-vue comme en évaluation conjointe multi-vues. Sur la tâche simulée PickCube, l'adaptation mono-vue améliore la prédiction de progression pour chaque groupe de caméras et réduit l'erreur absolue moyenne d'environ 21% par rapport à un simple fine-tuning RGB lorsque le champ de vision change. Sur un ensemble plus large de tâches de manipulation simulées, la prédiction conjointe multi-vues réduit l'erreur de progression de 41 à 69% par rapport à une moyenne de prédictions mono-vues RGB, et améliore l'ordonnancement temporel dans environ 88% des combinaisons tâche-caméra. Sur des tâches réelles utilisant des caméras fixes et montées sur poignet, l'erreur absolue moyenne baisse d'environ 21%.

Ces résultats visent un angle mort concret de la robotique par apprentissage : les modèles de récompense entraînés en simulation ou sur un jeu de caméras donné généralisent mal dès que la configuration physique change, un frein direct au déploiement chez des intégrateurs qui n'utilisent jamais exactement le même rig caméra que le laboratoire d'origine. En conditionnant explicitement le modèle sur la géométrie de la caméra plutôt qu'en espérant une généralisation implicite, AnyviewMeter propose une voie d'adaptation paramétrique légère, sans réentraînement complet, ce qui compte pour des équipes cherchant à réutiliser des modèles de récompense préentraînés sur des cellules robotiques hétérogènes. Cela nuance aussi l'idée que les VLA et modèles de supervision associés soient déjà robustes au changement de viewpoint dès la sortie du laboratoire.

Le travail s'inscrit dans la lignée des modèles de récompense visuels type Robometer, dont il constitue une extension géométrique plutôt qu'une refonte, et se positionne dans le champ plus large des méthodes de supervision pour l'apprentissage par renforcement en robotique, aux côtés des approches VLA génériques (Pi-0, GR00T N2). Les auteurs ne mentionnent pas de déploiement industriel ni de partenaire commercial: il s'agit d'un résultat de recherche évalué en simulation et sur un nombre limité de tâches réelles, sans indication de calendrier vers une intégration produit.

Dans nos dossiers

NVIDIA GR00T

À lire aussi

1arXiv cs.RO

Grands modèles de récompense : génération de récompenses robotiques en ligne et généralisable grâce aux modèles vision-langage

Des chercheurs proposent les Large Reward Models (LRM), un cadre qui transforme des modèles vision-langage (VLM) de base en générateurs de récompense image par image, destinés à affiner des politiques de manipulation robotique. Le VLM de pointe retenu est spécialisé sur un jeu de données multi-sources : trajectoires de robots réels, interactions humain-objet et environnements de manipulation simulés. Contrairement aux approches qui évaluent les trajectoires a posteriori, les LRM exposent trois interfaces de récompense à partir des seules observations visuelles : estimation de progression, détection d'achèvement de la tâche et comparaison contrastive temporelle. Partant d'une politique apprise par imitation (IL), les auteurs utilisent ces signaux pour guider un affinage par PPO sur des tâches de manipulation à long horizon non vues pendant l'entraînement. La récompense de progression s'impose comme le meilleur signal en ligne sans information privilégiée : elle améliore la politique IL de référence et réduit l'écart avec les récompenses « privilégiées » issues de l'état interne de l'environnement. Côté matériel réel, elle sert à pondérer un clonage comportemental (behavioral cloning) selon la progression, sur quatre tâches de manipulation et deux plateformes robotiques, avec un gain sur le fine-tuning supervisé (SFT) classique dans les quatre cas. Le résumé ne donne ni modèle de VLM, ni taux de réussite chiffrés, ni noms de robots. L'enjeu est celui d'un goulot d'étranglement bien connu : l'apprentissage par renforcement (RL) peut améliorer les politiques de manipulation, mais écrire une fonction de récompense à la fois sémantiquement pertinente et réutilisable d'une tâche à l'autre reste coûteux, et se fait aujourd'hui surtout à la main, tâche par tâche. Si ces résultats se confirment, un VLM spécialisé pourrait servir de récompense générique, ce qui réduirait l'ingénierie de récompense pour les intégrateurs et ouvrirait la voie à une auto-amélioration des robots en déploiement, sans instrumentation de la scène. Des réserves s'imposent : l'écart avec les récompenses privilégiées est réduit, pas comblé ; la validation réelle ne porte que sur quatre tâches, et sur du clonage comportemental pondéré plutôt que sur du RL en ligne sur robot physique. Le travail relève de la recherche (preprint arXiv, version 3), sans produit ni déploiement industriel. Ces travaux s'inscrivent dans la montée des modèles de fondation pour la robotique, des VLA (vision-langage-action) comme Pi-0 ou GR00T aux VLM utilisés comme juges ou générateurs de récompense. Les approches précédentes de récompense par modèle de langage ou de vision restaient souvent limitées à une évaluation après coup, ce que les LRM cherchent à dépasser avec un signal exploitable en ligne. La suite logique serait de tester ces récompenses en RL directement sur robot réel, sur un plus grand nombre de tâches, et de mesurer leur robustesse face aux erreurs d'estimation de progression, qui peuvent être exploitées par la politique. Le résumé ne cite aucun acteur européen ni partenaire industriel.

RecherchePaper

1 source

2arXiv cs.RO

MVG-WAM : modélisation monde-action intégrant la géométrie multi-vues pour la manipulation robotique

Des chercheurs publient MVG-WAM (Multi-View Geometry-Aware World-Action Model), un modèle monde-action pour la manipulation robotique, décrit dans le preprint arXiv 2609.37793. Il repose sur un modèle vidéo pré-entraîné qui prédit à la fois la dynamique visuelle et les actions. Le modèle atteint 99,1 % de réussite moyenne sur LIBERO et 92,07 % sur RoboTwin 2.0. En conditions réelles, il obtient 91,3 % de succès sur 150 essais répartis sur trois tâches, avec la plateforme bimanuelle Cobot Magic. Le résumé ne détaille ni les tâches, ni le nombre d'essais par tâche, ni la comparaison avec des modèles concurrents. Il ne s'agit ni d'un produit ni d'un déploiement, mais d'un résultat de recherche. Les World-Action Models (WAM) exploitent les connaissances visuelles des modèles vidéo pour piloter des bras robotiques. Leur point faible est l'interface multi-caméras. Les images synchronisées sont en général juxtaposées en mosaïque, ou leurs tokens sont concaténés. Les relations géométriques entre caméras restent donc implicites, ce qui complique le lien entre le contexte global de la scène et la géométrie locale nécessaire au contact. MVG-WAM traite les vues comme des projections d'un même monde physique. Il combine un état global contraint par la géométrie épipolaire avec des états géométriques propres à chaque vue. Un routage sensible aux caméras fournit à chaque région vidéo son contexte géométrique et l'état global partagé. Le modèle est aussi ancré à l'échelle métrique par une supervision de profondeur future à plusieurs horizons, sans décodage de profondeur pendant l'exécution des actions. Le coût d'inférence n'augmente donc pas. Ces résultats situent MVG-WAM dans la course aux politiques généralistes issues de modèles vidéo, face aux VLA (vision-langage-action) comme Pi-0 ou GR00T. Il faut relativiser les scores. LIBERO est quasi saturé, avec des performances proches de 99 % pour plusieurs méthodes, et il discrimine donc peu. RoboTwin 2.0 est un benchmark de simulation bimanuelle plus exigeant. Le test réel de 150 essais reste modeste, sur un seul robot, et sans détail sur les conditions ni les échecs. L'écart entre benchmark et terrain n'est donc pas mesuré. Pour les intégrateurs, l'intérêt est ailleurs. Les configurations multi-caméras sont la norme en atelier, et une représentation qui exploite explicitement la calibration pourrait améliorer la précision sans capteurs supplémentaires. Reste à savoir si le gain se confirme sur des scènes non vues et des cadences industrielles. Ce travail prolonge la vague des modèles monde-action, qui greffent la prédiction vidéo sur le contrôle robotique, en parallèle des VLA fondés sur des modèles vision-langage. Ces deux approches se disputent la position de fondation pour la manipulation. Le preprint n'annonce ni code, ni calendrier, ni pilote industriel, et n'a pas été relu par des pairs. La suite logique serait une évaluation sur d'autres plateformes, des tâches plus longues et des comparaisons directes avec les VLA et WAM de référence.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

M3GD : une diffusion géométrique multimodale et multi-vue pour la synthèse de nouvelles vues caméra-LiDAR

M3GD (Multi-Modal Multi-View Geometric Diffusion), publié sur arXiv le 25 septembre 2026, est une méthode de synthèse de nouvelles vues combinant caméra et LiDAR, là où la plupart des approches génératives existantes reposent uniquement sur l'image. Le système assemble des modèles de fondation 2D et 3D pré-entraînés séparément, sans traducteur cross-modal dédié : après projection caméra, les features LiDAR et image figées partagent déjà une structure spatiale commune exploitable. Des statistiques géométriques et des descripteurs de nuages de points, regroupés en paquets alignés sur la vue, sont injectés via un adaptateur résiduel léger dans un générateur multi-vues par flow-matching, sans modifier son espace latent, ses décodeurs ni son objectif d'entraînement. Sur le jeu de données GrandTour, M3GD améliore la synthèse RGB et de profondeur par rapport à une version image seule du même modèle, et a été déployé sur un robot terrestre, avec un compromis qualité/coût réglable via le nombre d'étapes d'intégration d'Euler. L'enjeu dépasse la curiosité académique : les rendus génératifs de synthèse de vues purement image peuvent paraître réalistes tout en étant géométriquement faux, un défaut rédhibitoire quand ces vues nourrissent l'entraînement, la simulation ou la navigation d'un robot. En démontrant que des features LiDAR et image pré-entraînées séparément partagent déjà une structure spatiale exploitable sans réentraînement lourd, M3GD ouvre une voie économique pour fusionner des capteurs hétérogènes dans des pipelines génératifs existants plutôt que de reconstruire des architectures dédiées, un argument qui parle directement aux équipes de perception multi-capteurs en robotique industrielle. Le travail s'inscrit dans la lignée des générateurs multi-vues par flow-matching, famille de modèles de diffusion déjà utilisée pour la synthèse de vues en robotique, jusque-là cantonnée aux données caméra. Le papier ne cite aucun concurrent commercial et reste une contribution de recherche académique, sans produit ni pilote industriel annoncé. Sa validation se limite au jeu de données GrandTour et à un unique déploiement sur robot terrestre, sans calendrier d'intégration commerciale communiqué, ce qui situe M3GD au stade de preuve de concept plutôt que de solution prête à l'industrialisation.

RecherchePaper

1 source

4arXiv cs.RO

ARGUS : alignement de la géométrie de scène robotique face aux changements de point de vue, avec de grands modèles de vision 3D

Un article publié sur arXiv (2608.05579v1) présente ARGUS, un pipeline de pré-traitement pour les politiques visuomotrices de manipulation robotique. Le problème identifié : ces modèles confondent souvent la géométrie de la scène avec le point de vue de la caméra, apprenant où se trouve un objet dans l'image plutôt que dans l'espace de la tâche, ce qui limite leur généralisation sur des jeux de données multi-vues comme DROID ou BridgeV2. ARGUS s'appuie sur des modèles de vision 3D à grande échelle pour reprojeter les observations issues de caméras placées arbitrairement vers un point de vue canonique unique, avant de les transmettre à la politique en aval. Testé sur des configurations allant de multi-caméras fixes à des placements très variés, ARGUS surpasse les approches précédentes et converge vers des taux de réussite élevés 4 à 6 fois plus vite. Pour l'industrie robotique, ce travail cible un frein connu des intégrateurs : un modèle entraîné avec une caméra fixe généralise mal dès que l'angle ou la hauteur de montage change lors du déploiement sur une autre cellule. En montrant qu'une étape de canonicalisation géométrique en amont accélère l'apprentissage et améliore la performance sur des données hétérogènes, ARGUS alimente une hypothèse discutée en recherche VLA (vision-language-action) : décharger une partie du fardeau d'apprentissage vers des modules de perception 3D dédiés plutôt que tout confier à l'échelle des données. Pour des décideurs qui évaluent le coût de ré-entraînement face aux changements matériels, la promesse est claire : moins de données nécessaires pour généraliser. Ce travail s'inscrit dans la lignée des jeux de données ouverts DROID et BridgeV2, constitués pour agréger des démonstrations sur des configurations de caméras variées afin de démocratiser l'entraînement de politiques généralistes, une diversité qui s'est révélée être une limite plutôt qu'un atout tant que le point de vue n'était pas abstrait par le modèle. ARGUS se présente comme une brique de pré-traitement générique, indépendante de l'architecture de politique utilisée en aval, mais l'article ne précise pas sa compatibilité avec les grands modèles VLA propriétaires comme Pi-0, GR00T ou Helix qui dominent actuellement le secteur. Publié en preprint, sans code source ni test sur robot physique mentionné au-delà des jeux de données benchmark cités, sa validation en conditions réelles de déploiement reste à confirmer.

RecherchePaper

1 source