InfrastructurearXiv cs.RO 28 juillet 2026

Real2Sim2Real pour la manipulation vision-langage-action : un pipeline basé sur AMD ROCm

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (2607.22997v1) une pile logicielle de bout en bout entièrement basée sur ROCm, l'écosystème ouvert d'AMD, pour entraîner et déployer des modèles vision-langage-action (VLA) en robotique de manipulation. L'architecture couvre trois niveaux de matériel AMD : silicium d'entraînement en datacenter, cartes Radeon PRO pour la simulation et le rendu, et puces Ryzen AI pour le calcul embarqué. Quatre démonstrations illustrent la pile : un pipeline sim-to-real entraîné avec le modèle SmolVLA et déployé sur un bras robotique Franka ; une tâche de sélection d'objet guidée par le langage baptisée « one-of-three » ; un pipeline real-to-sim qui associe des reconstructions de scènes réelles par 3D Gaussian Splatting (3DGS) au moteur physique Genesis pour générer des données d'entraînement synthétiques ; et un entraînement par renforcement à grande échelle pour la locomotion de robots quadrupèdes et humanoïdes, benchmarké sur plusieurs plateformes matérielles. L'ensemble fonctionne nativement sous ROCm et PyTorch sur des GPU RDNA4 (Radeon AI PRO R9700) et RDNA3.5 (Radeon PRO W7900), et les pipelines sont reproductibles gratuitement sur la Radeon Cloud Platform.

L'enjeu dépasse la simple démonstration technique : la quasi-totalité des pipelines VLA publiés jusqu'ici, de SmolVLA à Pi-0 en passant par GR00T N2 ou Helix, s'entraînent et se déploient sur des écosystèmes CUDA de Nvidia, aujourd'hui quasi incontournable dans l'IA physique. En montrant qu'un pipeline sim-to-real complet, du rendu 3DGS à l'inférence embarquée, tient sur ROCm sans réécriture lourde, les auteurs ouvrent une alternative matérielle crédible pour les intégrateurs et laboratoires cherchant à diversifier leurs fournisseurs de calcul ou à réduire leurs coûts. Pour les décideurs B2B, le signal principal reste la reproductibilité gratuite via la Radeon Cloud Platform, qui abaisse la barrière d'entrée pour tester des politiques VLA sans investir dans du matériel Nvidia. Le papier demeure toutefois une preuve de faisabilité technique sur des tâches de manipulation limitées (un bras Franka, un tri à trois objets), sans démonstration de déploiement industriel à l'échelle ni de comparaison chiffrée de performance face aux stacks CUDA équivalentes.

Cette publication s'inscrit dans la course engagée par AMD pour rattraper son retard face à Nvidia sur le marché de l'IA, et plus spécifiquement sur celui, naissant, de l'IA physique évoqué par Lisa Su au CES 2026 et par Jensen Huang lors de la GTC Paris de juin 2025. Le choix des briques logicielles, SmolVLA (Hugging Face), Genesis (moteur physique open source) et 3D Gaussian Splatting, situe les auteurs dans la mouvance open source de la robotique généraliste, aux côtés d'acteurs comme Physical Intelligence (Pi-0) ou Nvidia lui-même avec GR00T. Aucun acteur français ou européen n'apparaît dans cette publication centrée sur l'infrastructure matérielle. Les auteurs annoncent code et pipelines reproductibles dès aujourd'hui sur la Radeon Cloud Platform, sans toutefois préciser de calendrier de commercialisation ni de partenariats industriels concrets à ce stade.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Gestion et déploiement efficaces des modèles vision-langage-action (VLA) pour les usines robotiques

Un article publié sur arXiv (2609.12075v1, septembre 2026) présente Robion, un système de serving pour les modèles Vision-Language-Action (VLA), qui combinent un modèle vision-langage (VLM) et un transformeur de diffusion d'actions (ADiT), déployés sur des serveurs de périphérie multi-GPU desservant plusieurs robots. Le système répartit les deux étapes sur deux flux au sein d'un même GPU, limite dynamiquement les unités de calcul allouées au VLM pour garantir des ressources disponibles à l'ADiT, et fait cohabiter plusieurs modèles en priorisant les requêtes selon le temps de service restant. Par modèle, Robion sert en moyenne 6,7 fois plus de robots que vLLM-Omni et 1,5 fois plus qu'une architecture monolithique classique, à 98 % de conformité aux objectifs de latence (SLO). Sur un serveur à quatre GPU exécutant huit modèles différents, il sert jusqu'à 64 robots simultanément dans ces mêmes conditions. L'enjeu porte sur l'infrastructure de déploiement en flotte, un maillon jusqu'ici négligé face à la course aux modèles VLA toujours plus capables. Pour les intégrateurs et décideurs industriels, la question posée est concrète : combien de robots un même serveur GPU peut piloter en temps réel sans violer les contraintes de latence liées à la sécurité, ce qui détermine directement le coût de calcul par robot déployé. Les systèmes existants, qu'il s'agisse de serveurs multi-étapes optimisés pour le débit comme vLLM-Omni ou de pipelines monolithiques, ne sont pas conçus pour des étapes de l'ordre de la milliseconde ni pour l'exécution simultanée de plusieurs modèles sous contrainte stricte de latence, ce que Robion cherche justement à corriger. Le travail s'inscrit dans un contexte où des modèles VLA généralistes comme Pi-0, GR00T N2 ou Helix ont récemment démontré des capacités de manipulation croissantes, alimentant une course à l'industrialisation entre laboratoires et fabricants de robots humanoïdes ou de bras manipulateurs. Robion reste une contribution de recherche en prépublication, testée sur un banc de huit modèles génériques et non sur des systèmes commerciaux nommés, sans partenariat industriel ni calendrier de déploiement annoncés à ce stade. Elle illustre néanmoins une tendance de fond : à mesure que les modèles VLA se multiplient, la capacité à les servir en production sur du matériel mutualisé devient un critère de compétitivité aussi déterminant que la performance des modèles eux-mêmes.

InfrastructureActu

1 source

2arXiv cs.RO

ForeTac-VLA : un modèle vision-langage-action tactile basé sur la prévision pour la manipulation robotique en contact riche

Publié en septembre 2026 sur arXiv sous la référence 2609.20980, ForeTac-VLA est un modèle vision-langage-action (VLA) qui ajoute une couche tactile prédictive pour la manipulation robotique en environnement riche en contacts physiques. Le système encode les observations tactiles récentes en représentations temporelles, les fusionne avec les caractéristiques vision-langage par attention croisée bidirectionnelle, puis un module de prévision fondé sur un transformeur anticipe l'état tactile sur plusieurs pas de temps futurs avant d'injecter ces prédictions dans le backbone VLA qui génère l'action. Un curriculum passant progressivement des données tactiles réelles aux données prédites stabilise l'entraînement lorsque les premières prévisions sont peu fiables. Sur quatre tâches de manipulation réelles à fort contact physique, ForeTac-VLA atteint un taux de réussite moyen de 95%, avec un gain de 36,25 points de pourcentage sur un VLA simplement affiné et de plus de 22 points sur les meilleures méthodes tactiles-VLA existantes, tout en maintenant ses performances en faible luminosité et en environnement visuellement encombré. Ce travail cible une faiblesse connue des modèles VLA, très dépendants de la vision, alors que des états physiques critiques comme le glissement d'un objet ou l'alignement lors d'une insertion ne sont pas observables visuellement. Les approches tactiles existantes se contentaient de réagir au contact déjà survenu; ForeTac-VLA propose de l'anticiper, ce qui change la nature du signal exploité par le modèle d'action. Pour les intégrateurs industriels, l'intérêt pratique tient à la robustesse démontrée en conditions dégradées, faible éclairage ou encombrement visuel, des situations fréquentes en usine ou en entrepôt où la vision seule échoue souvent. Si ces écarts se confirment au-delà des quatre tâches testées, cela conforterait l'idée qu'une fusion tactile prédictive, plutôt que purement réactive, est une piste sérieuse pour fiabiliser la manipulation en contact riche, un point faible récurrent des démonstrations VLA actuelles. ForeTac-VLA s'inscrit dans la lignée des modèles VLA génériques qui unifient perception, langage et contrôle moteur, et dans la sous-famille plus récente des VLA tactiles qui ajoutent un capteur de contact au pipeline vision-langage. Il se positionne explicitement contre ces baselines tactiles-VLA de l'état de l'art, qu'il dépasse de plus de 22 points, ainsi que contre un VLA classique simplement affiné sur les mêmes tâches. La publication reste un preprint arXiv, sans nom d'entreprise ni calendrier de déploiement industriel associé: il s'agit d'un résultat de recherche évalué sur quatre tâches choisies par les auteurs et illustré par des vidéos sélectionnées sur le site du projet, pas d'un produit commercialisé. Les suites attendues sont l'élargissement à davantage de tâches et de plateformes robotiques, ainsi qu'une évaluation indépendante confirmant que l'écart de performance tient face à des scénarios plus variés que le banc d'essai initial.

IA physiqueOpinion

1 source

3arXiv cs.RO

Grands modèles vision-langage-action (VLA) pour la manipulation robotique : une revue

Une équipe de chercheurs publie sur arXiv (référence 2508.13073, troisième version) une revue systématique consacrée aux modèles Vision-Language-Action (VLA) construits sur de grands modèles vision-langage (VLM) pour la manipulation robotique. Le travail propose une taxonomie en deux familles d'architectures : les modèles monolithiques, déclinés en conception à système unique ou à double système selon le degré d'intégration entre perception et action, et les modèles hiérarchiques, qui séparent explicitement la planification de l'exécution via des représentations intermédiaires interprétables. La revue couvre l'articulation de ces modèles avec l'apprentissage par renforcement, l'optimisation sans réentraînement, l'apprentissage à partir de vidéos humaines et les modèles du monde, et recense les jeux de données et benchmarks du domaine. Les auteurs publient une page de projet mise à jour en continu sur GitHub, sous le compte JiuTian-VL. Contrairement aux annonces produits qui rythment l'actualité de la robotique humanoïde, ce travail ne présente ni déploiement ni chiffre de performance vérifié : c'est un effort de mise en ordre académique, justifié par la fragmentation et les incohérences de taxonomie qui caractérisent aujourd'hui le champ des VLA. Pour les intégrateurs et décideurs B2B, l'intérêt est méthodologique plutôt qu'opérationnel : la distinction entre architectures monolithiques et hiérarchiques donne une grille pour décrypter des offres commerciales qui se réclament du "VLA" sans détailler leur conception interne. La revue rappelle aussi que plusieurs briques restent des chantiers ouverts, mémoire, perception 4D, adaptation efficace, coopération multi-agents, ce qui tempère l'idée qu'un modèle vision-langage-action généraliste serait déjà un problème résolu à l'échelle industrielle. Les VLA se sont imposés ces dernières années comme alternative aux méthodes robotiques à base de règles, jugées incapables de généraliser à des environnements non structurés, en s'appuyant sur des VLM pré-entraînés sur de vastes corpus image-texte. Cette revue s'inscrit dans une production académique croissante qui tente de cartographier un champ où de nombreux laboratoires publient des architectures concurrentes sans convention de classification commune, d'où l'objectif affiché de résoudre les incohérences des taxonomies existantes. Le document ne cite aucun système commercial ni partenaire industriel précis ; il est pensé comme une ressource vivante, régulièrement actualisée, utile pour situer les futures annonces de VLA propriétaires, qu'elles viennent de laboratoires de recherche ou de fabricants de robots humanoïdes, par rapport à l'état de l'art académique.

RecherchePaper

1 source

4arXiv cs.RO

NVIDIA Isaac Sim : une simulation GPU accélérée et évolutive pour la robotique

NVIDIA Isaac Sim s'est imposé comme une infrastructure centrale dans la recherche en robotique, et une étude de synthèse publiée sur arXiv (réf. 2606.03551) en propose la première analyse systématique. Contrairement aux simulateurs classiques comme Gazebo, PyBullet ou MuJoCo, Isaac Sim exploite l'accélération GPU pour permettre un entraînement parallèle à grande échelle et une modélisation physique haute fidélité. La plateforme intègre un pipeline de génération de données synthétiques qui pallie la rareté chronique des données d'entraînement de qualité, un verrou majeur pour le robot learning. Les auteurs analysent des études représentatives dans cinq grands domaines d'application et documentent les patterns d'usage dominants, notamment la génération de données et la simulation haute fidélité, sans se limiter à une liste de fonctionnalités marketing. L'enjeu industriel est significatif : la capacité à générer des données synthétiques crédibles et à entraîner des politiques en simulation massivement parallèle est aujourd'hui au coeur du débat sur le sim-to-real transfer. Pour les intégrateurs et les équipes R&D, une plateforme qui réduit le besoin de données réelles et compresse les cycles d'itération représente un avantage compétitif concret. Les auteurs pointent également les limites : la dépendance au matériel NVIDIA (GPU haut de gamme requis), des contraintes d'utilisabilité pratique, et des questions ouvertes autour de l'apprentissage en environnement ouvert (open-world learning), un domaine où aucun simulateur n'a encore apporté de réponse satisfaisante à l'échelle. Isaac Sim s'inscrit dans la stratégie plus large de NVIDIA dans la robotique, qui comprend le framework Isaac Lab, les modèles de fondation GR00T, et l'écosystème Omniverse. Face à lui, des alternatives open-source comme MuJoCo (DeepMind) ou Genesis gagnent du terrain, notamment pour leur accessibilité. L'étude identifie trois directions futures prioritaires : l'apprentissage physique en monde ouvert, les pipelines d'entraînement centrés sur la simulation, et la réduction des frictions d'adoption. Ces axes correspondent précisément aux blocages actuels pour industrialiser le déploiement de robots apprenants en dehors des labs.

UELes équipes R&D et laboratoires européens en robotique peuvent s'appuyer sur cette première analyse systématique pour arbitrer entre Isaac Sim et les alternatives open-source (MuJoCo, Genesis), notamment au regard de la dépendance au matériel NVIDIA haut de gamme.

InfrastructureOpinion

1 source