RecherchearXiv cs.RO 12 août 2026

Learning in ImaginationLand : des politiques omnidirectionnelles via des modèles génératifs 3D (OP-Gen)

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un préprint publié sur arXiv (2509.06191v2, version révisée) présente OP-Gen, une méthode qui exploite les modèles génératifs 3D récents, capables de reconstruire la forme complète d'un objet à partir de quelques images seulement, pour démultiplier artificiellement un jeu de données construit à partir d'une seule démonstration réelle. Une politique de contrôle dite omnidirectionnelle est ensuite entraînée entièrement dans cet environnement synthétique, sans données supplémentaires collectées sur le robot physique. Les auteurs valident l'approche sur plusieurs tâches de manipulation réelles: saisir des objets, ouvrir un tiroir et déposer un déchet dans une poubelle. Résultat central: le robot parvient à exécuter la tâche même en démarrant depuis des positions très éloignées de celles vues pendant la démonstration initiale, y compris depuis le côté opposé de l'objet. Comparé à des méthodes de référence utilisant d'autres techniques d'augmentation de données, OP-Gen affiche de meilleures performances sur ces tâches.

L'intérêt pratique tient au goulot d'étranglement que représente la collecte de démonstrations pour l'apprentissage par imitation et les politiques de type VLA: chaque tâche exige aujourd'hui des dizaines voire des centaines de démonstrations téléopérées pour couvrir des conditions de départ variées. En réduisant ce besoin à une seule démonstration réelle complétée par des variantes générées en 3D, OP-Gen s'attaque directement au problème de généralisation qui limite le déploiement de robots manipulateurs hors des conditions strictement observées à l'entraînement. Pour les intégrateurs industriels, cela ouvre la perspective de déployer des politiques robustes à moindre coût de collecte, sans dépendre systématiquement de pipelines de simulation complets ou de flottes de téléopération.

Ce travail s'inscrit dans une tendance de recherche plus large qui cherche à remplacer la collecte physique de données par la synthèse générative, qu'il s'agisse de vidéo ou, ici, de reconstruction 3D d'objets, une piste explorée en parallèle par des systèmes de politiques génératives comme Pi-0 ou GR00T N2 pour la généralisation multi-tâches. La mention "replace" sur arXiv indique qu'il s'agit d'une version corrigée d'une soumission antérieure, signe d'un travail encore en évolution plutôt que d'un système finalisé ou commercialisé. Aucun partenariat industriel ni déploiement en production n'est mentionné à ce stade: il s'agit d'une avancée de recherche académique, dont la prochaine étape logique serait l'extension à un plus grand nombre de tâches et l'intégration à des architectures de politique plus larges.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

NavGen : les modèles génératifs visuels comme moteur de données évolutif pour la navigation 3D incarnée

Des chercheurs présentent NavGen dans un article publié sur arXiv (identifiant 2609.30770), un pipeline de génération de données texte-vers-vidéo destiné à l'entraînement de modèles de navigation aérienne pour drones. Le système produit des épisodes de navigation vision-langage (VLN) simulant des environnements intérieurs et extérieurs, associés à une méthode de diversification stylistique conçue pour multiplier les scénarios rares et coûteux à collecter dans la réalité. Le jeu de données résultant compte environ 400 000 épisodes de navigation. Les auteurs comparent leurs résultats à ceux obtenus avec des jeux de données UAV existants sur plusieurs métriques et constatent que les performances du modèle entraîné sur NavGen progressent avec l'échelle des données, dépassant les modèles entraînés sur les corpus concurrents. Pour vérifier le transfert vers le monde réel, l'équipe a déployé le modèle selon un paradigme dit "world-action-model" lors d'essais de vol réels, avec un taux de réussite de 75% sur des tâches et environnements de navigation variés. Cette approche s'attaque à un compromis structurel connu du secteur de la robotique aérienne : les données simulées sont générables à grande échelle mais souffrent d'un écart visuel important entre simulation et réalité, tandis que les données de vol réelles sont fidèles mais coûteuses et lentes à rassembler. En proposant les modèles génératifs vidéo comme une troisième voie, capable de produire des observations visuelles réalistes sans les contraintes logistiques du vol réel, NavGen apporte un élément de preuve empirique en faveur de l'hypothèse selon laquelle des générateurs vidéo haute fidélité peuvent servir de moteurs de données scalables pour l'IA incarnée. Le résultat intéresse directement les intégrateurs et laboratoires travaillant sur des modèles vision-langage-action : un taux de succès de 75% en conditions réelles, à nuancer selon la difficulté exacte des tâches testées et le nombre d'essais réalisés, suggère que l'écart entre démonstration et déploiement réel peut se réduire grâce à des données synthétiques mieux conçues plutôt que par la seule accumulation de vols réels. NavGen s'inscrit dans la lignée des travaux récents qui cherchent à contourner la pénurie de données d'entraînement pour la robotique incarnée, un problème déjà posé pour les bras manipulateurs et les humanoïdes et qui touche tout autant la navigation aérienne autonome. L'article ne révèle ni affiliation institutionnelle ni drone commercial associé au projet, et reste au stade de préprint scientifique : aucun partenariat industriel, pilote client ni feuille de route de déploiement n'est mentionné à ce jour. Les auteurs positionnent leur travail comme une alternative aux jeux de données UAV existants utilisés comme références dans le domaine, sans toutefois les nommer explicitement. La suite logique, non confirmée par les auteurs, serait l'extension de la méthode à d'autres classes de robots mobiles ou à des tâches de navigation plus complexes.

RechercheOpinion

1 source

2arXiv cs.RO

Transformer des modèles vidéo en politiques robotiques généralistes

Des chercheurs du MIT CSAIL ont publié fin mai 2026 un preprint (arXiv:2605.27817) présentant VERA, pour Video-to-Embodied Robot Action Model, une architecture qui transforme des modèles vidéo génératifs en politiques robotiques généralisables. L'idée centrale est de découpler deux composants qui, dans les approches récentes, sont souvent entraînés conjointement : un planificateur vidéo, qui prédit des séquences d'images représentant la complétion d'une tâche, et un modèle de dynamique inverse (IDM, Inverse Dynamics Model) spécifique à l'effecteur, qui traduit ces images en commandes motrices concrètes. L'IDM est conçu à partir du Jacobien cinématique du robot, ce qui le rend à la fois efficient en données et extensible aux espaces d'action de haute dimension. L'équipe démontre VERA sur deux configurations : manipulation zero-shot d'un bras Panda 7-DOF et réorientation de cube en dextérité avec une main Allegro à 16 degrés de liberté, sur des benchmarks simulés et réels. Ce découplage constitue une alternative architecturale directe aux fondations robotiques qui co-entraînent prédiction d'observations et prédiction d'actions sur des données étiquetées (action-labeled), comme le proposent Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. L'avantage opérationnel est concret : le planificateur vidéo reste agnostique à l'effecteur et peut être partagé entre plusieurs robots en changeant uniquement l'IDM associé, sans réentraîner le backbone vidéo. L'IDM peut lui-même être entraîné sur des données de self-play facilement disponibles, ce qui réduit la dépendance aux démonstrations humaines coûteuses. Les résultats zero-shot sur des tâches de manipulation réelle renforcent la thèse que le gap sim-to-real peut être atténué par une modélisation géométrique rigoureuse de l'effecteur. La course aux VLA (Vision-Language-Action models) et aux politiques cross-embodiment est aujourd'hui dominée par des laboratoires bien capitalisés : Physical Intelligence avec Pi-0 et Pi-0.5, NVIDIA avec GR00T N2, Figure AI avec Helix, et 1X Technologies. VERA positionne le MIT CSAIL dans ce paysage avec une approche plus modulaire que les architectures monolithiques en vogue. Il s'agit pour l'instant d'un preprint de recherche, sans déploiement industriel annoncé ni partenariat hardware mentionné. Les résultats sont disponibles sur vera.csail.mit.edu, et la prochaine étape naturelle serait une évaluation sur des effecteurs plus variés ou des environnements non structurés pour valider la généralisation à plus grande échelle.

RechercheOpinion

1 source

3arXiv cs.RO

SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.06926) SWAP, pour StepWise Action Policy Routing, un cadre qui compose dynamiquement plusieurs politiques Vision-Language-Action (VLA) pendant l'exécution d'une tâche de manipulation. Aujourd'hui, la plupart des systèmes reposent sur un seul modèle VLA du début à la fin d'un épisode. SWAP formule le routage comme un problème d'apprentissage par renforcement hors ligne : un « critique de routage » est entraîné à choisir, à chaque pas de décision et selon l'observation courante, la politique la plus adaptée. Le robot peut ainsi changer de politique en cours d'épisode. L'évaluation porte sur des tâches réelles de manipulation sur la plateforme DROID et sur des simulations LIBERO. Face à l'exécution d'une politique fixe et à des méthodes de routage de référence, les auteurs annoncent jusqu'à 33 points de succès supplémentaires en conditions réelles, et une réduction de 28,3 % du nombre de pas d'action des trajectoires réussies. L'enjeu dépasse la performance brute. Le travail s'attaque à une limite que les intégrateurs constatent déjà : aucun VLA n'est le meilleur partout, et les performances varient selon la phase de la tâche et l'environnement. Au lieu d'attendre un modèle généraliste unique, SWAP traite les VLA existants comme une boîte à outils orchestrable, sans réentraîner chacun d'eux. Pour un industriel, cela suggère une voie pragmatique : combiner des politiques spécialisées ou de fournisseurs différents, et ne payer que pour la politique utile à chaque étape. La baisse de la longueur des trajectoires laisse aussi entrevoir un gain de temps de cycle, mais il s'agit d'un nombre de pas d'action, pas d'une durée mesurée en atelier. Il faut aussi rester prudent sur les chiffres : le « jusqu'à 33 % » correspond au meilleur cas, et l'abstract ne précise ni le nombre de tâches ni la taille des échantillons, ni les politiques combinées. Ce résultat s'inscrit dans la course aux modèles fondation pour la manipulation, où des VLA comme Pi-0, GR00T ou Helix sont généralement présentés comme des systèmes autonomes. Le routage entre politiques prolonge les approches de mélange d'experts, mais à l'échelle de politiques complètes et de manière apprise hors ligne. DROID, jeu de données et plateforme de manipulation très utilisé, et LIBERO, banc d'essai en simulation, servent de référence commune, ce qui facilite la comparaison. Il s'agit d'une prépublication v1 non évaluée par les pairs, sans déploiement industriel annoncé. Les prochaines étapes à surveiller : la publication du code, la robustesse du critique face à des environnements inédits, et la latence ajoutée par le routage à chaque pas de décision.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Évaluation comparative de modèles génératifs de trajectoires pour le contrôle par inférence active

Des chercheurs publient sur arXiv (2610.05692, deuxième version) GenAIF, un cadre de commande par inférence active générative. Un seul modèle génératif de trajectoires, entraîné sur des démonstrations et des interventions d'action mesurées, fournit deux éléments. Le premier est une politique conditionnée par un objectif. Le second est une correspondance probabiliste entre états et observations. Les auteurs en tirent trois exigences pour le modèle: des propositions d'actions utiles, une prédiction fidèle sous actions imposées, et une évidence d'observation probabiliste pour la mise à jour des croyances et le calcul du gain d'information attendu. Ils comparent quatre familles (diffusion, Transformers autorégressifs, autoencodeurs variationnels conditionnels ou CVAE, et flow matching) sur une tâche de manipulation MuJoCo avec plusieurs conditions physiques. La diffusion donne le meilleur contrôle sur toutes les dynamiques testées. Le CVAE offre une prédiction à court horizon comparable pour une inférence nettement plus rapide. Après un changement d'inclinaison non annoncé, la diffusion préentraînée met à jour sa croyance le plus vite parmi les modèles d'origine. Un fine-tuning sur des démonstrations de récupération accélère encore l'identification et maintient un suivi précis. Pour les équipes qui construisent des politiques apprises, le résultat chiffre un arbitrage concret entre qualité de contrôle et coût d'inférence. La diffusion est la plus performante mais la plus lourde, le CVAE est un compromis crédible quand la latence compte, et la réutilisation de trajectoires réduit le calcul. L'intérêt tient aussi à la capacité d'adaptation. Un modèle capable de dire quand ses observations contredisent ses prédictions peut détecter un changement physique, comme une charge ou une pente modifiée, sans modèle dynamique explicite. Les limites sont nettes: tout reste en simulation, sur une seule tâche, et le résumé ne donne aucun chiffre de taux de réussite ni de temps de calcul. L'écart simulation-réel n'est donc pas abordé, et il s'agit d'un travail académique, pas d'un produit. Le travail se situe au croisement de deux courants. Les politiques génératives dominent la manipulation apprise: Diffusion Policy, ACT (basé sur un CVAE) et Pi-0 (flow matching) en sont les références. L'inférence active, issue des neurosciences computationnelles, peine à s'imposer en robotique appliquée faute de modèles de dynamique exploitables. GenAIF propose de combler ce manque avec des modèles appris sur démonstrations. La suite logique passe par une validation sur robots physiques, davantage de tâches et des comparaisons directes avec les politiques de type VLA déjà déployées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source