RecherchearXiv cs.RO 21 septembre 2026

Pilotage sûr et en temps réel des politiques par optimisation de trajectoire dans l'espace du bruit pour des politiques génératives en une étape

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une publication déposée sur arXiv (référence 2609.21220, catégorie "new") présente INSPO, une méthode pour piloter en temps réel des politiques robotiques génératives sans les réentraîner. Le problème visé est le suivant : les politiques préentraînées de type diffusion ou flow matching génèrent des comportements variés et multimodaux, mais restent difficiles à adapter aux contraintes imposées au moment du déploiement, comme l'évitement de collision ou le maintien d'une orientation donnée, sans repasser par un guidage par gradient coûteux appliqué tout au long d'un processus itératif, trop lent pour du contrôle temps réel. INSPO reformule le problème comme une optimisation de trajectoire dans l'espace du bruit d'entrée de la politique : au lieu de modifier directement les actions générées, l'algorithme optimise le bruit injecté en évaluant les contraintes sur la trajectoire d'état qui en résulte, avec un terme de régularisation qui garde la solution proche de la distribution d'entrée native du modèle, le tout résolu en ligne par optimisation par essaim de particules. Les auteurs testent la méthode sur des politiques spécifiques à une tâche, à base d'état ou d'image, et sur des politiques généralistes vision-langage-action, avec trois bancs d'essai simulés : Push-T, la préhension-dépose de boîtes de conserve (Can pick-and-place) et LIBERO-Spatial.

Pour l'industrie robotique, ce travail cible un verrou concret : les politiques génératives promettent plus de diversité comportementale que les politiques déterministes classiques, mais leur nature stochastique complique la garantie de contraintes de sécurité strictes une fois déployées sur un bras ou un robot mobile réel. Jusqu'ici, imposer ces contraintes passait soit par un rejet coûteux d'échantillons (best-of-N sampling), soit par une projection a posteriori des actions générées, soit par un guidage par gradient trop lent pour le temps réel. INSPO affiche de meilleurs taux de réussite et de respect des contraintes que les deux premières approches, tout en égalant le guidage par gradient avec un temps d'exécution plus faible, ce qui, si cela se confirme sur du matériel physique, réduirait un frein réel à l'usage industriel des politiques VLA génériques du type Pi-0 ou GR00T, où la sécurité à l'inférence limite encore la commercialisation au-delà des démonstrations.

Ce travail s'inscrit dans la vague des politiques robotiques fondées sur la diffusion ou le flow matching, et plus particulièrement dans le virage récent vers des politiques génératives "en une étape", plus rapides à échantillonner que les processus itératifs classiques mais qui rendent obsolètes certaines méthodes de guidage par gradient conçues pour ces derniers. À ce stade, INSPO n'a été validé que sur des bancs d'essai simulés standards de la littérature, sans démonstration sur robot physique ni comparaison avec un système commercial : il s'agit d'une contribution méthodologique amont plutôt que d'un produit ou d'un déploiement annoncé. Aucun acteur français ou européen n'apparaît dans cette publication.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

OGPO : optimisation de politique générative en une étape pour le contrôle de robots en temps réel

Des chercheurs publient OGPO (One-Step Generative Policy Optimization), un cadre d'apprentissage pour le contrôle robotique en temps réel, dont la version 2 vient d'être diffusée sur arXiv (2601.20701). Il vise un problème précis : les politiques de contrôle fondées sur la diffusion ou le flow matching génèrent les actions en plusieurs étapes d'échantillonnage, ce qui limite leur usage dès que la latence compte. Réduire ce nombre d'étapes à un seul dégrade d'ordinaire la qualité de représentation et la performance sur la tâche. Les auteurs décrivent un compromis à trois pôles entre vitesse, fidélité et performance. OGPO associe une architecture légère au principe d'« interval velocity » pour une inférence en une étape sans distillation, tandis qu'une technique de « représentation spreading » évite la dégradation des représentations. Une phase d'apprentissage par renforcement (RL) on-policy affine ensuite cette politique rapide et stable. Sur les benchmarks RoboMimic et OpenAI Gym, la méthode égale ou dépasse des références multi-étapes, avec une inférence 5 à 20 fois plus rapide et une fréquence de contrôle supérieure à 120 Hz. Un déploiement physique sur un bras Franka Emika Panda est présenté comme validation. L'intérêt tient à la place des politiques génératives dans la robotique actuelle. Diffusion et flow matching sont devenus des choix courants pour représenter des comportements multimodaux, y compris dans plusieurs architectures VLA (vision-langage-action). Leur coût d'inférence impose pourtant des compromis : fréquences de contrôle basses, découpage des actions en blocs (chunking), ou matériel de calcul embarqué plus lourd. Une politique à plus de 120 Hz sans distillation, si les résultats tiennent, rapprocherait ces méthodes des boucles de contrôle réactives, utiles pour la manipulation fine ou le contact. L'ajout du RL on-policy répond à une limite connue de l'apprentissage par imitation, dont la performance reste bornée par la qualité des démonstrations. Les réserves sont claires : RoboMimic et Gym sont des benchmarks académiques, la validation réelle se limite à un seul bras et le résumé ne détaille ni les tâches physiques, ni le taux de réussite, ni le matériel de calcul. Le gain de 5 à 20 fois dépend des références choisies. Ce travail s'inscrit dans une course à l'accélération des politiques génératives. Diffusion Policy a imposé le paradigme, les approches de flow matching comme Pi-0 l'ont repris à plus grande échelle, et plusieurs équipes explorent la distillation en peu d'étapes ou le fine-tuning par RL de ces politiques. OGPO prend une voie sans distillation, en combinant vitesse et amélioration par renforcement. Il s'agit ici d'une publication de recherche, sans produit ni déploiement industriel annoncé. La suite dépendra des preuves sur des tâches plus variées, sur des robots différents et, surtout, de son intégration dans de grands modèles VLA. Une page de projet accompagne l'article.

RecherchePaper

1 source

2arXiv cs.RO

HIGenNTO : génération évolutive d'interactions humanoïdes par optimisation de trajectoire dans l'espace de bruit

Des chercheurs présentent HIGenNTO (Humanoid Interaction Generation via Noise-space Trajectory Optimization), décrit dans un article publié sur arXiv le 22 septembre 2026 (arXiv:2609.22611v1). Le framework s'attaque à un problème concret de l'apprentissage par imitation chez les robots humanoïdes : les références de mouvement issues de capture de mouvement (motion capture) se dégradent en cas d'occlusion ou de contact physique rapproché, et le retargeting vers un squelette robotique introduit des incohérences géométriques et de contact. La méthode optimise le bruit initial d'un modèle de mouvement pré-entraîné et conditionné par texte, sous des contraintes spatio-temporelles et de scène éparses, afin de générer des trajectoires d'interaction humanoïde-scène qui respectent les contacts souhaités, évitent les collisions et conservent un appui stable, tout en préservant le réalisme du modèle de base. Ces mouvements, générés depuis zéro ou composés en séquences longues par étapes, sont ensuite exécutés par des politiques de suivi en simulation, puis utilisés pour entraîner des politiques visuomotrices conditionnées par la profondeur, fonctionnant uniquement avec les capteurs embarqués. L'équipe a déployé ces politiques sur un robot Unitree G1 pour quatre tâches riches en contacts, parmi huit tâches évaluées au total, dont trois ont été proposées et compilées (prompts, contraintes, scènes) par un agent de codage autonome. L'intérêt principal tient au contournement d'un goulot d'étranglement connu du secteur : la difficulté d'obtenir des données de démonstration fiables pour des interactions physiques complexes (s'asseoir, pousser, manipuler un objet), sans dépendre de capture de mouvement humaine coûteuse et imparfaite. Le recours à un agent de codage pour générer automatiquement des spécifications de tâches ouvre une piste de mise à l'échelle des pipelines de données, un enjeu central pour les laboratoires qui développent des modèles VLA comme Pi-0, GR00T N2 ou Helix. Il faut toutefois noter l'échelle limitée de la démonstration, huit tâches seulement, dont quatre validées sur robot réel, ce qui en fait une preuve de concept académique plutôt qu'un système prêt pour un déploiement industriel. Le choix du Unitree G1, plateforme largement utilisée en recherche académique pour son coût accessible, situe ce travail dans la lignée des efforts combinant modèles génératifs de mouvement et politiques d'exécution par simulation, sans acteur commercial ni implication d'un intégrateur français ou européen. Aucun calendrier de pilote industriel n'est annoncé, le travail restant à ce stade cantonné à la validation en laboratoire et à l'extension future du nombre de tâches couvertes.

RecherchePaper

1 source

3arXiv cs.RO

Au-delà du pilotage du bruit : apprentissage par renforcement à double espace latent pour les politiques génératives en robotique

Publié sur arXiv le 11 septembre 2026 sous la référence 2609.11270v1, un article lié au dépôt GitHub xianchaoxiu présente DLSRL (Dual-Latent Space Reinforcement Learning), une méthode d'apprentissage par renforcement pour affiner des politiques robotiques génératives préentraînées par démonstration. Le constat de départ : les méthodes de RL existantes se contentent de piloter le bruit initial du générateur, comme dans les politiques de diffusion ou de flow matching, sans jamais toucher aux représentations d'action intermédiaires produites pendant la génération, ce qui dégrade performance et efficacité. DLSRL fait prédire par un réseau acteur deux latentes distinctes, l'une pour le bruit initial qui pilote le comportement généré, l'autre pour la représentation d'action qui module les caractéristiques intermédiaires. Cette seconde latente est projetée en "adapter features" et injectée par connexions résiduelles dans les états cachés des tokens d'action intermédiaires, à l'intérieur d'un générateur qui reste gelé. Le code est publié sur GitHub (xianchaoxiu/DLSRL) ; les tests couvrent plusieurs architectures de politiques génératives et plusieurs tâches de manipulation robotique, sans que le résumé ne détaille de chiffres de temps de cycle ou de taux de réussite précis. Pour les équipes qui affinent par RL des politiques de type diffusion ou flow matching, l'enjeu est concret : jusqu'ici, le RL en ligne appliqué à ces générateurs ne modifiait que l'entrée du processus de débruitage, laissant les représentations internes largement figées et ralentissant l'adaptation à de nouvelles tâches ou conditions. En ajoutant un canal de contrôle au niveau des représentations sans mettre à jour la politique de base, DLSRL vise une adaptation en ligne plus rapide tout en préservant l'investissement de préentraînement, un argument qui parle directement aux intégrateurs cherchant à réduire le coût de réadaptation d'un modèle générique à un site ou une tâche spécifique. Reste que "accélère efficacement" et "performance compétitive" sont des formulations non chiffrées dans le résumé, ce qui invite à lire les résultats expérimentaux complets avant d'en juger l'ampleur réelle. DLSRL s'inscrit dans la lignée des politiques robotiques génératives entraînées par imitation puis affinées par renforcement, un courant porté par la diffusion des politiques de type diffusion et flow matching en manipulation robotique. Les méthodes de fine-tuning par RL précédentes se limitaient au pilotage du bruit d'entrée ; DLSRL se présente explicitement comme un complément à ces approches, pas un remplacement. Il s'agit à ce stade d'une contribution de recherche publiée en preprint, sans lien annoncé avec un acteur industriel, un déploiement sur robot physique, ou un partenaire français ou européen. La suite logique passe par la reproduction des résultats via le code partagé sur GitHub et par des comparaisons indépendantes face aux méthodes de steering de bruit existantes.

RecherchePaper

1 source

4arXiv cs.RO

Q-Learning par transport optimal pour le pilotage et l'accélération de politiques de flux

Des chercheurs proposent une nouvelle méthode baptisée Optimal Transport Q-Learning (OTQL), destinée à affiner et accélérer les politiques robotiques basées sur des modèles de diffusion et de flow matching, très utilisées dans les modèles vision-langage-action (VLA). Publiée le 8 juillet sur arXiv, l'étude combine apprentissage par renforcement (RL) post-entraînement et transport optimal conditionné par l'avantage, pour corriger les comportements sous-optimaux de ces politiques sans recourir à la distillation, coûteuse en calcul. Avec un budget d'interaction limité à seulement 50 à 60 épisodes, la méthode fait grimper le taux de succès moyen de politiques mono-tâche de 36 % à 86 %, et celui d'un modèle VLA pré-entraîné de 38 % à 76 %, tout en réduisant de 70 % le nombre d'étapes d'inférence nécessaires pour générer une action. Les tests ont été menés à la fois en simulation et sur des tâches robotiques réelles. Ces résultats s'attaquent à deux limites bien connues des politiques de diffusion et de flow matching pour la robotique: leur dépendance à des démonstrations de haute qualité, souvent rares ou coûteuses à collecter, et leur lenteur d'inférence, qui freine leur déploiement temps réel sur des robots physiques. En démontrant qu'un nombre restreint d'épisodes d'expérience réelle suffit à corriger significativement les échecs sous décalage de distribution, OTQL apporte un début de réponse à l'écart persistant entre démonstrations en laboratoire et performance en conditions réelles, un problème central pour les intégrateurs qui cherchent à fiabiliser des modèles VLA du type de ceux utilisés dans les bras manipulateurs ou les humanoïdes actuels. La réduction de 70 % des étapes d'inférence est également notable pour les décideurs B2B, car elle touche directement au coût de calcul embarqué et à la latence, deux freins concrets à la commercialisation à grande échelle de politiques génératives sur robot. Les politiques de diffusion et de flow matching se sont imposées ces dernières années comme l'approche dominante pour capturer des distributions de trajectoires multimodales dans les tâches de manipulation robotique, notamment dans les architectures VLA. Mais leur adoption industrielle butait jusqu'ici sur deux verrous: l'accélération de l'inférence, généralement traitée par des méthodes de distillation gourmandes en ressources de simulation, et l'amélioration post-déploiement, qui nécessite habituellement de nouvelles données de démonstration coûteuses à produire. OTQL s'inscrit dans une lignée de travaux cherchant à exploiter le RL pour du post-entraînement léger plutôt que du réentraînement complet. Les auteurs ne précisent pas encore de calendrier de transfert vers des plateformes commerciales, mais la méthode ouvre une piste pour que les opérateurs de flottes robotiques affinent leurs politiques directement à partir de l'expérience de terrain, sans dépendre de nouveaux cycles de collecte de données coûteux.

RechercheActu

1 source