Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Accélérer l'apprentissage de politiques visuelles grâce au contrôle prédictif par échantillonnage
RecherchearXiv cs.RO 

Accélérer l'apprentissage de politiques visuelles grâce au contrôle prédictif par échantillonnage

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche a publié le 20 septembre 2026 sur arXiv (2609.20575) une méthode baptisée Sampling-Guided Policy Search (SGPS), destinée à l'apprentissage de politiques visuelles pour la locomotion et la manipulation de robots. Le système combine un contrôle prédictif par échantillonnage (sampling-based model-prédictive control) avec des gradients de politique de premier ordre (FoPG) issus de simulation différentiable, une technique reconnue pour réduire le coût de calcul mais sujette à converger vers des schémas de contact non désirés entre le robot et son environnement. La politique est d'abord initialisée par clonage de comportement à partir d'actions échantillonnées, puis l'entraînement alterne raffinement par échantillonnage et mises à jour FoPG à court horizon, sous états initiaux perturbés et dynamiques randomisées. Une formulation FoPG découplée exclut le rendu du graphe de calcul, ce qui permet d'apprendre directement à partir d'observations de profondeur (depth) sans passer par un professeur basé sur l'état complet du système. L'entraînement tient sur un seul GPU et couvre locomotion, franchissement d'obstacles, poussée de caisse et portage bimanuel, testés en simulation sur les robots quadrupèdes et humanoïdes Unitree Go2 et G1. La politique distillée a ensuite été transférée en zero-shot sur un Go2 réel, capable de trotter, ramper, franchir des haies et alterner entre ces comportements de façon autonome grâce à sa caméra de profondeur embarquée.

Pour l'industrie robotique, ce travail répond à deux contraintes concrètes : le coût prohibitif en GPU et mémoire de l'apprentissage de politiques visuelles, et le fossé persistant entre simulation et réel pour les comportements de contact. En démontrant qu'une politique fondée uniquement sur la profondeur, entraînée sur un seul GPU, transfère sans réentraînement sur un robot physique, l'étude nuance l'idée reçue selon laquelle les politiques vision-langage-action à grande échelle nécessitent systématiquement des infrastructures massives ou un professeur privilégié à état complet. Cela intéresse directement les intégrateurs travaillant sur AMR et quadrupèdes à budget de calcul limité.

Ce résultat s'inscrit dans la lignée des travaux combinant simulation différentiable (type Isaac Gym) et contrôle prédictif pour la locomotion de robots à pattes, un axe de recherche actif face aux approches par distillation professeur-élève à partir d'état privilégié. Il s'agit d'un preprint académique sans annonce de déploiement commercial ni de partenaire industriel ; les prochaines étapes attendues concernent l'extension à d'autres plateformes et tâches de manipulation bimanuelle.

Dans nos dossiers

UnitreeIA physique & VLAarXiv cs.RO

À lire aussi

Accélérer l'exécution des politiques grâce à un apprentissage par renforcement léger : SpeedTuning
1arXiv cs.RO 

Accélérer l'exécution des politiques grâce à un apprentissage par renforcement léger : SpeedTuning

SpeedTuning, un framework d'apprentissage par renforcement décrit dans une prépublication arXiv du 11 août 2026 (arXiv:2608.09138v1), vise à accélérer l'exécution des politiques de manipulation robotique apprises par imitation. Le système apprend à prédire, pour chaque action, la vitesse d'exécution optimale, en complément d'une politique de base déjà entraînée et sans nécessiter de nouvelle collecte de démonstrations. Ses auteurs rapportent un gain de vitesse supérieur à 2,4x par rapport à la politique originale, avec un taux de réussite jugé adéquat, comparé à la fois à la politique de base et à des méthodes d'accélération naïves comme l'interpolation linéaire à vitesse fixe. La méthode a été testée sur des tâches dynamiques et précises, verser un liquide, lancer un objet et saisir un objet, en conditions réelles sur robot. Le problème ciblé touche un point sensible du secteur : les politiques apprises par imitation héritent de la cadence de l'opérateur humain pendant la téléopération de collecte de données, ce qui plafonne structurellement leur vitesse une fois déployées, et aucune méthode établie ne permettait jusqu'ici d'accélérer une politique déjà entraînée sans repasser par une collecte de démonstrations plus rapides et coûteuses en heures de téléopération. En démontrant qu'il est possible de découpler vitesse d'exécution et taux de réussite, SpeedTuning s'adresse directement aux intégrateurs industriels, pour qui le temps de cycle conditionne la rentabilité d'une cellule robotisée. La portée de la démonstration reste toutefois limitée : le gain de 2,4x est une moyenne sur trois familles de tâches testées en laboratoire, pas une garantie généralisable, et l'article ne précise ni la plateforme robotique utilisée ni son nombre de degrés de liberté. Ce travail s'inscrit dans une limitation bien identifiée de l'apprentissage par imitation appliqué à la manipulation robotique, où les politiques de type diffusion ou VLA (vision-language-action) restent bridées par la qualité et la vitesse des démonstrations humaines collectées par téléopération, un goulot d'étranglement sur lequel travaillent plusieurs laboratoires développant des modèles fondation pour la robotique. En proposant une couche d'accélération post-hoc plutôt qu'une nouvelle architecture de politique ou un nouveau mode de collecte, SpeedTuning se positionne comme un complément aux approches existantes plutôt qu'un concurrent direct. Le document, publié en prépublication sur arXiv et non encore évalué par les pairs, ne mentionne aucun partenariat industriel ni date de mise en production : il s'agit pour l'instant d'un résultat de recherche restant à valider sur un éventail plus large de tâches et de plateformes avant toute adoption en environnement industriel.

RecherchePaper
1 source
Unifier l'apprentissage de politiques et la prédiction d'états grâce à la modélisation spatiale du langage
2arXiv cs.RO 

Unifier l'apprentissage de politiques et la prédiction d'états grâce à la modélisation spatiale du langage

Des chercheurs proposent, dans un preprint arXiv (2610.12172), le « Spatial Language Modeling », une approche qui fait apprendre à un seul Transformer autorégressif à la fois la génération d'actions et la prédiction des états futurs d'une scène. Le principe consiste à représenter les contours de la scène, les objectifs, les cibles d'action et les états futurs avec un vocabulaire commun de coordonnées discrètes et de tokens sémantiques. Une grammaire propre à chaque tâche organise ces éléments en séquences spatiales, de sorte qu'un même objectif de prédiction du token suivant couvre le contrôle et la modélisation de l'état. Le modèle est entraîné de zéro en deux temps : un pré-entraînement sur des transitions issues de jeu aléatoire, puis un entraînement conjoint actions et états sur des démonstrations expertes. Pendant le pré-entraînement, les coordonnées d'action enregistrées servent de condition aux prédictions d'état suivantes, mais sont exclues de la perte. En phase de contrôle, le modèle ne décode que les cibles d'action exécutables et met à jour son historique avec les états réellement observés. L'évaluation porte sur la tâche Push-T, en simulation et sur un robot réel. Les auteurs annoncent des performances compétitives en simulation, et un taux de réussite ainsi qu'une couverture de la cible supérieurs à ceux des politiques de référence testées sur robot réel. Pour les équipes qui travaillent sur les politiques de manipulation, l'intérêt tient à la supervision complémentaire apportée par l'apprentissage des effets géométriques des actions. Les ablations indiquent que l'entraînement sur des séquences conjointes action-état améliore le contrôle, et que le pré-entraînement sur du jeu aléatoire apporte un gain supplémentaire. Ce dernier point est pertinent en pratique : ces données sont bon marché à collecter, sans téléopérateur expert. Le même modèle, alimenté avec des trajectoires d'actions fournies, prédit aussi les états successifs de la scène et reproduit les effets du poussage. Il joue donc à la fois le rôle de politique et de modèle du monde léger. Il faut toutefois rester prudent sur la portée de ces résultats. Push-T est un benchmark de poussage planaire d'un objet en forme de T, relativement simple, et le texte ne chiffre pas, dans son résumé, l'écart avec les baselines ni la taille de l'échantillon d'essais réels. La généralisation à des tâches à contacts riches, à de la 3D ou à des préhenseurs multi-doigts reste à démontrer, de même que le passage à l'échelle d'un vocabulaire de coordonnées discrètes. Ce travail s'inscrit dans un mouvement plus large visant à unifier perception, action et prédiction dans des architectures de type langage. Il se distingue des approches VLA (vision-langage-action) dominantes, qui reposent sur de grands modèles pré-entraînés, par un entraînement de zéro, sans pré-entraînement web, et par une représentation entièrement spatiale. Parmi les références habituelles de Push-T figurent les politiques de diffusion, qui servent souvent de base de comparaison, ainsi que les modèles du monde appris pour la planification. Le résumé ne précise ni l'équipe, ni le code, ni d'éventuelles extensions annoncées. Il s'agit à ce stade d'un preprint non évalué par des pairs, sans déploiement industriel associé. La suite logique sera de tester la méthode sur des tâches plus longues, sur des scènes 3D et sur des manipulations avec contacts complexes.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Apprentissage par imitation physique : distiller des politiques de contrôle en élasticité passive
3arXiv cs.RO 

Apprentissage par imitation physique : distiller des politiques de contrôle en élasticité passive

Des chercheurs proposent Physical Imitation Learning (PIL), une méthode de co-conception contrôle-mécanique publiée sur arXiv (2604.00611). Le principe: prendre une politique de contrôle apprise par renforcement (RL) et la décomposer automatiquement en deux composantes distinctes, une contribution active (actionneurs) et une contribution passive, cette dernière étant ensuite transférée vers des articulations élastiques parallèles passives (PEJ, Passive Parallel Elastic Joints). La politique RL est ensuite ré-entraînée pour exploiter activement l'assistance mécanique des PEJ, en générant des allures mieux adaptées à leur comportement intrinsèque. En simulation sur des quadrupèdes, la méthode parvient à déléguer jusqu'à 95 % de la puissance mécanique aux PEJ sur terrain plat, et 13 % sur terrain accidenté. L'efficacité énergétique reste un verrou critique pour le déploiement de robots mobiles autonomes: les batteries limitent l'autonomie, et les robots actuels dépensent une énergie considérable à compenser leur propre mécanique plutôt qu'à en tirer parti. PIL adresse ce problème structurellement: plutôt que d'optimiser uniquement la loi de commande active, elle redistribue la charge d'actionnement vers des composants passifs fiables et bon marché. Le cadre est présenté comme généraliste, applicable à toute morphologie robotique à articulations, ce qui élargirait son périmètre aux bras, exosquelettes et robots humanoïdes. Si les résultats se confirment en conditions réelles, l'approche pourrait allonger l'autonomie et réduire l'usure des actionneurs sur des flottes en déploiement. L'inspiration biologique invoquée, celle de la co-évolution cerveau-corps et de la locomotion économe en énergie observée chez les animaux, est documentée depuis les travaux de Raibert (Boston Dynamics, années 1980-90) et les recherches sur les Series Elastic Actuators (SEA) du MIT. En Europe, des acteurs comme Wandercraft intègrent des mécanismes passifs dans leurs exosquelettes pour des raisons similaires. PIL se distingue en automatisant l'extraction de la composante passive depuis une politique RL existante, plutôt que de concevoir les ressorts manuellement. Les résultats demeurent toutefois entièrement en simulation; le sim-to-real gap, notamment sur terrain accidenté où l'offload chute à 13 %, constituera l'épreuve de vérité pour valider la crédibilité industrielle de cette approche.

UEPertinent pour Wandercraft (France) et les labos européens (INRIA, DLR) travaillant sur la locomotion économe en énergie, mais les résultats restent en simulation et aucun transfert réel vers des acteurs EU n'est encore engagé.

RecherchePaper
1 source
Au-delà de l'échantillonnage pur : mécanismes d'optimisation hybrides pour le contrôle prédictif non convexe
4arXiv cs.RO 

Au-delà de l'échantillonnage pur : mécanismes d'optimisation hybrides pour le contrôle prédictif non convexe

Une équipe de chercheurs a publié fin mai 2026 une étude (arXiv:2606.00737) proposant un mécanisme d'optimisation hybride pour la commande prédictive de robots en environnements encombrés. Le framework présenté, baptisé ME-DDP (Maximum Entropy Differential Dynamic Programming), combine deux phases distinctes : une première phase d'exploitation du gradient du paysage de coût via DDP classique, suivie d'une phase de perturbation par échantillonnage depuis des politiques paramétrées par l'inverse de la matrice hessienne de la fonction valeur-action. Trois variantes sont proposées et analysées rigoureusement : ME-DDP gaussien unimodal, ME-DDP gaussien multimodal, et Stein Variational DDP. Les auteurs ont benchmarké ces variantes contre DDP déterministe et MPPI (Model Predictive Path Integral) sur quatre systèmes robotiques naviguant dans des environnements denses, avec validation matérielle sur un quadrotor évoluant dans un champ d'obstacles non-convexe dense. Ce travail s'attaque à un problème fondamental en robotique : les méthodes purement basées sur le gradient convergent systématiquement vers des minima locaux sous-optimaux dès que le paysage de coût devient non-convexe, ce qui arrive dès qu'on introduit des obstacles multiples ou une dynamique non-linéaire complexe. Les résultats montrent que ME-DDP surpasse MPPI de façon cohérente sur les systèmes de basse dimension, où le paysage de coût reste relativement simple. Sur les systèmes haute dimension en revanche, MPPI peut découvrir ocasionnellement des manoeuvres agressives permettant des trajectoires plus rapides, mais ME-DDP maintient un taux de succès plus élevé et plus stable. La validation sur quadrotor en conditions réelles confirme la robustesse du framework, un point souvent manquant dans les contributions MPC purement simulées. Le MPC non-convexe est un sujet de recherche actif, porté par des groupes comme ceux travaillant sur les véhicules autonomes et la manipulation dextère. MPPI, développé initialement chez Georgia Tech et popularisé par des implémentations comme celles de l'Université de Washington, reste la référence sampling-based dominante dans la communauté robotique. ME-DDP se positionne comme une alternative plus stable en exploitant la courbure locale du paysage d'optimisation plutôt qu'un échantillonnage purement aléatoire. La prochaine étape naturelle serait l'extension aux manipulateurs multi-DOF et aux robots mobiles terrestres à haute dynamique, terrains où l'arbitrage vitesse/robustesse documenté ici devient particulièrement critique.

RecherchePaper
1 source