Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Continuer ou replanifier : apprentissage par politique de continuation bernoullienne pour l'exécution à horizon adaptatif
RecherchearXiv cs.RO 

Continuer ou replanifier : apprentissage par politique de continuation bernoullienne pour l'exécution à horizon adaptatif

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (2608.03483, août 2026) Bernoulli-Continuation Policy (BCP), une méthode qui corrige un défaut des modèles Vision-Language-Action (VLA) : ceux-ci exécutent un nombre fixe d'actions avant de replanifier, selon un calendrier périodique indépendant de l'avancement réel de la tâche, ce qui peut faire exécuter une étape critique à partir d'un plan obsolète. BCP ajoute une tête de continuation légère, greffée sur un modèle VLA gelé, qui décide à chaque segment d'action s'il faut continuer ou replanifier, entraînée par apprentissage par renforcement avec une récompense d'efficacité de replanification pénalisant l'échec et le calcul gaspillé. Sur RoboTwin 2.0, avec LingBot-VLA comme modèle de base, BCP améliore le taux de succès moyen de 11,08% sur les 13 tâches les plus difficiles et fait passer le taux global de 89,88% à 93,94% sur 50 tâches. Entraîné uniquement en environnement "propre", il généralise à un environnement randomisé (+4,06%) et transfère à un autre modèle de base, π_0.5, avec des gains de 1,7% sur LIBERO et 6,8% sur LIBERO-PRO, la version plus difficile. Sur robot réel, le taux de succès grimpe de 74% à 92% et de 44% à 84% sur deux tâches de manipulation, avec un surcoût de calcul négligeable qui rend le temps d'exécution total inférieur aux méthodes à horizon fixe.

Ce résultat s'attaque à un choix d'ingénierie devenu standard dans les VLA en production, la replanification à intervalle fixe, simple à implémenter mais aveugle au contexte de la tâche. Son caractère plug-and-play, compatible avec un modèle de base gelé, le rend potentiellement exploitable par des intégrateurs sans réentraîner leurs modèles VLA déjà déployés. Les gains les plus marqués se concentrent sur les tâches à faible taux de succès initial, celles où les robots échouent réellement en production, ce qui limite le risque d'un simple effet de benchmark favorable. La généralisation confirmée sur deux modèles de base différents, et du simulateur vers le réel, répond directement au scepticisme habituel sur l'écart simulation-réel des méthodes VLA.

Le travail s'inscrit dans la lignée des benchmarks de manipulation robotique standardisés LIBERO, LIBERO-PRO et RoboTwin 2.0, utilisés pour comparer des politiques VLA comme LingBot-VLA ou π_0.5. Il s'agit à ce stade d'une publication de recherche, un preprint arXiv, sans déploiement industriel annoncé ni acteur commercial identifié. Les suites attendues sont une revue par les pairs et une éventuelle intégration dans des frameworks VLA ouverts déjà utilisés par la communauté robotique.

Dans nos dossiers

Physical Intelligence — π0Manipulation robotiquearXiv cs.RO

À lire aussi

Analyse de l'apprentissage par renforcement profond en continu pour l'apprentissage adaptatif en robotique
1arXiv cs.RO 

Analyse de l'apprentissage par renforcement profond en continu pour l'apprentissage adaptatif en robotique

Des chercheurs publient sur arXiv (référence 2609.28807, soumission nouvelle) une étude qui livre la première analyse de l'apprentissage par renforcement profond en flux comme cadre d'apprentissage continu adaptatif pour la robotique. Contrairement à l'approche dominante, qui consiste à réentraîner hors ligne un modèle sur un jeu de données élargi après une phase de pré-entraînement, la méthode testée met à jour la politique neuronale en continu, à partir de chaque nouvelle expérience, en s'inspirant du fonctionnement de l'apprentissage biologique. Les expériences principales portent sur la locomotion d'un robot quadrupède : avec certains optimiseurs et des techniques de limitation de la perte de plasticité, la politique s'adapte rapidement en ligne à des changements imprévus touchant le robot lui-même, son environnement ou ses objectifs. Elle surpasse les méthodes batch on-policy classiques et améliore le taux de réussite des tâches jusqu'à 90% par rapport à la politique simplement pré-entraînée. Des évaluations complémentaires sur des tâches de manipulation robotique, menées sur une morphologie différente, montrent que ces gains se retrouvent partiellement, avec des limites de stabilité et de performance. Pour l'industrie robotique, ce travail apporte une première preuve empirique qu'un apprentissage en flux, sans réentraînement batch hors ligne massif, peut permettre à un robot déjà déployé de s'adapter à des situations non anticipées lors de la collecte de données initiale, un scénario courant pour les intégrateurs confrontés à des changements d'environnement, à l'usure matérielle ou à des objectifs de mission évolutifs. Cela remet en question l'hypothèse dominante du secteur selon laquelle la robustesse passe nécessairement par l'élargissement continu des jeux de données d'entraînement hors ligne, et suggère une voie alternative pour réduire le coût et la latence de mise à jour des politiques embarquées, un enjeu clé alors que les acteurs des humanoïdes et des robots mobiles autonomes cherchent à généraliser leurs modèles au-delà des scénarios démontrés en laboratoire. Le fait que les gains observés en locomotion quadrupède ne se transposent que partiellement à la manipulation souligne toutefois que la généralisation entre morphologies reste un problème ouvert, ce qui tempère tout enthousiasme prématuré côté commercialisation. Le papier s'inscrit dans un courant de recherche récent ayant démontré la faisabilité technique du deep RL en flux, où chaque mise à jour du réseau utilise uniquement la dernière expérience collectée plutôt qu'un lot de données rejouées, sans qu'aucun travail antérieur n'ait validé cette approche comme cadre viable d'apprentissage continu pour adapter des politiques robotiques à des changements non vus. Les auteurs positionnent explicitement leur contribution comme la première étude de ce type appliquée à la robotique, en s'appuyant sur une phase de pré-entraînement suivie d'une adaptation en ligne. L'étude se conclut par une discussion des limites, notamment les problèmes de stabilité observés en manipulation, et par des pistes pour les futurs systèmes de robot learning continu, sans annoncer de calendrier de déploiement ni de partenariat industriel.

RecherchePaper
1 source
Apprentissage collectif pour une manipulation robotique unifiée par adaptation prédictive de la dynamique
2arXiv cs.RO 

Apprentissage collectif pour une manipulation robotique unifiée par adaptation prédictive de la dynamique

Des chercheurs proposent PACE, un cadre d'apprentissage collectif en deux étapes pour entraîner une politique unique de manipulation cartésienne, pilotée par l'état (et non par la vision), sur des robots aux morphologies différentes. Dans la première étape, une couche de représentation est pré-entraînée sur des trajectoires hors ligne pour extraire le contexte de la tâche à partir des données agrégées de plusieurs robots. Dans la seconde, une couche de décision est dotée d'un adaptateur de dynamique prédictive: on force l'état latent à prédire les transitions futures, ce qui ancre la politique dans le comportement réel du robot qui exécute l'action. L'inférence reste en temps réel, sans planification en ligne. En simulation, PACE atteint plus de 93 % de succès global et 89 % sur des robots simulés hors distribution dynamique, évalués en zero-shot. Les références restent nettement derrière: 82 % pour un Transformer en clonage comportemental et 66 % pour une politique de diffusion. Un déploiement sur un robot KUKA physique valide la faisabilité de la chaîne complète en transfert sim-to-real zero-shot. Le problème visé est concret pour quiconque veut mutualiser des données entre plusieurs bras robotiques. Une même commande cartésienne se traduit par des comportements de transition différents selon l'embodiment (cinématique, inerties, limites d'actionneurs). Une agrégation naïve moyenne alors des modes d'action incompatibles, d'où une ambiguïté de stratégie et un effondrement des performances sur les robots dont la dynamique s'écarte de la norme. Les résultats suggèrent que séparer l'intention dans l'espace de la tâche de la dynamique propre au robot peut limiter ce phénomène, ce qui intéresserait les intégrateurs gérant des parcs hétérogènes et voulant éviter un réentraînement par machine. Il faut toutefois rester prudent: les chiffres viennent essentiellement de simulation, la validation physique se limite à un seul robot KUKA, et le résumé ne donne ni nombre de tâches, ni cadence, ni taux de réussite en conditions réelles. Ce travail s'inscrit dans la course aux politiques généralistes multi-embodiments, portée par les modèles vision-langage-action comme Pi-0 ou GR00T, et par les approches de diffusion et de Transformers utilisées ici comme références. PACE prend un angle différent: une politique légère, basée sur l'état, centrée sur la robustesse face aux dynamiques atypiques plutôt que sur la généralité sémantique. Il s'agit d'une prépublication arXiv (v1), non évaluée par des pairs, sans produit ni pilote industriel annoncé. Les suites logiques seraient des tests sur davantage de robots physiques, l'intégration de la perception et une comparaison directe avec les grands modèles de fondation robotiques.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Elastic Queries : apprentissage par renforcement pour l'exécution auto-consciente des politiques dans les modèles VLA
3arXiv cs.RO 

Elastic Queries : apprentissage par renforcement pour l'exécution auto-consciente des politiques dans les modèles VLA

Des chercheurs ont publié sur arXiv (réf. 2606.14375) une nouvelle méthode appelée Elastic Queries Reinforcement Learning (EQRL), conçue pour rendre l'exécution des modèles VLA (Vision-Language-Action) adaptative plutôt que rigide. Dans les systèmes actuels, ces modèles qui pilotent la manipulation robotique s'exécutent selon des plannings d'inférence fixes : même fréquence de requête, même budget de débruitage, même longueur de chunk d'actions, quelle que soit la complexité de l'état courant. EQRL introduit un adaptateur léger qui sélectionne dynamiquement, pour chaque requête, trois paramètres : l'entrée latente, le budget de débruitage, et la longueur du chunk à exécuter en boucle ouverte. La méthode entraîne un critique sur l'espace joint et dérive un signal de difficulté d'état via le désaccord entre un ensemble de critiques (critic ensemble disagreement), guidant le calcul vers les états difficiles sans modifier les poids du modèle VLA sous-jacent. Sur bancs de simulation et en manipulation sur robot réel, les auteurs rapportent une réduction du coût d'inférence amorti avec un taux de succès préservé ou amélioré. L'enjeu concret concerne directement le coût de déploiement des politiques fondées sur des modèles de diffusion, comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. Ces architectures souffrent d'un goulot d'étranglement identique : le nombre d'évaluations de fonction (NFE) du processus de débruitage est fixe, qu'on soit sur une prise de contact incertaine ou un simple transit en espace libre. EQRL démontre qu'il est possible d'allouer dynamiquement ce budget de calcul selon la difficulté estimée, sans retraining du modèle de base. Pour un intégrateur ou un COO, la promesse est directe : même capacité de manipulation, moins de GPU sur les états faciles, meilleure scalabilité sur flotte. Le travail s'inscrit dans une course à l'efficacité d'inférence pour les VLA, accélérée par la publication de Pi-0 fin 2024 et les modèles de diffusion successifs (Octo, OpenVLA, GR00T N2, Helix de Figure AI). Des approches parallèles comme FAST ou DiT-Policy attaquent le même problème sous d'autres angles : compression de trajectoire, distillation, ou batch adaptatif. EQRL se distingue en opérant au-dessus du modèle sans le modifier et en intégrant un signal de difficulté appris par RL. Les auteurs annoncent des résultats positifs en simulation et sur robot réel, mais les métriques précises et les conditions expérimentales restent à examiner dans le corps du papier : la validité des gains annoncés dépendra de la représentativité des benchmarks choisis.

UELes équipes R&D européennes développant ou déployant des politiques de manipulation sur modèles de diffusion (VLA) pourraient appliquer EQRL pour réduire leurs coûts GPU d'inférence sans retraining, mais aucun acteur français ou européen n'est directement impliqué.

RechercheOpinion
1 source
PolyMorph : apprentissage d'une politique de locomotion pour l'adaptation à plusieurs morphologies
4arXiv cs.RO 

PolyMorph : apprentissage d'une politique de locomotion pour l'adaptation à plusieurs morphologies

PolyMorph est un cadre d'apprentissage par renforcement décrit dans un preprint arXiv (2610.19615v1) qui vise à entraîner une seule politique de locomotion pour des robots à pattes de morphologies différentes. Le système convertit le fichier URDF de chaque robot en modules articulation-segment. Il enchaîne ensuite un encodeur récurrent, un Transformer à structure de graphe et un décodeur par articulation, ce qui lui permet de produire des actions pour un nombre de pattes et une configuration d'articulations variables. Pour stabiliser l'entraînement, les auteurs ajoutent trois mécanismes: des récompenses normalisées selon la morphologie, un échantillonnage adaptatif des robots et une initialisation des gains PD (proportionnel-dérivé) déduite de l'URDF. L'évaluation en simulation couvre des bipèdes, des tripèdes et des quadrupèdes, y compris des variantes et des plateformes absentes de l'entraînement. La politique est aussi déployée sur des quadrupèdes réels utilisés dans plusieurs configurations. Le résumé ne donne ni taux de réussite, ni nombre de robots, ni vitesses, ni temps d'entraînement, et il ne précise pas combien de plateformes physiques ont été testées. L'enjeu est d'abord économique pour les constructeurs et les intégrateurs. Aujourd'hui, une politique de locomotion apprise reste liée à un corps précis. Changer le nombre de pattes, les actionneurs ou les propriétés mécaniques oblige à refaire de l'ingénierie: récompenses, gains, réentraînement. Une politique unique qui généralise à des morphologies inédites réduirait ce coût pour les gammes de robots à variantes multiples, les prototypes dont la mécanique évolue souvent ou les flottes hétérogènes. Elle irait aussi dans le sens des modèles généralistes déjà visibles en manipulation, ici appliqués à la locomotion. Il faut toutefois rester prudent. Le déploiement réel semble limité à des quadrupèdes, donc à la famille la plus proche de celles vues en simulation. Les bipèdes et tripèdes ne sont évalués qu'en simulation, ce qui laisse ouverte la question de l'écart sim-to-real sur les morphologies les plus instables. Les performances face à des politiques spécialisées ne sont pas chiffrées dans le résumé. Ce travail s'inscrit dans la recherche sur l'apprentissage cross-embodiment, où des approches par graphes ou Transformers traitent un robot comme un ensemble de nœuds articulés, une idée connue depuis plusieurs années en simulation. PolyMorph se distingue par l'usage direct de l'URDF comme entrée et par la prise en charge d'un nombre variable de pattes. Il se positionne face aux politiques spécialisées par robot, aujourd'hui la norme pour les quadrupèdes du commerce, et face aux modèles généralistes de type VLA, plus centrés sur la manipulation. Aucun partenaire industriel, calendrier de publication de code ni projet pilote n'est annoncé. La suite logique serait une validation sur davantage de robots physiques, notamment des bipèdes, ainsi qu'une comparaison publique avec des politiques dédiées. Il s'agit d'un preprint, pas encore évalué par des pairs.

RecherchePaper
1 source