Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Adaptation de politique sans mise à jour du modèle par flux normalisant
RecherchearXiv cs.RO 

Adaptation de politique sans mise à jour du modèle par flux normalisant

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs du laboratoire RIPL ont publié sur arXiv (2606.06461) GLOVES, une famille de méthodes d'adaptation fondées sur le flow matching permettant de corriger les actions d'agents robotiques non experts, politiques pré-entraînées, modèles de fondation ou opérateurs humains, sans modifier leurs poids ni leur logique de contrôle. Le principe : plutôt que de remplacer l'agent par un système entièrement autonome, GLOVES "transporte" ses actions vers une distribution cible apprise d'un expert, à partir d'un petit nombre de démonstrations ou de segments de compétences réutilisables. Un mécanisme de score par flux inverse (reverse flow evaluation) sert de portail d'intervention sélective : les actions déjà cohérentes avec la distribution experte passent inchangées, seules les actions anomales ou hors distribution (OOD) sont corrigées.

Ce travail répond à un problème concret et croissant dans le déploiement des modèles de fondation robotiques de type VLA (Vision-Language-Action) : Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou OpenVLA produisent des comportements génériques qui échouent souvent sur des tâches spécifiques ou dans des environnements non vus à l'entraînement. GLOVES propose une couche d'adaptation légère qui ne nécessite pas de réentraîner le modèle de base, quelques démonstrations suffisent, et les segments de compétences réussis sont réutilisables sur plusieurs tâches. L'intervention conditionnelle préserve l'autonomie de l'agent sous-jacent, ce qui est pertinent pour des déploiements industriels où l'opérateur veut conserver le contrôle sémantique du comportement sans tout reconstruire.

GLOVES s'inscrit dans un courant actif de recherche sur la correction de politiques et le contrôle partagé (shared autonomy), distinct de l'imitation learning classique ou de l'IRL. Le flow matching est en forte progression depuis son adoption dans Pi-0 (diffusion policies) ; GLOVES l'applique non à la génération d'actions brutes mais à leur correction post-hoc, ce qui est architecturalement plus modulaire et plus facile à greffer sur un système existant. Le code et les démonstrations sont disponibles à ripl.github.io/GLOVES_web. Les suites naturelles incluent l'intégration dans des pipelines de téléopération augmentée, bien que le preprint n'annonce pas encore de déploiements industriels concrets ni de partenariats commerciaux.

Dans nos dossiers

NVIDIA GR00TPhysical Intelligence — π0OpenVLA / RT-XarXiv cs.RO

À lire aussi

FAN : normalisation d'action anticipative pour l'adaptation continue des modèles vision-langage-action
1arXiv cs.RO 

FAN : normalisation d'action anticipative pour l'adaptation continue des modèles vision-langage-action

Un article de recherche publié sur arXiv en septembre 2026 (arXiv:2609.21358, un preprint non encore relu par les pairs) s'attaque à un aspect négligé de l'adaptation continue des modèles Vision-Language-Action (VLA) : la normalisation des actions, c'est à dire le système de coordonnées dans lequel une politique perçoit et exécute ses mouvements. Les auteurs testent cinq stratégies de normalisation sur quatre flux de tâches robotiques réelles, en manipulation à bras unique et bimanuelle, et montrent que les protocoles existants provoquent des échecs récurrents : dérive des coordonnées d'une tâche à l'autre, couverture de mouvement insuffisante, ou décalage entre coordonnées d'entraînement et de test. Ils en tirent trois principes de conception, cohérence, couverture et causalité (3C), qui donnent naissance à FAN (Foresight Action Normalization), une méthode qui calcule une seule fois des statistiques de normalisation sur un petit jeu de calibration indépendant des tâches, puis les fige pour toute la durée de l'apprentissage continu qui suit. FAN obtient les meilleurs résultats sur l'ensemble des flux testés. Cette découverte concerne directement les acteurs qui déploient des politiques VLA généralistes, du type Pi-0, GR00T N2 ou Helix, sur des flottes de robots censées apprendre de nouvelles compétences sans oublier les précédentes. La plupart des travaux sur l'apprentissage continu en robotique misent sur le rejeu d'expérience ou le fine-tuning par renforcement, en traitant la normalisation des actions comme un simple détail d'ingénierie ; cet article montre qu'un choix mal calibré à ce niveau suffit à faire échouer l'adaptation continue, quel que soit l'algorithme d'apprentissage retenu. Pour les intégrateurs, le message est clair : avant d'empiler des techniques d'apprentissage sophistiquées, la représentation d'action sous-jacente doit rester stable d'une tâche à l'autre. Ce travail s'inscrit dans la vague des modèles VLA pré-entraînés sur de vastes jeux de données fermés puis adaptés à des robots et tâches spécifiques, une tendance portée par des laboratoires comme Physical Intelligence, NVIDIA ou Figure AI avec leurs politiques généralistes respectives. Contrairement à une annonce produit, il s'agit ici d'une contribution académique testée en laboratoire sur quatre flux de tâches, sans précision sur la plateforme robotique utilisée, la disponibilité du code ou un calendrier de reprise industrielle. FAN se présente comme une brique de base destinée à de futurs pipelines d'apprentissage continu, plutôt que comme un système prêt à déployer sur le terrain.

RecherchePaper
1 source
Q-VGM : un guidage par gradient de valeur pour les politiques VLA à flux normalisants
2arXiv cs.RO 

Q-VGM : un guidage par gradient de valeur pour les politiques VLA à flux normalisants

Une équipe de chercheurs propose Q-VGM (Q-Guided Value-Gradient Matching), une méthode d'apprentissage par renforcement hors-politique conçue pour affiner les politiques VLA (Vision-Language-Action) reposant sur le flow-matching. Partant de pi0.5, le modèle VLA de Physical Intelligence, comme initialisation few-shot, la méthode améliore les taux de réussite sur trois environnements : sur le benchmark LIBERO, le taux de succès passe de 75,0 % à 92,5 % ; sur RoboTwin 2.0, de 76,4 % à 87,2 % ; sur deux tâches de manipulation réelles en environnement tabletop, de 40,0 % à 67,5 %. Ces gains sont obtenus sans supervision experte supplémentaire, à partir de données d'expérience auto-générées par le robot (rollouts). L'étude est disponible en preprint sur arXiv (2606.08015) et n'a pas encore été soumise à évaluation par les pairs à la date de publication. Le verrou que Q-VGM résout est l'un des obstacles les plus tenaces du fine-tuning RL pour les VLA de type flow-matching : propager les gradients d'une fonction de valeur (Q-function) à travers le processus de débruitage itératif est numériquement instable à grande échelle, tandis que les méthodes de policy-gradient exigent des vraisemblances d'actions indisponibles sous débruitage itératif. Q-VGM contourne ces deux contraintes via VGG-Flow, un cadre théorique qui convertit le gradient de valeur en un champ de guidage appliqué pendant le débruitage, sans rétropropagation end-to-end ni calcul de vraisemblance explicite. Pour un intégrateur ou une équipe robotique, le paradigme est directement opérationnel : quelques démonstrations pour amorcer la politique (few-shot SFT), puis amélioration continue à partir de l'expérience propre du système. La progression de 40 % à 67,5 % sur robot réel est encourageante, bien que les conditions expérimentales restent circonscrites à deux tâches tabletop contrôlées. Physical Intelligence a lancé pi0 fin 2024, puis pi0.5, des architectures VLA fondées sur le flow-matching devenues un point de référence pour la manipulation généraliste. Q-VGM s'inscrit dans un courant de recherche actif visant à greffer l'apprentissage par renforcement sur ces fondations pré-entraînées, en concurrence avec des approches comme OpenVLA-OFT ou les adaptations RLVR appliquées aux VLA. LIBERO et RoboTwin 2.0 sont des benchmarks standards de manipulation simulée, ce qui rend les comparaisons reproductibles mais soulève la question classique du transfert en conditions réelles non supervisées. La prochaine étape pour ce type de méthode sera de démontrer la robustesse sur des plateformes robotiques variées et dans des environnements moins contrôlés.

RechercheOpinion
1 source
Pilotage sans mise à jour par politique directe via des vérificateurs
3arXiv cs.RO 

Pilotage sans mise à jour par politique directe via des vérificateurs

Une équipe de recherche a présenté UF-OPS (Update-Free On-Policy Steering), une méthode permettant d'améliorer les politiques robotiques d'imitation sans modifier leurs paramètres. Le constat de départ est bien documenté : les politiques de Behavior Cloning (BC), entraînées par imitation de démonstrations humaines, sont souvent fragiles et peinent à réaliser des manipulations précises. UF-OPS contourne ce problème en entraînant des fonctions vérificatrices (verifiers) à partir des données de rollout collectées lors d'une première évaluation de la politique, puis en les utilisant à l'exécution pour orienter en temps réel le modèle de base vers les actions les plus prometteuses. Sur 5 tâches réelles de manipulation, la méthode affiche un gain moyen de 49 % sur le taux de succès par rapport à la politique de base, sans aucune mise à jour des poids du réseau principal. Les expériences couvrent à la fois des environnements simulés et des configurations réelles. L'intérêt industriel est double. D'abord, la compatibilité avec des politiques "boîte noire" : UF-OPS fonctionne sur des diffusion policies sans accès aux gradients, ce qui le rend applicable à des modèles tiers ou pré-entraînés, un avantage concret pour les intégrateurs qui ne contrôlent pas le pipeline d'entraînement. Ensuite, l'architecture découple amélioration et entraînement : là où les approches classiques nécessitent de recollecte de données ou du fine-tuning, UF-OPS pilote à l'inférence. Cela illustre une tendance plus large empruntée aux LLMs, où le compute à l'inférence (test-time compute) compense les limites du modèle de base. Le gain de 49 % est significatif, mais la méthode n'est évaluée que sur 5 tâches, ce qui appelle à la prudence sur la généralisation à des scénarios industriels variés. Le Behavior Cloning reste l'une des approches dominantes en robotique depuis que des travaux comme ACT (Action Chunking Transformer) ou les diffusion policies de Chi et al. (2023) ont démontré leur efficacité sur des tâches dextres. UF-OPS s'inscrit dans un courant de recherche actif visant à rendre ces politiques plus robustes sans coût d'entraînement additionnel, aux côtés d'approches concurrentes comme l'augmentation de données, le fine-tuning en ligne ou le RL post-déploiement. Les prochaines étapes naturelles seraient l'évaluation sur des tâches multi-étapes, des environnements non structurés, et la comparaison avec des méthodes de steering guidé déjà connues dans la littérature LLM (Best-of-N sampling, MCTS guidé par verifier). Aucun déploiement industriel ni partenaire n'est mentionné dans la publication.

RecherchePaper
1 source
Repérer l'écart de dynamique : adaptation de politique au moment du test par retour action-résultat
4arXiv cs.RO 

Repérer l'écart de dynamique : adaptation de politique au moment du test par retour action-résultat

Des chercheurs proposent SCOUT, un cadre de méta-apprentissage sensible à la dynamique, destiné à l'adaptation en phase de test de politiques de manipulation robotique. Le travail, publié sur arXiv (2609.36107) avec une page projet, part d'un constat : une politique pré-entraînée performe en environnement contrôlé, mais se heurte en déploiement à des propriétés physiques non observées (friction, masse, jeu mécanique) que ni la simulation ni les données d'entraînement n'ont couvertes. SCOUT couple une politique de prédiction d'action et un modèle de dynamique directe (forward dynamics) via un espace latent de croyance partagé. Pendant le méta-entraînement, une boucle interne met à jour ce latent en minimisant l'erreur de prédiction de dynamique par rapport au résultat réellement observé de l'action, tandis qu'une boucle externe optimise le réseau pour la sélection d'actions. Au déploiement, le robot met à jour sa croyance latente à partir des écarts entre résultat attendu et résultat observé, sans modifier les poids du réseau. Les auteurs affirment que cela évite l'oubli catastrophique. Ils rapportent une accélération significative de l'adaptation en ligne sur plusieurs benchmarks de manipulation simulés, ainsi qu'un transfert sim-to-real robuste sur robot réel. L'extrait disponible ne donne ni chiffres précis, ni taux de succès, ni liste de tâches, ni plateforme matérielle : les résultats restent à vérifier dans le papier complet. L'enjeu est direct pour les intégrateurs et les responsables d'exploitation : l'écart de dynamique est l'une des causes majeures de l'écart entre démonstration et production. Les méthodes d'adaptation en phase de test se contentent en général de récompenses scalaires éparses (réussite ou échec), une information pauvre au regard de ce que le contact physique fournit. SCOUT exploite le signal géométrique et dynamique de chaque interaction, ce qui suggère une adaptation en quelques essais plutôt qu'un réentraînement ou un fine-tuning coûteux. Le fait de n'agir que sur un latent, et non sur les poids, est aussi un argument de sûreté : le comportement de base validé n'est pas dégradé. Cela dit, il s'agit d'un preprint sans revue par les pairs, et la robustesse hors des benchmarks choisis, sur des dynamiques réellement nouvelles, n'est pas démontrée par le résumé. Ce travail s'inscrit dans la lignée du méta-apprentissage et de l'estimation implicite de paramètres système, comme les approches de type RMA en locomotion, ou les méthodes de randomisation de domaine et d'adaptation en contexte. Il intervient alors que les modèles vision-langage-action généralistes (Pi-0, GR00T, Helix) sont pré-entraînés à grande échelle mais restent peu adaptables en ligne aux propriétés physiques inconnues. SCOUT se présente comme une couche d'adaptation complémentaire plutôt qu'un modèle fondation concurrent. Reste à savoir s'il se branche sur ces VLA et à quel coût de calcul en temps réel. Aucun pilote industriel ni calendrier de déploiement n'est annoncé : il s'agit à ce stade d'une contribution de recherche, avec code et démonstrations à examiner sur la page projet.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source