RecherchearXiv cs.RO 30 septembre 2026

PreferenceFlow : guidage à l'inférence des politiques robotiques à flow matching à partir des interventions humaines

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent PreferenceFlow, une méthode qui améliore au moment de l'inférence une politique robotique « flow-matching » déjà entraînée, sans signal de récompense et sans modifier ses poids. Le principe : lorsqu'un opérateur humain reprend la main sur le robot, son segment d'action (« chunk ») est apparié à celui que le robot aurait généré depuis le même état de conditionnement. Ces paires servent à entraîner un modèle de préférence. À l'inférence, les auteurs reprennent la mise à jour d'échantillonnage QGF, en remplaçant son gradient de valeur par le gradient de préférence, calculé sur une estimation de l'action « propre ». Deux termes de perte encadrent ce guidage : une perte de plafonnement limite les gradients excessifs sur les paires d'intervention, et une perte de gradient nul décourage tout guidage près des actions issues de démonstrations expertes. Sur quatre tâches réelles d'insertion de précision avec un bras Franka, le taux de succès moyen atteint 90,5 %, contre 69 % pour la politique figée. Le travail est publié sur arXiv (2609.36872, première version) et n'a pas encore été relu par des pairs.

L'enjeu est très concret pour les intégrateurs. Les politiques génératives (flow-matching ou diffusion, dont la famille Pi-0) savent exprimer des comportements complexes, mais elles dérapent face aux décalages de distribution rencontrés en production : une pièce légèrement déplacée, un jeu d'ajustement différent. Les correctifs classiques par apprentissage par renforcement exigent une fonction de récompense difficile à écrire en manipulation réelle, et un réentraînement du modèle de base. Ici, la correction passe par des interventions de téléopérateurs, déjà courantes en déploiement, sans toucher aux poids, ce qui simplifie la validation et évite de dégrader les compétences existantes. Le gain de plus de 21 points sur des insertions de précision est significatif, mais des réserves s'imposent : quatre tâches, un seul type de robot (Franka), aucun chiffre fourni sur le nombre d'interventions nécessaires ni sur le temps de cycle ou le surcoût de calcul du guidage. Les ablations indiquent que la régularisation des gradients et l'ordre correct des étiquettes de préférence comptent, mais seulement « dans les conditions évaluées ».

Ce travail s'inscrit dans une série de méthodes visant à corriger les politiques VLA et génératives après entraînement : apprentissage à partir d'interventions humaines (type HG-DAgger), guidage par fonction de valeur (QGF, sur lequel PreferenceFlow s'appuie) et affinage par renforcement, plus lourd. L'approche par préférences locales se positionne entre ces options, avec un coût d'annotation réduit à des corrections ponctuelles. Les prochaines étapes à surveiller sont la démonstration sur d'autres embodiments, sur des politiques de grande taille comme Pi-0 ou GR00T, et sur des tâches longues, ainsi que la mesure de la latence ajoutée, déterminante pour la commande en temps réel. Aucun déploiement industriel ni produit n'est annoncé : il s'agit d'un résultat de recherche.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

RoboPrompt : un pilotage intuitif des politiques robotiques à partir de peu d'interventions humaines

Des chercheurs présentent RoboPrompt, un système léger de pilotage de politiques robotiques qui permet à un opérateur de guider un robot par des entrées éparses : traces dessinées, points cibles ou instructions directionnelles grossières. Le principe consiste à découpler la traduction de l'intention humaine de la politique sous-jacente. Un module réutilisable convertit la consigne en « brouillons d'actions », ensuite raffinés par la dynamique de diffusion ou de flow-matching de la politique de base. Le contrôle s'exerce dans l'espace de bruit, ce qui équilibre l'intention de l'utilisateur et le prior appris, sans modifier l'architecture ni réentraîner la politique pour la rendre pilotable. Les tests couvrent trois politiques : Diffusion Policy, π0.5 et FastWAM. Les auteurs utilisent aussi les déroulés pilotés pour l'amélioration en ligne via DAgger. Après 2 à 3 itérations, le taux de succès moyen de π0.5 progresse de 15,5 % sur trois tâches, et de 21,3 % sur les trois politiques pour la tâche « Insert Bread ». Le nombre moyen d'interventions humaines baisse de 44,0 % (de 2,86 à 1,60) pour π0.5, et de 81,9 % (de 2,60 à 0,47) pour la tâche multi-politiques. L'enjeu est pratique. Les politiques de bout en bout entraînées par imitation restent limitées par la diversité de leurs données, ce qui rend le déploiement zero-shot peu fiable hors laboratoire. Les deux réponses habituelles ont chacune un coût : la téléopération en autonomie partagée exige du matériel spécialisé et des opérateurs formés, tandis que l'ajout de guidage comme entrée supplémentaire impose des changements d'architecture et un entraînement dédié, propre à chaque politique. Une approche qui s'applique telle quelle à des modèles aussi différents qu'un Diffusion Policy classique et un VLA comme π0.5 abaisse la barrière d'entrée pour des intégrateurs qui veulent corriger un robot en production sans passer par du hardware de téléopération. La boucle de correction vers DAgger est le point le plus intéressant pour un décideur : l'intervention humaine, moins coûteuse, devient une source de données d'amélioration, et la charge d'intervention diminue à mesure que la politique apprend. Il faut toutefois rester prudent : ce sont des résultats de recherche sur un nombre limité de tâches, sans information dans le résumé sur la nature des tâches, les volumes d'essais ni les conditions réelles de déploiement, et les gains en pourcentage ne disent rien des taux de succès absolus. Ce travail s'inscrit dans une tendance où les politiques génératives (diffusion, flow-matching) deviennent la base des modèles généralistes, et où la question centrale passe de « comment entraîner » à « comment superviser et corriger à moindre coût ». Il se positionne face aux méthodes de shared autonomy par téléopération et face aux politiques conditionnées sur des guidages spécifiques, qui demandent un réentraînement. Le papier, publié sur arXiv, est une préparation académique et non un produit livré : aucun pilote industriel ni calendrier de commercialisation n'est annoncé. La suite logique serait de valider l'approche sur des tâches plus longues et plus variées, en conditions réelles, et de mesurer la robustesse du module de traduction face à des consignes ambiguës ou bruitées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

VGFM : des politiques robotiques expressives grâce à un guidage dense par la valeur dans le flow matching

Publié le 15 septembre 2026 sur arXiv (2609.14261), un article de recherche propose VGFM, pour Value-Guided Flow Matching, un cadre de RL hors ligne pour entraîner des politiques robotiques à partir de grands jeux de données d'interactions. VGFM modélise la politique comme un modèle de flow matching conditionnel opérant directement dans l'espace des actions ("x-prédiction"), de sorte que chaque étape intermédiaire du processus génératif produit déjà une action valide, évaluable par un critique RL classique. Le guidage par la valeur s'applique ainsi à des instants de flux tirés aléatoirement, sans rétropropagation à travers toute la trajectoire ni réseau auxiliaire ou perte de distillation. Les auteurs évaluent la méthode sur les tâches de locomotion et de manipulation du benchmark OGBench, avec des protocoles rigoureux, et rapportent de bonnes performances sur un large éventail de tâches, avec un réglage minimal des hyperparamètres. Ce résultat s'attaque à un verrou du secteur: coupler des politiques génératives expressives et multimodales, diffusion ou flow matching, capables de représenter des comportements complexes à long horizon, à des objectifs de valeur en RL hors ligne imposait jusqu'ici un lourd surcoût, rétropropagation coûteuse, réseaux auxiliaires ou distillation approximative. En s'en affranchissant tout en gardant la flexibilité à l'inférence, le nombre de pas de discrétisation de l'équation différentielle sous-jacente pouvant varier sans réentraînement, VGFM propose une voie plus simple et scalable pour affiner des politiques génératives via des signaux de valeur denses, un argument utile pour les équipes qui entraînent des politiques de type VLA sur des données offline volumineuses. Ce travail s'inscrit dans la tendance du robot learning à remplacer les politiques déterministes par des modèles génératifs pour capturer la multimodalité des comportements. D'autres approches améliorent déjà des politiques génératives par RL via distillation ou guidage, jugés coûteux ou instables; VGFM s'en distingue en travaillant nativement dans l'espace des actions plutôt que dans le bruit latent. Il s'agit à ce stade d'une contribution académique évaluée uniquement en simulation sur OGBench, non d'un système déployé sur du matériel physique ni d'un produit commercial: aucun partenariat, pilote ou calendrier de déploiement n'est mentionné, et sa portée pratique dépendra de sa reproductibilité à plus grande échelle.

RecherchePaper

1 source

3arXiv cs.RO

Générer des mains robotiques à partir de démonstrations humaines

Des chercheurs ont publié un framework de co-conception de mains robotiques guidé par les données (arXiv:2506.20549, juin 2025). Le problème visé est le co-design corps/contrôleur: optimiser simultanément la morphologie d'un effecteur et son contrôleur crée un espace combinatoire difficilement tractable. La solution exploite plus de 4 millions de frames de mouvements de bouts de doigts humains issus de manipulations quotidiennes pour optimiser des mains à structure arborescente, en utilisant une politique de contrôle minimale commune à la phase de recherche et à la phase opérationnelle: le suivi de position des fingertips par cinématique inverse (IK). Deux catégories de designs ont été produites: une main à 6 degrés de liberté (DoF) à usage général, et des mains spécialisées à 3 DoF équipées de joints "mimic" à quadrilatère articulé (four-bar spatial). Un acteur entraîné par apprentissage par renforcement (RL) accélère la recherche morphologique, réduisant le temps de calcul de plusieurs heures à quelques minutes; les structures finales sont fabriquées en impression 3D print-in-place, en une seule pièce articulée sans assemblage. En expériences réelles, la main 6-DoF dépasse des mains robotiques commerciales non identifiées sur la précision de suivi télé-opéré, tandis que les mains 3-DoF reproduisent des trajectoires structurées avec une complexité mécanique réduite. L'apport principal est la résolution d'un verrou de fond en co-design: en imposant la même politique IK simple pendant l'optimisation et après fabrication, les auteurs découplent la recherche morphologique de l'apprentissage d'un contrôleur complexe, rendant l'exploration de l'espace de design tractable à grande échelle. Ce résultat soutient une hypothèse émergente: des données massives de mouvement humain non conçues pour la robotique peuvent informer l'optimisation de l'embodiment physique d'un robot, et pas seulement son contrôleur. La comparaison avec des mains commerciales reste difficile à évaluer, le preprint ne précisant ni les références comparées ni les conditions d'évaluation; prudence sur ce point en l'absence de benchmark standardisé. Ce travail prolonge une tendance croissante qui vise à utiliser des données humaines non seulement pour entraîner des politiques robotiques (VLA, imitation learning), mais pour co-générer le hardware lui-même. Les approches concurrentes en evolutionary robotics et en simulation différentiable existent depuis des années mais restent coûteuses en calcul ou peu généralisables; l'originalité de cette contribution réside dans la décorrélation design/contrôle et dans l'usage du RL comme heuristique de recherche morphologique efficace. À ce stade, il s'agit d'un preprint non encore peer-reviewed, sans déploiement industriel ni partenaire commercial annoncé; les suites naturelles seraient une validation sur un spectre plus large de tâches de manipulation et une comparaison rigoureuse avec des benchmarks établis. Aucun acteur européen n'est impliqué dans ces travaux.

RecherchePaper

1 source

4arXiv cs.RO

RoboIRS : orientation des représentations internes à l'inférence pour les politiques robotiques généralistes

Une équipe de chercheurs publie RoboIRS, une méthode de pilotage des représentations internes appliquée à l'inférence. Elle vise les politiques robotiques généralistes de type vision-langage-action (VLA) et les modèles monde-action (WAM). L'équipe collecte des déroulés réussis et échoués, puis entraîne des classifieurs linéaires pour repérer les emplacements du réseau liés au résultat. Elle en déduit, pour chaque tâche, une direction de pilotage injectée dans les activations, sans mise à jour des poids. Sur 15 tâches simulées avec une politique π0.5 gelée, le taux de succès moyen passe de 44,4 % à 66,2 %. La méthode dépasse d'autres interventions à l'inférence, pour un surcoût de calcul que les auteurs qualifient de faible sans le chiffrer dans le résumé. Ils ajoutent une validation en manipulation réelle avec le même π0.5. Ils l'appliquent aussi à Cosmos Policy, un WAM, dont le taux moyen passe de 35,4 % à 55,4 %. Les VLA se dégradent souvent dès que la tâche s'écarte de la distribution d'entraînement, alors qu'ils conservent une partie de leur capacité. Ces résultats suggèrent qu'une part de cette compétence reste présente dans les représentations internes et peut être réactivée sans fine-tuning. Pour un intégrateur, cela évite de collecter de nouvelles démonstrations et de réentraîner le modèle à chaque variation de site ou de pièce. Le gain, environ 20 points sur les deux familles de modèles, est net. Il faut toutefois le lire avec prudence. Un taux de 66 % ou de 55 % reste loin d'un seuil de production. La direction de pilotage est propre à chaque tâche et exige des rollouts étiquetés succès ou échec, donc une supervision de résultat. Le résumé ne donne pas de chiffres pour les essais réels. Il s'agit enfin d'un preprint, dont les résultats n'ont pas été évalués par des pairs. π0.5 est la politique généraliste de Physical Intelligence. Elle côtoie Helix de Figure et la famille GR00T de NVIDIA parmi les références du secteur. L'adaptation à de nouvelles conditions passe aujourd'hui surtout par le fine-tuning, l'apprentissage par renforcement ou l'accumulation de données. RoboIRS transpose à la robotique l'idée de « steering » d'activations, déjà explorée sur les grands modèles de langage. La suite logique serait de la tester sur davantage de plateformes et de tâches longues, et de mesurer le surcoût de latence dans des conditions de déploiement. Aucun pilote industriel ni calendrier n'est annoncé. Un site de projet accompagne la publication.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source