Prototypes de tâches pour guider le flow matching…

1arXiv cs.RO

Cue the Flow : guider les politiques de flow matching pour la manipulation robotique en livraison en milieu ouvert

Des chercheurs proposent une méthode, baptisée « Cue the Flow », pour piloter une politique de manipulation sans la réentraîner. Elle vise la livraison d'objets en environnement ouvert, où un manipulateur mobile doit suivre des instructions libres de l'utilisateur et saisir des objets potentiellement inconnus. Le travail, publié sur arXiv (2609.38989), part d'un modèle vision-langage-action (VLA) préentraîné à flow matching, utilisé comme interface de contrôle bas niveau. Un modèle de grounding de haut niveau convertit la consigne en indice spatial, et celui-ci sert à orienter la politique. Les auteurs ajoutent un adaptateur léger conditionné par cet indice. Il est d'abord entraîné par objectifs contrastifs, afin de produire des représentations saillantes et spatialement discriminantes. Il est ensuite supervisé pour prédire une transformation affine diagonale appliquée au bloc d'actions généré (action chunk), ce qui aligne l'action sur la cible désignée. Les tests couvrent des configurations sur table et sur base mobile, avec des objets vus ou non à l'entraînement. Les auteurs annoncent jusqu'à près de 2 fois le taux de réussite moyen des tâches, pour un surcoût d'inférence négligeable. Il s'agit d'un résultat de laboratoire, sans produit ni déploiement associé, et l'extrait disponible ne donne ni nom de modèle de base, ni plateforme, ni nombre d'essais. L'enjeu est de savoir où placer la frontière entre planification et contrôle. Les architectures à double système, avec un modèle de grounding en amont et un contrôleur en aval, restent fragiles face au bruit de perception, aux scènes dynamiques et aux contacts riches. Ici, les auteurs conservent la réactivité d'un VLA à flow matching et ne lui injectent que l'information manquante : quelle est la cible. Cela suggère que le préentraînement fournit déjà l'essentiel du savoir-faire de manipulation, et que le goulot se situe dans l'association entre langage et objet nouveau. Pour un intégrateur, l'intérêt pratique est qu'un adaptateur léger, sans surcoût de calcul notable, peut s'ajouter à une politique existante sans réentraînement complet. La formulation « jusqu'à près de 2× » désigne toutefois le meilleur cas. Elle ne dit rien de la robustesse sur des déploiements longs, et les performances moyennes restent à vérifier dans l'article complet. Ce travail s'inscrit dans la course aux VLA généralistes, avec des modèles à flow matching comme Pi-0 de Physical Intelligence, et dans l'essor des architectures à double système comme Helix de Figure ou GR00T de NVIDIA. La livraison en milieu ouvert est un cas d'usage logique pour les manipulateurs mobiles, mais l'écart entre démonstration et fiabilité réelle y reste important. L'approche par adaptateur laisse entrevoir une adaptation rapide à de nouveaux objets, sans collecte massive de données. Les prochaines étapes à surveiller sont la validation sur d'autres VLA de base, des tests en conditions non contrôlées et une éventuelle publication du code, qui n'est pas mentionnée dans le résumé.

RecherchePaper

1 source

2arXiv cs.RO

MotorMind : structurer des modèles vision-langage généralistes pour la manipulation robotique sans apprentissage préalable

Des chercheurs présentent MotorMind, un « harness » de manipulation robotique (arXiv 2609.38078, première version) qui permet à un modèle vision-langage (VLM) généraliste de piloter directement un bras, sans entraînement spécifique à la tâche. Le système ne recourt ni à un expert d'actions appris, ni à un agent de codage, ni à un outil de grounding comme SAM3. Le VLM propose des actions de niveau intermédiaire, exécutées par un contrôle robotique déterministe qui renvoie un retour d'exécution. Un suivi asynchrone et des mises à jour de mémoire en arrière-plan complètent l'ensemble. Sur la suite LIBERO-PRO de base, MotorMind atteint 66,7 % de réussite, et 53,8 % sous perturbations. Les méthodes zéro-shot antérieures évaluées plafonnent à 13,3 % et 19,2 %. Sur un robot xArm6 réel, la même interface affiche 95 % de réussite moyenne, en manipulation directe comme en présence de perturbations humaines. Les auteurs n'indiquent ici ni le VLM utilisé, ni le nombre de tâches, ni le nombre d'essais réels. Il s'agit d'un résultat de laboratoire, sans déploiement industriel. L'intérêt tient à la voie proposée. Les modèles VLA (vision-langage-action) généralisent encore mal, hors distribution, à de nouvelles tâches et de nouveaux environnements. Leur entraînement spécialisé les coupe aussi des progrès rapides des VLM généralistes. MotorMind suggère qu'une bonne représentation d'actions intermédiaires, associée à une exécution asynchrone, permet d'exploiter ces VLM tels quels, comme un téléopérateur humain qui regarde, agit et corrige. Les auteurs constatent que remplacer le VLM par un modèle plus puissant améliore les scores. Les échecs restants viennent surtout du grounding visuel, du raisonnement incarné et de la connaissance des actions, et ils diminuent avec la capacité du modèle. Pour les intégrateurs, cela laisse entrevoir des robots qui bénéficient mécaniquement des mises à jour des modèles de fondation, sans réentraînement. La prudence reste de mise : LIBERO-PRO est un benchmark en simulation, l'écart avec les baselines est calculé sur des méthodes zéro-shot choisies par les auteurs, et rien n'est dit sur le temps de cycle, la latence ni le coût d'inférence, décisifs en production. Ce travail s'inscrit dans deux courants. Les VLA généralistes de type Pi-0 ou GR00T comptent sur de vastes données robotiques. Les systèmes « agentiques » utilisent des VLM pour le raisonnement de haut niveau, ou des agents de codage pour générer le contrôle, au prix d'une chaîne d'outils lourde et coûteuse. MotorMind cherche un compromis plus simple, avec un seul modèle. La suite dépendra de sa reproductibilité sur d'autres bras, de sa robustesse sur des tâches longues et de sa comparaison avec des VLA entraînés. Aucun pilote ni calendrier n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

MARVL : guidage multi-étapes pour la manipulation robotique via des modèles vision-langage

Des chercheurs ont publié MARVL (Multi-Stage Guidance for Robotic Manipulation via Vision-Language Models, arXiv:2602.15872), une méthode visant à automatiser la conception de fonctions de récompense dense pour l'apprentissage par renforcement (RL) appliqué à la manipulation robotique. L'approche repose sur l'affinage (fine-tuning) d'un modèle de vision-langage (VLM) pour améliorer sa cohérence spatiale et sémantique, puis décompose chaque tâche en sous-tâches séquentielles. Un mécanisme dit de projection de direction de trajectoire (task direction projection) renforce la sensibilité du signal de récompense aux progrès réels de l'agent. Évalué sur le benchmark Meta-World, référence standard pour les tâches de manipulation à récompenses éparses, MARVL surpasse les méthodes VLM-reward existantes en efficacité d'échantillonnage et en robustesse. La contribution centrale de MARVL est de corriger trois défauts chroniques des approches naïves de récompense par VLM : le désalignement entre signal de récompense et avancement réel de la tâche, la faiblesse du grounding spatial, et la compréhension insuffisante de la sémantique d'une tâche robotique. Pour les équipes de recherche en RL robotique, l'enjeu est concret : la conception manuelle de fonctions de récompense dense est coûteuse, non scalable, et constitue un goulot d'étranglement majeur dans le déploiement de nouveaux comportements. Si la méthode confirme ses performances sur des benchmarks plus larges, elle représenterait un pas vers l'automatisation du cycle de reward design, réduisant la dépendance aux ingénieurs spécialisés et accélérant l'itération expérimentale. Les VLMs utilisés comme superviseurs pour le RL robotique constituent un axe de recherche actif depuis 2023, porté notamment par des travaux comme EUREKA (OpenAI/NVIDIA) ou VLP. MARVL se distingue par son affinage ciblé du VLM et sa décomposition multi-étapes, là où EUREKA s'appuie sur un LLM pour générer du code de récompense sans fine-tuning préalable. La validation se limite pour l'instant à Meta-World, un environnement entièrement simulé ; aucun résultat sur robot physique n'est rapporté dans cette version, ce qui laisse ouverte la question du sim-to-real gap. Les suites naturelles incluront une évaluation sur des plateformes matérielles et des benchmarks plus récents comme RLBench ou ManiSkill.

RechercheOpinion

1 source

4arXiv cs.RO

SeeQ : entraîner des fonctions de valeur généralistes pour la manipulation robotique à long horizon

Des chercheurs présentent SeeQ (Subtask-elicited Q-functions) dans un preprint publié sur arXiv sous la référence 2609.22085v1, classé comme soumission nouvelle. La méthode s'attaque à un problème connu des politiques robotiques généralistes : leur fragilité sur des tâches longues et multi-étapes qui exigent plusieurs tentatives et une délibération répétée sur une même sous-étape avant de réussir. Plutôt que d'apprendre une fonction de valeur Q sur la récompense globale de la tâche, ce qui impose un horizon de crédit-assignation très long et des mises à jour de Bellman difficiles à stabiliser, SeeQ apprend une valeur Q pour la sous-tâche activement en cours, ce qui raccourcit l'horizon de prédiction et rend possible un apprentissage par différence temporelle efficace. Pendant l'entraînement, des annotations de sous-tâches déjà présentes dans des jeux de données robotiques hors ligne fournissent la décomposition, permettant d'exploiter des données larges et potentiellement sous-optimales. Au moment de l'inférence, aucune annotation humaine ni module séparé de prédiction de sous-tâche n'est nécessaire : l'architecture, construite sur un socle vision-langage, prédit d'abord de manière autorégressive la sous-tâche active en langage naturel avant d'en estimer la valeur, puis est pré-entraînée sur des données ouvertes de manipulation robotique et affinée sur les tâches cibles. Les auteurs rapportent des essais sur quatre tâches de manipulation réelles, menées sur deux plateformes robotiques bimanuelles, avec une amélioration jugée substantielle du pilotage de politique en best-of-N, sans toutefois donner de chiffres précis de taux de réussite ni d'écart avec les méthodes de référence, une imprécision qu'il convient de relever. Cette approche cible un point de friction central pour les politiques génératives de type vision-langage-action (VLA) : leur capacité à enchaîner plusieurs étapes sans dérive ni blocage répété sur la même sous-tâche. Les fonctions de valeur Q sont déjà utilisées pour classer des actions candidates ou guider l'amélioration d'une politique, mais leur entraînement sur des récompenses éparses au niveau de la tâche entière se heurte à des coûts de calcul et de couverture de données prohibitifs. En ramenant le problème à une valeur par sous-tâche et en supprimant le besoin d'un module de prédiction de sous-tâche séparé au moment du déploiement, SeeQ propose une piste concrète pour rendre le pilotage de politiques exploitable par des intégrateurs qui s'appuient sur des politiques VLA pré-entraînées, sans pipeline d'annotation supplémentaire côté production. SeeQ s'inscrit dans un courant de recherche qui cherche à doter les politiques VLA généralistes, dans la lignée de travaux comme Pi-0 ou GR00T N2, de mécanismes de vérification et de guidage complémentaires plutôt que de s'appuyer uniquement sur l'imitation. Il s'agit d'un preprint de recherche académique, non d'un produit commercial ni d'un déploiement industriel : aucune entreprise, aucun nom de robot commercial ni calendrier de mise sur le marché n'apparaît dans l'article, et les expériences restent limitées à deux plateformes bimanuelles en conditions de laboratoire. La suite logique, non précisée par les auteurs, serait une extension à davantage de plateformes et de tâches ainsi qu'un chiffrage plus détaillé des gains, avant toute intégration envisageable dans des piles logicielles de production.

RecherchePaper

1 source

Prototypes de tâches pour guider le flow matching : généralisation en few-shot pour la manipulation robotique vision-langage

À lire aussi

Cue the Flow : guider les politiques de flow matching pour la manipulation robotique en livraison en milieu ouvert

MotorMind : structurer des modèles vision-langage généralistes pour la manipulation robotique sans apprentissage préalable

MARVL : guidage multi-étapes pour la manipulation robotique via des modèles vision-langage

SeeQ : entraîner des fonctions de valeur généralistes pour la manipulation robotique à long horizon