Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
ElasticFlow : une politique à horizon temporel élastique pour la manipulation guidée par le langage
RecherchearXiv cs.RO2j

ElasticFlow : une politique à horizon temporel élastique pour la manipulation guidée par le langage

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

ElasticFlow est un cadre de politique robotique pour la manipulation guidée par le langage, présenté dans un preprint arXiv (2605.08799) publié en mai 2026. L'approche vise à résoudre le principal défaut des politiques de diffusion, dominantes en robotique incarnée depuis 2023: leur processus itératif de débruitage génère une latence incompatible avec le contrôle temps réel. ElasticFlow atteint une inférence en une seule évaluation réseau (1-NFE, Neural Function Evaluation) à environ 71 Hz, sans recourir à la distillation. La méthode est validée sur trois benchmarks standard: LIBERO, CALVIN et RoboTwin, où elle surpasse OpenVLA et Pi-0 (Physical Intelligence) sur des tâches à long horizon temporel.

Le coeur de la contribution est double. D'une part, les auteurs reconstruisent la Mean Field Theory pour modéliser directement le champ de vitesse moyen, ce qui permet un mapping direct bruit-vers-action en une seule passe, sans sacrifier la cohérence physique des trajectoires. D'autre part, le mécanisme "Elastic Time Horizons" encode explicitement la granularité de contrôle afin d'aligner les instructions sémantiques en langage naturel avec les horizons d'exécution physique, adressant le Spectral Bias inherent aux réseaux neuronaux profonds. Si ces gains se confirment sur matériel réel, l'impact pour les intégrateurs est concret: des politiques VLA (Vision-Language-Action) déployables en temps réel sur des contrôleurs embarqués à ressources limitées, sans pipeline de distillation complexe à maintenir.

Ce travail s'inscrit dans une compétition dense autour des architectures VLA: Pi-0 de Physical Intelligence, OpenVLA de Berkeley, RT-2 de Google DeepMind, ou encore les récents modèles de manipulation de Figure AI et 1X Technologies ont tous posé des jalons dans cette catégorie. Le backbone diffusion en robotique a été popularisé par Diffusion Policy (Chi et al., 2023), devenu une référence de facto. ElasticFlow cible précisément son goulot d'étranglement computationnel. Le papier reste un preprint non évalué par les pairs, et les expériences présentées reposent exclusivement sur des benchmarks simulés. Aucune validation sur plateforme matérielle réelle n'est annoncée, ce qui laisse entière la question du sim-to-real gap et nuance les affirmations de "cohérence physique" avancées par les auteurs.

Dans nos dossiers

Figure1X TechnologiesPhysical Intelligence — π0OpenVLA / RT-X

À lire aussi

Politique CoLA-Flow : apprentissage par imitation temporellement cohérent via le flux d'actions latentes continues pour la manipulation robotique
1arXiv cs.RO 

Politique CoLA-Flow : apprentissage par imitation temporellement cohérent via le flux d'actions latentes continues pour la manipulation robotique

Une équipe de chercheurs a publié sur arXiv (2501.23087, version 3 en mai 2026) CoLA-Flow Policy, un framework d'apprentissage par imitation conçu pour la manipulation robotique sur des horizons d'action longs. L'approche combine le flow matching, une technique générative plus rapide que la diffusion, avec un espace d'action latent continu dans lequel les trajectoires sont encodées avant l'apprentissage du flux. Sur bancs de simulation et sur robots réels, les expériences affichent une amélioration de la régularité des trajectoires allant jusqu'à 93,7 % et un gain de taux de succès allant jusqu'à 25 points de pourcentage par rapport aux baselines de flow matching opérant directement dans l'espace d'action brut. L'inférence s'effectue en quasi-un seul pas, soit une vitesse nettement supérieure aux politiques basées sur la diffusion, qui nécessitent plusieurs étapes de débruitage. Le principal apport de CoLA-Flow est de découpler la structure globale du mouvement du bruit de contrôle bas niveau : en encodant les séquences d'actions en trajectoires latentes temporellement cohérentes, le modèle évite les oscillations et incohérences qui affectent les politiques de flow matching en espace brut. Pour un intégrateur ou un décideur industriel, cela signifie qu'une même architecture peut traiter des tâches de manipulation complexes sans latence rédhibitoire ni comportement erratique entre les étapes. Le conditionnement par nuages de points (point cloud) et la modulation multimodale à l'exécution via des indices visuels renforcent la robustesse dans des environnements réels non contrôlés, deux exigences critiques pour tout déploiement hors laboratoire. Ce travail s'inscrit dans une compétition intense entre architectures génératives pour les politiques robotiques. Diffusion Policy (Chi et al., 2023) a établi la référence en termes d'expressivité comportementale, mais son coût computationnel freine l'usage temps réel. Pi-0 de Physical Intelligence et GR00T N2 de NVIDIA ont validé le flow matching comme alternative viable, au prix d'une instabilité accrue sur les horizons longs, précisément le problème que CoLA-Flow tente de résoudre via l'espace latent. Le framework s'apparente conceptuellement aux approches d'action chunking (ACT), mais opère au niveau du flux plutôt que de la prédiction directe. La troisième version de l'article suggère des révisions itératives significatives depuis janvier 2026 ; aucun déploiement industriel ni partenariat commercial n'est mentionné à ce stade, et les benchmarks présentés restent limités à des environnements de manipulation contrôlés.

RechercheOpinion
1 source
Raisonner en texte et en images : traces de raisonnement vision-langage entrelacées pour la manipulation robotique à long horizon
2arXiv cs.RO 

Raisonner en texte et en images : traces de raisonnement vision-langage entrelacées pour la manipulation robotique à long horizon

Des chercheurs ont publié sur arXiv (arXiv:2605.00438) un cadre de politique robotique appelé IVLR (Interleaved Vision-Language Reasoning), conçu pour la manipulation à horizon long. Le coeur du système est une représentation intermédiaire explicite, la "trace", qui alterne des sous-objectifs textuels avec des images-clés visuelles sur l'ensemble de la séquence de tâche. À l'inférence, un transformateur multimodal natif génère cette trace globale à partir de l'observation initiale et de l'instruction, la met en cache, puis conditionne un décodeur d'actions en boucle fermée. Sur le benchmark simulé LIBERO, IVLR atteint 95,5 % de taux de succès moyen, dont 92,4 % sur LIBERO-Long, et 59,4 % sur SimplerEnv-WidowX. L'absence de telles traces dans les jeux de données robotiques existants est contournée par une pseudo-supervision construite en segmentant temporellement des démonstrations et en les annotant automatiquement via un modèle vision-langage. Les ablations quantifient clairement la valeur de chaque modalité : sans trace, LIBERO-Long chute à 37,7 % ; une trace texte seule atteint 62,0 %, une trace visuelle seule 68,4 %, tandis que la trace entrelacée texte-image monte à 92,4 %. L'écart de 30 points entre la combinaison et les modalités isolées démontre que le raisonnement causal (texte) et les contraintes géométriques (image) sont complémentaires, pas substituables. C'est une contribution directe au débat sur la planification explicite versus latente dans les politiques VLA (Vision-Language-Action) : masquer la planification dans des états latents, comme le font la majorité des architectures actuelles, laisse une performance substantielle sur la table. IVLR s'inscrit dans un courant de politiques VLA à planification explicite, en concurrence avec des approches comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui intègrent également des capacités de raisonnement multimodal. La méthode de pseudo-supervision est potentiellement impactante pour les équipes académiques : elle permet de réutiliser des datasets existants sans annotations humaines supplémentaires, abaissant le coût d'entrée à la recherche sur les longues séquences. Les tests de robustesse indiquent une dégradation modérée face aux perturbations d'exécution et aux traces partiellement masquées, mais les auteurs reconnaissent une limite claire : lorsque le plan global est incorrect ou obsolète, le système reste fragile. La prochaine étape logique est la mise à jour dynamique de la trace en cours d'exécution, et la validation sur robots physiques hors simulation.

UELes laboratoires académiques européens (INRIA, CEA-List) travaillant sur les politiques VLA pourraient directement réutiliser la méthode de pseudo-supervision pour annoter leurs datasets existants sans coût humain supplémentaire.

RechercheOpinion
1 source
MARVL : guidage multi-étapes pour la manipulation robotique via des modèles vision-langage
3arXiv cs.RO 

MARVL : guidage multi-étapes pour la manipulation robotique via des modèles vision-langage

Des chercheurs ont publié MARVL (Multi-Stage Guidance for Robotic Manipulation via Vision-Language Models, arXiv:2602.15872), une méthode visant à automatiser la conception de fonctions de récompense dense pour l'apprentissage par renforcement (RL) appliqué à la manipulation robotique. L'approche repose sur l'affinage (fine-tuning) d'un modèle de vision-langage (VLM) pour améliorer sa cohérence spatiale et sémantique, puis décompose chaque tâche en sous-tâches séquentielles. Un mécanisme dit de projection de direction de trajectoire (task direction projection) renforce la sensibilité du signal de récompense aux progrès réels de l'agent. Évalué sur le benchmark Meta-World, référence standard pour les tâches de manipulation à récompenses éparses, MARVL surpasse les méthodes VLM-reward existantes en efficacité d'échantillonnage et en robustesse. La contribution centrale de MARVL est de corriger trois défauts chroniques des approches naïves de récompense par VLM : le désalignement entre signal de récompense et avancement réel de la tâche, la faiblesse du grounding spatial, et la compréhension insuffisante de la sémantique d'une tâche robotique. Pour les équipes de recherche en RL robotique, l'enjeu est concret : la conception manuelle de fonctions de récompense dense est coûteuse, non scalable, et constitue un goulot d'étranglement majeur dans le déploiement de nouveaux comportements. Si la méthode confirme ses performances sur des benchmarks plus larges, elle représenterait un pas vers l'automatisation du cycle de reward design, réduisant la dépendance aux ingénieurs spécialisés et accélérant l'itération expérimentale. Les VLMs utilisés comme superviseurs pour le RL robotique constituent un axe de recherche actif depuis 2023, porté notamment par des travaux comme EUREKA (OpenAI/NVIDIA) ou VLP. MARVL se distingue par son affinage ciblé du VLM et sa décomposition multi-étapes, là où EUREKA s'appuie sur un LLM pour générer du code de récompense sans fine-tuning préalable. La validation se limite pour l'instant à Meta-World, un environnement entièrement simulé ; aucun résultat sur robot physique n'est rapporté dans cette version, ce qui laisse ouverte la question du sim-to-real gap. Les suites naturelles incluront une évaluation sur des plateformes matérielles et des benchmarks plus récents comme RLBench ou ManiSkill.

RechercheOpinion
1 source
SAGAS : assemblage par graphe sémantique pour la planification hors ligne en logique temporelle
4arXiv cs.RO 

SAGAS : assemblage par graphe sémantique pour la planification hors ligne en logique temporelle

Des chercheurs ont déposé sur arXiv (référence 2512.00775, version 2, 2025) un cadre baptisé SAGAS (Semantic-Aware Graph-Assisted Stitching) pour la planification robotique à long horizon à partir de données hors-ligne uniquement. Le problème ciblé : piloter un agent pour exécuter des tâches complexes décrites en logique temporelle linéaire (LTL), un formalisme mathématique exprimant des séquences de conditions du type "atteindre A, puis B, tout en évitant C", sans modèle de dynamique, sans démonstrations spécifiques à la tâche, et sans interaction en ligne avec l'environnement. SAGAS apprend deux composants offline à partir de fragments de trajectoires hétérogènes : un graphe latent d'atteignabilité réutilisable, et un exécuteur conditionné sur des objectifs figé après l'entraînement. Pour chaque nouvelle formule LTL au moment du test, le système augmente ce graphe avec des propositions sémantiques, puis applique une recherche en produit de Büchi pour synthétiser un plan de waypoints "prefix-suffix" à coût minimisé, exécuté par l'exécuteur figé. Les expériences portent sur les domaines de locomotion d'OGBench, une suite de benchmarks offline standard dans la communauté. La contribution centrale revendiquée est la généralisation zero-shot à des spécifications LTL non vues à l'entraînement, sans récompense tâche-spécifique ni réentraînement de politique. C'est une distinction structurelle face aux deux familles dominantes : la synthèse symbolique model-based exige un système de transitions étiqueté précis, difficile à construire sur du matériel réel, tandis que les méthodes d'apprentissage par renforcement supposent généralement une interaction en ligne ou des démonstrations dédiées. SAGAS déplace le raisonnement propre à chaque formule vers une augmentation de graphe et une recherche symbolique au temps d'inférence, découplant ainsi la capacité de généralisation du processus d'entraînement. À noter : les validations sont entièrement simulées sur OGBench ; le gap sim-to-real n'est pas adressé, ce qui limite la portée industrielle immédiate. La planification LTL en robotique mobilise un nombre croissant d'équipes, portée par le besoin de comportements vérifiables formellement sur des robots industriels et de service. Les approches concurrentes couvrent un spectre large : planification par diffusion (Diffuser, Decision Diffuser), politiques conditionnées par langage naturel via des VLA (vision-language-action models), et combinaisons de model checking avec du renforcement offline sur D4RL (IQL, CQL). SAGAS occupe la niche "offline + symbolique + zero-shot LTL", encore peu exploitée. Aucun déploiement matériel ni partenariat industriel n'est annoncé ; les suites logiques seraient une validation sur plateforme physique et une extension à des environnements à espace d'état plus riche.

RecherchePaper
1 source