Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Attrape-moi si tu peux : débruitage du retour en temps réel pour des VLA plus réactifs
RecherchearXiv cs.RO 

Attrape-moi si tu peux : débruitage du retour en temps réel pour des VLA plus réactifs

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent VLA-Feedback, une architecture pour modèles vision-langage-action (VLA) qui corrige en temps réel les gestes d'un bras robotique pendant leur exécution, décrite dans un article publié sur arXiv (2609.21022v1). Elle répond à une limite connue des générateurs d'actions par diffusion, qui produisent un bloc de mouvements en une seule passe puis l'exécutent en boucle ouverte, sans réagir aux changements survenant dans la scène. VLA-Feedback combine une planification par diffusion à basse fréquence et un retour visuel à haute fréquence, qui ajuste chaque action juste avant son exécution via la dernière étape de débruitage du modèle, sans relancer l'ensemble du pipeline vision-langage. Sur le benchmark statique LIBERO, ses résultats égalent ceux de GR00T. Sur des tâches dynamiques en simulation, le taux de réussite moyen grimpe de 27,5% à 85,0%; sur robot réel, il passe de 51% à 73%.

Ce résultat cible un point de friction central pour l'industrialisation des VLA: la plupart des démonstrations de manipulation robotique sont tournées en environnement figé, où rien ne bouge entre la perception et l'action. Dès qu'un objet est déplacé ou qu'un contact change en cours de mouvement, les politiques en boucle ouverte échouent ou exigent une replanification complète, coûteuse en latence. En conservant l'expressivité du planificateur par diffusion tout en ajoutant une correction visuelle continue, VLA-Feedback propose une piste concrète pour réduire l'écart entre démonstration et usage réel en usine ou en entrepôt, où les scènes évoluent en permanence, un enjeu direct pour les intégrateurs qui évaluent le risque de déployer des bras pilotés par VLA hors laboratoire.

Les VLA se sont imposés ces deux dernières années comme l'approche dominante pour la manipulation robotique généraliste, en combinant des modèles vision-langage préentraînés avec des politiques d'action par diffusion. GR00T, utilisé ici comme référence de comparaison, est développé par NVIDIA et sert de socle à plusieurs déploiements humanoïdes annoncés dans le secteur. D'autres approches, comme Pi-0 de Physical Intelligence ou Helix de Figure AI, explorent elles aussi des architectures à deux échelles de temps, signe que la réactivité en boucle fermée est identifiée comme un verrou majeur par l'ensemble du secteur. VLA-Feedback reste à ce stade une contribution académique: les auteurs renvoient vers une page de projet dédiée pour les documents complémentaires, sans calendrier de déploiement industriel ni partenariat annoncé.

Dans nos dossiers

FigureIA physique & VLANVIDIA GR00TPhysical Intelligence — π0

À lire aussi

Les actions urgentes d'abord : un débruitage sensible à l'urgence pour le contrôle VLA en temps réel
1arXiv cs.RO 

Les actions urgentes d'abord : un débruitage sensible à l'urgence pour le contrôle VLA en temps réel

Des chercheurs proposent Urgency-Aware Denoising (UAD), un cadre appliqué à l'inférence qui vise la latence des politiques Vision-Language-Action (VLA) à diffusion ou à flow matching. Ces modèles produisent des « chunks » d'actions par débruitage itératif, et chaque étape de débruitage ajoute du délai avant que le robot puisse bouger. UAD part d'un constat simple. Les actions d'un chunk sont générées ensemble mais exécutées l'une après l'autre, donc les premières sont plus urgentes que les dernières. Le système libère ces actions urgentes après moins d'étapes de débruitage. Il poursuit en arrière-plan le raffinement des actions de fin de chunk, pendant que le robot exécute les premières. Deux mécanismes corrigent les effets secondaires. Trajectory Reconciliation reconstruit un état interne cohérent, sans évaluation supplémentaire du modèle. Ghost Action Correction utilise des « actions fantômes », des prolongements non exécutés, pour compenser les erreurs des actions libérées trop tôt. Selon les auteurs, testés sur plusieurs architectures VLA, des benchmarks de simulation et des tâches de manipulation réelles, UAD atteint jusqu'à 1,89x d'accélération sur la latence moyenne de disponibilité des actions. Le taux de succès reste comparable à l'inférence classique avec un budget de débruitage optimal. L'intérêt tient au point de blocage de ces politiques : la latence d'inférence limite le contrôle temps réel. Beaucoup de méthodes d'accélération traitent le chunk comme un bloc indivisible. Ici, on exploite la structure temporelle du contrôle à horizon glissant. Cela peut réduire le délai de réaction sans changer les poids du modèle. Les résultats appellent toutefois de la prudence. Le chiffre de 1,89x est un maximum. Il porte sur la disponibilité moyenne des actions, pas sur le temps de cycle d'une tâche complète. Le résumé ne précise ni les modèles, ni le matériel, ni les tâches réelles, ni la variance entre essais. « Comparable » reste à quantifier. Ce travail s'inscrit dans la course aux VLA à diffusion et à flow matching, de la famille Pi-0 aux politiques de diffusion, qui pousse à réduire le coût du débruitage. Les alternatives connues passent par moins d'étapes, la distillation, la mise en cache ou l'inférence asynchrone. Les auteurs affirment un meilleur compromis succès-latence que les références de pointe, sans que le résumé les nomme. C'est un preprint arXiv, non évalué par les pairs, sans acteur industriel identifié. Les prochaines étapes à surveiller sont la publication du code, la réplication indépendante et des essais sur robot embarqué.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Vers des VLA en temps réel : débruitage de flux en deux étapes adapté aux phases, et évaluation au niveau système
2arXiv cs.RO 

Vers des VLA en temps réel : débruitage de flux en deux étapes adapté aux phases, et évaluation au niveau système

Les modèles vision-langage-action (VLA) se heurtent à un décalage temporel : l'inférence tourne à basse fréquence, alors que l'exécution robotique exige des cadences élevées. Une étude publiée sur arXiv (2609.39822, préprint non évalué par les pairs) mesure ce décalage de bout en bout. Côté modèle, le débruitage répété du Flow Matching pèse lourd dans le coût d'inférence. Côté robot, les retards viennent surtout de l'acquisition des données de perception, de l'ordonnancement des communications et de la réponse physique. Les auteurs observent que le champ de vitesse reste stable en amplitude et en direction au début de l'intégration, puis subit de fortes corrections directionnelles dans les dernières étapes. Ils en tirent un débruitage non uniforme en deux étapes, qui ramène le nombre de pas de 10 à 2 et le temps d'inférence du modèle de 61,557 ms à 21,956 ms. Ils présentent aussi un framework VLA distribué temps réel, avec des cadences indépendantes pour l'inférence, la publication des actions et le contrôle du robot, une acquisition modulaire des observations et une journalisation de la provenance des actions. Avec π0.5 comme référence, six méthodes d'exécution temps réel sont comparées sur une tâche physique de pliage de vêtements à long horizon. Le résultat le plus utile pour un intégrateur : Legato est la meilleure méthode entraînée, et le Temporal Smoothing la meilleure méthode sans entraînement. Les deux se distinguent par le taux de réussite, le temps de réalisation, la continuité des actions et la douceur des accélérations. Associer le débruitage en deux étapes à ces méthodes réduit nettement le coût d'inférence, pour une baisse modeste des performances. Le résumé ne chiffre pas cette baisse. Il faut aussi relativiser : une seule tâche, sur un seul modèle de base, ne permet pas de généraliser. Ce travail déplace l'attention de la seule vitesse du modèle vers l'ensemble de la chaîne. Les gains de latence ne servent à rien si la perception, la communication et l'actionneur restent le goulot, et c'est précisément ce que montrent les mesures. Pour les équipes qui déploient des VLA sur des robots réels, les méthodes sans entraînement sont une voie peu coûteuse, puisqu'elles se greffent sur un modèle existant sans réentraînement. Cela fragilise l'idée que la fluidité des démonstrations de VLA tient au seul modèle, et rappelle que l'écart entre démo et réalité se joue aussi dans l'architecture logicielle et le timing système. Le contexte est celui de la montée des VLA à base de Flow Matching, dont la famille π de Physical Intelligence est l'exemple le plus visible, et de leur passage des laboratoires vers des tâches longues et déformables comme le pliage de linge. Les concurrents travaillent les mêmes verrous par d'autres voies : réduction du nombre de pas de diffusion, exécution asynchrone par morceaux d'actions, lissage temporel. Les auteurs concluent à la nécessité d'une optimisation conjointe de l'inférence et du timing du système robotique. Le résumé n'indique ni publication du code ni validation sur d'autres plateformes ou d'autres tâches, qui seront nécessaires pour confirmer la portée de ces résultats.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Débruitage par priorité d'action pour un découpage fluide en temps réel
3arXiv cs.RO 

Débruitage par priorité d'action pour un découpage fluide en temps réel

Une équipe de chercheurs a publié le 26 mai 2026 sur arXiv (réf. 2605.25537) une méthode baptisée Soft RTC (Soft Real-Time Chunking), visant à rendre les politiques d'action par blocs plus fluides lorsqu'elles opèrent sous délai d'inférence. Le problème de départ est concret : les politiques de type diffusion génèrent les commandes motrices en « chunks » (séquences d'actions), mais l'inférence prend du temps. Le RTC standard résout cela en conditionnant chaque nouveau chunk sur les actions déjà engagées par le précédent, grâce à un masque binaire de préfixe. Soft RTC remplace ce masque binaire par un mécanisme de dénaturation partielle (action-prior denoising) : les tokens de chevauchement entre deux chunks ne partent plus d'un bruit pur, mais d'états partiellement dénaturés, alignés sur le chunk précédent via une règle de mélange par token. Sur les 12 niveaux Kinetix publiés (environnements de simulation de manipulation complexe), un fenêtrage "soft" court atteint un taux de résolution de 0,809 contre 0,815 pour le hard RTC, soit un écart marginal. Un fenêtrage medium réduit quant à lui le delta d'action et le jerk (à-coup) en régime de fort délai de respectivement 9,1 % et 9,6 % par rapport au hard RTC classique. Une étude préliminaire sur robot réel en tri d'objets confirme l'amélioration de la complétion et donne à Soft RTC les meilleures métriques de douceur de commande parmi les politiques testées. L'enjeu pour la robotique industrielle est précis : le jerk élevé, c'est l'usure mécanique, les alarmes de sécurité, et l'impossibilité de travailler en cobotique. Les politiques de diffusion pour la manipulation (pi-0 de Physical Intelligence, ACT, Diffusion Policy) ont démontré des capacités de généralisation impressionnantes, mais leur déploiement en temps réel reste contraint par la latence d'inférence, typiquement plusieurs centaines de millisecondes sur GPU embarqué. Hard RTC avait déjà attaqué ce problème ; Soft RTC prouve qu'on peut gagner significativement en douceur de mouvement sans sacrifier ni le taux de succès ni le coût computationnel, les deux variantes conservent un overhead « quasi-naïf » à l'inférence, sans guidance coûteuse au déploiement. Ce résultat contredit l'idée que fluidité et performance sont nécessairement en tension dans les politiques diffusion pour la manipulation. La problématique du délai d'inférence dans les politiques d'action par diffusion est active depuis que ces architectures ont montré leur supériorité en manipulation dextère, notamment avec les travaux de Stanford (Diffusion Policy, 2023) et de Physical Intelligence (pi-0, 2024). Le hard RTC de référence avait établi une baseline robuste mais au prix de transitions sèches entre chunks. Côté acteurs, Physical Intelligence, Unitree, Figure AI et les équipes de Google DeepMind (GR00T, RT-2) travaillent tous sur des politiques à base de diffusion pour leurs humanoïdes et bras manipulateurs. Soft RTC s'inscrit dans la couche d'inférence basse latence de ces systèmes, indépendamment de l'architecture VLA sous-jacente. Aucun partenaire industriel ni timeline de déploiement n'est mentionné, il s'agit d'une contribution de recherche, avec code et niveaux Kinetix publiés, mais sans implémentation industrielle annoncée à ce stade.

RecherchePaper
1 source
REACT : débruitage glissant et double découplage pour un contrôle réactif des robots avec des modèles VLA
4arXiv cs.RO 

REACT : débruitage glissant et double découplage pour un contrôle réactif des robots avec des modèles VLA

Des chercheurs publient sur arXiv (2610.12007) REACT, un cadre de « rolling denoising » destiné aux modèles vision-langage-action (VLA) à base de flow matching, ces modèles qui génèrent des séquences d'actions (« action chunks ») pour produire des mouvements de robot cohérents dans le temps. Au lieu de régénérer un chunk complet à chaque cycle, REACT maintient un tampon d'actions persistant dont les blocs sont à des pas de débruitage échelonnés. À chaque pas de contrôle, tout l'horizon est débruité avec l'observation la plus récente, le bloc le plus « propre » est exécuté, les blocs partiellement raffinés sont décalés vers l'avant et du bruit frais est ajouté en queue. Chaque action est ainsi affinée sur plusieurs observations successives avant d'être envoyée au robot. Un second volet, le « dual decoupling », sépare la perception, l'encodage par le VLM, le débruitage par le DiT (diffusion transformer) et l'exécution des actions, ce qui permet des mises à jour d'observation à haute fréquence et un flux d'actions continu sous des contraintes de calcul réalistes. L'évaluation couvre le benchmark de simulation RoboTwin 2.0 et des tâches réelles de manipulation bimanuelle et de contrôle dynamique sur plusieurs plateformes robotiques. Les auteurs revendiquent un meilleur taux de réussite, une latence de réaction réduite et des trajectoires plus lisses que les méthodes de replanification fréquente et les approches asynchrones. Le résumé ne donne aucun chiffre précis, ni fréquence de contrôle, ni gain en points de succès. L'enjeu est un compromis structurel des VLA actuels. Des chunks longs donnent des mouvements fluides mais un robot lent à réagir à une perturbation, tandis qu'une replanification fréquente améliore la réactivité au prix de discontinuités qui abîment la qualité du geste, voire le matériel. Pour un intégrateur, cela touche directement les tâches dynamiques (objets mobiles, convoyeurs, interaction avec des humains) où les démonstrations de VLA restent souvent cantonnées à des scènes quasi statiques. Si les gains se confirment, REACT montrerait qu'on peut gagner en réactivité par l'architecture d'inférence, sans réentraîner de modèle plus gros. Il faut toutefois rester prudent : il s'agit d'un preprint non évalué par les pairs, et la comparaison porte sur des baselines choisies par les auteurs. L'absence de chiffres de latence dans le résumé empêche pour l'instant de juger si le gain est marginal ou décisif. Cette approche s'inscrit dans une série de travaux sur le temps réel des VLA. Les chunks d'actions issus de la diffusion ou du flow matching, popularisés par des modèles comme Pi-0, ont imposé ce dilemme, et des méthodes asynchrones ou de « real-time chunking » ont tenté de le contourner en exécutant l'inférence en parallèle du mouvement. REACT s'en distingue en transposant au contrôle robotique l'idée du débruitage glissant (rolling diffusion), déjà utilisée en génération vidéo, et en y ajoutant la séparation des composants pour tenir les contraintes de calcul embarquées. La suite dépendra de la publication du code, de mesures sur des cycles de contrôle réels et de tests sur d'autres familles de VLA, en particulier celles qui visent le déploiement industriel.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source