Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
NoiseGate : plannings de bruit par pas de temps latent comme filtrage d'information dans les modèles monde-action
IA physiquearXiv cs.RO 

NoiseGate : plannings de bruit par pas de temps latent comme filtrage d'information dans les modèles monde-action

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie sur arXiv (2605.07794) NoiseGate, une méthode pour améliorer les World Action Models (WAM), catégorie émergente de politiques robotiques qui couplent génération d'actions et modélisation prédictive d'observations futures. Dans ce paradigme, actions et frames anticipées sont co-générées le long d'une trajectoire de débruitage partagée via une architecture Mixture-of-Transformers (MoT), où tokens vidéo et tokens action interagissent par attention partagée. Le défaut identifié est structurel : les WAM actuels appliquent un unique scalaire de bruit à toutes les frames latentes prédites, supposant implicitement que chaque observation future est également fiable pour décider de l'action. NoiseGate remplace ce scalaire unifié par un schedule appris individuellement pour chaque latent : un réseau léger, le Gating Policy Network, émet des incréments de timestep par frame à chaque étape de débruitage, entraîné par optimisation de récompense de tâche sans prior codé manuellement. Les auteurs rapportent des gains consistants sur les benchmarks de manipulation RoboTwin en scènes aléatoires.

L'apport de NoiseGate dépasse le gain de performance : il remet en question une hypothèse implicite centrale aux politiques robotiques à base de diffusion. Sous l'angle du Diffusion Forcing, le niveau de bruit joue le rôle d'un masque d'information ; assigner le même niveau à toutes les frames prédites revient à accorder une confiance uniforme à des observations qui diffèrent en certitude selon l'horizon temporel ou la variabilité de scène. Rendre ce schedule apprenable et par-latent permet au modèle de down-pondérer dynamiquement les frames incertaines lors de la génération d'action, ce qui est particulièrement pertinent pour des manipulations impliquant des séquences longues ou des environnements stochastiques. Pour les équipes travaillant sur des architectures VLA, cela valide le couplage fin entre qualité de prédiction vidéo et décision motrice.

Les WAM s'inscrivent dans la tendance à unifier modélisation du monde et politique de contrôle dans un seul modèle génératif, approche que poursuivent aussi Physical Intelligence avec π0 et NVIDIA avec GR00T N2. Le concept de Diffusion Forcing, sur lequel NoiseGate s'appuie conceptuellement, permet l'inférence causale et le débruitage séquentiel dans des architectures multi-modales ; l'architecture MoT utilisée comme backbone est au coeur de plusieurs projets de robotique généraliste. L'étape suivante serait de valider l'approche sur des plateformes physiques réelles : les résultats présentés, obtenus en simulation RoboTwin, restent à confirmer en conditions réelles.

Dans nos dossiers

NVIDIA GR00TPhysical Intelligence — π0arXiv cs.RO

À lire aussi

C³ache : accélérer les modèles monde-action par cache de blocs inter-inférences
1arXiv cs.RO 

C³ache : accélérer les modèles monde-action par cache de blocs inter-inférences

Des chercheurs ont publié sur arXiv en juin 2026 (référence 2606.08962) une méthode d'accélération appelée C³ache (Cross Inference Chunk Cache), ciblant les World Action Models (WAM), une classe de modèles robotiques qui génèrent des politiques d'action en modélisant la vidéo plutôt qu'en s'appuyant uniquement sur des démonstrations étiquetées. Contrairement aux politiques VLA (Vision-Language-Action) classiques, les WAM s'entraînent sur de la vidéo non labellisée abondante, ce qui améliore leur généralisation à de nouveaux mouvements et environnements, mais au prix d'un coût d'inférence élevé. Pour exécuter une tâche, un WAM enchaîne plusieurs blocs d'inférence successifs (chunks), chacun nécessitant un processus de débruitage coûteux. Les méthodes existantes réduisent ce coût en mettant en cache les calculs au sein d'un même chunk, mais ignorent une source de redondance plus large : la forte corrélation entre les résidus calculés à un même step de débruitage, d'un chunk au suivant, lorsque le robot exécute un comportement fluide. C³ache exploite cette corrélation en réutilisant ces résidus entre chunks consécutifs, sans aucun réentraînement du modèle. Les expériences sur benchmarks avec un backbone Fast-WAM montrent un gain allant jusqu'à 2,5× sur le temps d'inférence total mesuré en wall-clock, avec une dégradation négligeable du taux de succès aux tâches. Ce résultat a une portée concrète pour les équipes cherchant à déployer des robots autonomes à coût raisonnable. Le principal frein à l'adoption industrielle des WAM n'est pas la qualité des politiques générées, mais leur latence d'inférence : réduire ce coût par 2,5× sans modifier les poids du modèle constitue un levier de déploiement immédiat, sans pipeline de réentraînement ni risque de régression. La méthode valide aussi une hypothèse structurelle utile : les trajectoires robotiques lisses produisent des représentations internes stables d'un pas à l'autre, ce qui ouvre la voie à des stratégies de cache plus agressives au niveau système. Pour les intégrateurs et les équipes MLOps, C³ache se présente comme un composant directement intégrable à tout modèle WAM existant. Les WAM s'inscrivent dans une tendance initiée par des modèles comme pi-0 de Physical Intelligence et GR00T N2 de NVIDIA, qui exploitent tous deux un objectif de génération vidéo pour apprendre à partir de données non étiquetées. La course à la réduction des coûts d'inférence pour ces architectures est intense : Google, Physical Intelligence et plusieurs laboratoires académiques explorent en parallèle la distillation, la quantification et le cache intra-chunk. C³ache se positionne comme une solution orthogonale et combinable avec ces approches. Les auteurs soulignent toutefois une limite importante : la corrélation inter-chunks supposée ne tient que pour des comportements robotiques fluides, et des mouvements brusques ou des transitions rapides pourraient dégrader les performances. Il s'agit pour l'instant d'un preprint non relu par les pairs, et les évaluations restent confinées à des benchmarks simulés ; les prochaines étapes naturelles incluent la validation sur robots physiques et l'intégration dans des pipelines embarqués à contraintes de latence strictes.

IA physiqueActu
1 source
CLAW : apprentissage de modèles du monde à actions latentes continues par régularisation latente adversariale
2arXiv cs.RO 

CLAW : apprentissage de modèles du monde à actions latentes continues par régularisation latente adversariale

Des chercheurs ont publié sur arXiv (2606.04130) un cadre d'apprentissage auto-supervisé baptisé CLAW (Continuous Latent Action World Models via Adversarial Latent Regularization), conçu pour apprendre simultanément un modèle du monde et des représentations d'actions latentes continues à partir de vidéos non annotées. La méthode ne nécessite aucun label d'action : elle s'appuie sur une régularisation adversariale des représentations latentes et sur la génération vidéo par diffusion pour inférer une structure sémantique des actions directement depuis les transitions visuelles observées. Le modèle d'action latente (LAM) et le modèle du monde sont entraînés conjointement en bout en bout, permettant au système de raisonner sur la façon dont les actions inférées induisent des transitions dans l'environnement. CLAW supporte deux modes d'utilisation : le clonage comportemental par imitation depuis l'observation, où les actions latentes extraites de vidéos brutes suffisent à reproduire un comportement, et la planification dirigée par objectif, où le système génère des séquences d'actions latentes puis les mappe vers des actions exécutables. L'enjeu central ici est l'accès aux données. La robotique souffre d'un déficit chronique de données d'entraînement annotées avec des paires (observation, action), car les capteurs proprioceptifs et la capture de mouvement sont coûteux. CLAW ouvre la voie à l'exploitation de vidéos tierces non instrumentées, comme des démonstrations humaines filmées ou des contenus web, pour entraîner des politiques et des planificateurs. Si les résultats se confirment hors laboratoire, cela réduit drastiquement le coût de collecte de données pour les intégrateurs robotiques et les équipes d'ingénierie travaillant sur le transfer sim-to-real. Les auteurs rapportent des performances supérieures aux méthodes existantes sur des tâches variées et plusieurs morphologies robotiques, bien que les benchmarks spécifiques et les métriques quantitatives détaillées ne soient pas accessibles dans l'abstract seul. CLAW s'inscrit dans un courant de recherche actif sur les modèles d'actions latentes (LAM), dont les travaux fondateurs incluent LAPO et des approches basées sur des modèles de dynamique inversale (IDM). Il se distingue en combinant génération par diffusion et régularisation adversariale là où ses prédécesseurs utilisaient souvent des encodeurs déterministes ou des VQ-VAE. Les concurrents directs dans l'espace des world models pour la robotique comprennent UniSim (Google DeepMind), GAIA-1 (Wayve) côté génération vidéo, et des approches VLA comme pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) côté politique. CLAW se positionne en amont de ces pipelines, comme brique d'apprentissage de représentation plutôt que comme politique complète. Les prochaines étapes naturelles seront une validation sur des environnements physiques réels et l'intégration dans des boucles de fine-tuning pour des robots humanoïdes ou manipulateurs.

IA physiqueOpinion
1 source
VANE : entraînement fiable en temps de test pour les modèles vision-langage-action par prédiction visuelle future
3arXiv cs.RO 

VANE : entraînement fiable en temps de test pour les modèles vision-langage-action par prédiction visuelle future

Des chercheurs publient VANE (arXiv:2608.09448, soumis en aout 2026), une méthode de test-time training (TTT) pour les modèles vision-langage-action (VLA) utilises en manipulation robotique en boucle fermée. Le problème cible: l'adaptation en ligne classique mélange dans un espace de correction unique des ajustements incompatibles entre taches, et modifie les actions suivantes du robot avant même de savoir si la correction précédente était pertinente. VANE conditionne l'adaptation du prompt sur le contexte visuel et langagier courant, puis apprend a partir des conséquences visuelles futures des actions exécutées: les mises a jour candidates sont isolées de la politique active, évaluées sur les observations suivantes, et validées uniquement si les preuves futures les confirment, ce qui rend l'adaptation sélective et réversible. Sur le benchmark SimplerEnv WidowX, VANE améliore le taux de succès moyen de 3,2 points de pourcentage par rapport a la baseline TTT standard. Sur Google Robot en revanche, les gains obtenus au moment du déploiement restent dépendants de la tache et de l'embodiment (le type de robot), signe que la méthode ne généralisé pas uniformément. Pour les intégrateurs et laboratoires qui déploient des politiques VLA en production, ce travail s'attaque a un angle mort connu mais rarement traite proprement: l'adaptation test-time non supervisée peut dégrader silencieusement une politique déjà entraînée, en particulier en manipulation robotique ou une erreur d'action n'est visible qu'après coup. En rendant chaque mise a jour réversible et conditionnée a une preuve visuelle future, VANE propose une alternative aux méthodes TTT qui appliquent les corrections immédiatement et sans garde-fou. Le résultat mitige sur Google Robot est tout aussi instructif que le gain sur WidowX: il confirme que les bénéfices de l'adaptation en ligne ne sont pas garantis d'un robot a l'autre, et que le TTT reste une piste a valider embodiment par embodiment plutôt qu'une solution universelle, un rappel utile face aux discours présentant l'adaptation en temps réel comme un problème déjà résolu pour les VLA. VANE s'inscrit dans la lignée des travaux récents sur le test-time training applique aux politiques VLA de type RT-2, OpenVLA, Pi-0 ou GR00T, qui cherchent a corriger les policies au moment du déploiement sans reentrainement complet. Sa contribution spécifique est de traiter l'adaptation comme un processus a vérifier avant validation plutôt que comme une mise a jour immédiate, une approche qui rejoint les efforts plus larges du secteur pour fiabiliser le passage de la simulation au déploiement réel. Les auteurs testent leur méthode sur deux bancs d'essai standards, SimplerEnv WidowX et Google Robot, mais les résultats contrastes sur ce second environnement suggèrent qu'une validation plus large, sur d'autres plateformes et taches de manipulation, sera nécessaire avant d'envisager une adoption industrielle.

IA physiqueActu
1 source
MemoryVLA++ : modélisation temporelle par mémoire et imagination dans les modèles vision-langage-action (VLA)
4arXiv cs.RO 

MemoryVLA++ : modélisation temporelle par mémoire et imagination dans les modèles vision-langage-action (VLA)

Une équipe de chercheurs publie sur arXiv (2606.09827, juin 2026) MemoryVLA++, un framework de modélisation temporelle pour modèles VLA (Vision-Language-Action). L'architecture combine trois composants : une mémoire de travail construite à partir des tokens perceptifs et cognitifs générés par un VLM pré-entraîné sur l'observation courante ; une banque mémoire Perceptual-Cognitive qui indexe contexte sémantique et détails bas niveau des interactions passées via un mécanisme de consolidation sans redondance ; et un modèle du monde simulant des états futurs dans un espace latent de débruitage. Ces latents imaginés, guidés par la mémoire, alimentent un expert d'action à diffusion qui produit des séquences d'actions temporellement cohérentes. Évalué sur cinq benchmarks de simulation (Libero, SimplerEnv, Mikasa-Robo, Calvin, Libero-Plus) et trois catégories de tâches réelles sur trois robots distincts, le système affiche des gains de +9 % sur les tâches générales, +26 % sur les tâches mémoire-dépendantes, et +28 % sur les tâches d'anticipation. Ces résultats adressent une faiblesse structurelle des VLAs actuels (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, OpenVLA), tous limités à l'observation instantanée et incapables de maintenir un contexte opérationnel sur plusieurs étapes. Pour des tâches longue-portée (reprendre une manipulation interrompue, enchaîner des gestes interdépendants), cette limitation est rédhibitoire en environnement industriel réel. Le gain de +26 % sur les tâches mémoire-dépendantes, mesuré hors simulation, est le point le plus solide de la publication : il suggère que l'architecture surmonte partiellement le sim-to-real gap qui affaiblit beaucoup de travaux académiques récents. Pour un intégrateur ou un COO industriel, c'est la différence entre un robot qui réinitialise sa compréhension à chaque step et un qui maintient un contexte cohérent sur l'ensemble de la séquence de manipulation. MemoryVLA++ s'inscrit dans une vague de travaux cherchant à injecter du raisonnement temporel dans les fondations robotiques, face aux architectures VLA portées par Physical Intelligence, NVIDIA et Google DeepMind. L'inspiration est explicitement cognitive : mémoire de travail (buffer court terme), système hippocampique (mémoire épisodique des interactions passées) et simulation mentale d'états futurs, trois mécanismes documentés en neurosciences. L'article reste un preprint non relu par les pairs, et les vidéos de démonstration sur la page projet méritent une lecture critique avant toute conclusion définitive. Les suites naturelles seraient une validation sur bras industriels à 6-7 DOF en environnement non contrôlé et une comparaison rigoureuse avec des approches à mémoire externe de type RAG robotique. Aucun acteur européen n'est impliqué dans ces travaux.

IA physiqueOpinion
1 source