RecherchearXiv cs.RO 15 octobre 2026

Le temps physique, dimension manquante de la dynamique de mémoire des politiques robotiques

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Les politiques robotiques actuelles gèrent généralement leur mémoire au rythme des observations, comme si chaque mise à jour correspondait à la même durée physique. Un papier déposé sur arXiv (2610.20524) pointe la faille : deux historiques d'observations identiques peuvent s'étendre sur des durées différentes et exiger des actions différentes. Les auteurs proposent le Temporal Flow Policy (TFP), une mémoire apprise qui retient les événements passés et fait évoluer son état selon les intervalles de temps réellement mesurés. Les observations et la mémoire précédente déterminent le contenu et les échelles de temps de chaque transition, tandis que le temps écoulé fixe l'avancée de l'état. Cet état conditionne des politiques de diffusion et de flow matching, entraînées avec leurs objectifs d'imitation habituels. L'évaluation porte sur Diffusion Policy et π0.5, avec des comparaisons contrôlées entre conceptions de mémoire. TFP obtient un taux de succès moyen supérieur à celui des mémoires récurrentes et des modèles d'espace d'états auxquels on fournit les mêmes intervalles. Il fait aussi mieux qu'une variante qui injecte l'intervalle dans une porte apprise. Des tests sur robot réel exigeant timing ou mémoire, ainsi que le benchmark LIBERO, complètent l'évaluation.

L'enjeu est concret pour la manipulation : de nombreuses tâches dépendent de ce qui s'est passé il y a un certain temps, comme attendre une fin de cuisson, reprendre après une occlusion ou séquencer des gestes. Or les politiques VLA et de diffusion, souvent alimentées par quelques images récentes, ignorent le plus souvent la durée écoulée. Les résultats suggèrent que fournir l'intervalle ne suffit pas, puisque la mémoire doit aussi conserver l'historique. Les lectures de mémoire permettent de retrouver le temps écoulé depuis un événement et l'information de mouvement après occlusion. Modifier les intervalles fournis retarde ou avance systématiquement les actions, ce qui relie causalement l'entrée temporelle au comportement. Pour les intégrateurs, c'est un levier potentiel sur la robustesse face à des cadences variables, par exemple des latences d'inférence irrégulières. Les gains restent toutefois mesurés sur des benchmarks et quelques tâches réelles. Le résumé ne donne ni taux de succès chiffrés ni nombre de tâches, et rien n'indique une validation à l'échelle d'un déploiement.

Ce travail s'inscrit dans l'essor des politiques généralistes, dont π0.5 de Physical Intelligence est l'un des représentants, et dans la recherche de mémoire pour la manipulation longue durée. Les approches concurrentes reposent sur des réseaux récurrents, des modèles d'espace d'états ou des fenêtres d'observations, que TFP prend ici comme références. Le papier propose de voir la mémoire comme un état qui évolue avec le temps physique, et non comme un simple historique stocké. Il s'agit d'une préimpression, sans pilote industriel ni calendrier annoncé. La suite logique serait une validation sur des tâches plus longues, avec d'autres architectures de politiques et des fréquences de contrôle hétérogènes.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Chronos Policy : apprendre les politiques de robots en temps physique

Des chercheurs publient sur arXiv (2610.13929) Chronos Policy, une politique robotique qui rend le temps physique explicite au lieu de le laisser implicite dans la position des éléments d'une séquence. Les politiques actuelles transforment capteurs et commandes en séquences observation-action à fréquence fixe. Chronos Policy conditionne au contraire un diffusion transformer sur les instants de capture des observations et sur les instants d'exécution souhaités des actions. Deux mécanismes sont comparés: l'ajout d'embeddings d'horodatage aux features des tokens, ou l'encodage du temps dans le positionnement via des rotary positional encodings sensibles au temps (time-aware RoPE). Cette seconde voie s'avère plus robuste, car l'attention dépend directement du temps physique sans modifier le contenu des tokens. À l'entraînement, les auteurs randomisent temporellement les observations échantillonnées et le début du chunk d'actions, ce qui expose la politique à des calendriers de perception et d'exécution variés. Cela permet aussi d'apprendre à partir de données asynchrones et multi-fréquences, sans les forcer sur une grille temporelle fixe. Les tests couvrent la simulation et le monde réel. Pour les intégrateurs, l'enjeu est très concret: sur un robot déployé, les caméras, capteurs de force ou tactiles tournent rarement à la même cadence, les délais de transmission fluctuent et la latence d'inférence varie avec la charge de calcul. Une politique entraînée à pas fixe suppose que ces paramètres ne bougent pas, et cette hypothèse se brise justement au passage du laboratoire à la production. Les auteurs rapportent des gains sur les tâches dynamiques, où le délai entre observation et action est critique, et sur les tâches multisensorielles, où le décalage relatif entre capteurs compte. Sur les tâches quasi statiques, la performance nominale est conservée, avec une meilleure robustesse aux changements de timing. Le résultat suggère qu'une partie de l'écart entre démonstration et déploiement tient à la gestion du temps plutôt qu'à la seule capacité du modèle. Il faut toutefois rester prudent: il s'agit d'un préprint, l'extrait disponible ne donne ni taux de réussite, ni fréquences, ni noms de plateformes, et l'ampleur des gains reste donc à vérifier dans le papier complet. Ce travail s'inscrit dans la lignée des politiques par diffusion et des VLA à action chunking, qui prédisent des blocs d'actions à fréquence fixe, et des méthodes de chunking temps réel visant à masquer la latence d'inférence. Ces approches traitent en général le délai comme une perturbation à compenser, alors que Chronos Policy l'intègre comme variable d'entrée du modèle. L'extension de RoPE au temps continu prolonge l'usage de cet encodage, devenu standard dans les transformers, vers la robotique. La question de la compatibilité avec des modèles de fondation plus gros, comme Pi-0 ou GR00T, reste ouverte, de même que la validation hors laboratoire, sur des cellules industrielles avec des capteurs hétérogènes. Aucun calendrier de code ou de déploiement n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

DRAM : mémoire associative récurrente à règle delta pour les politiques de manipulation robotique

Des chercheurs proposent DRAM (Delta-rule Recurrent Associative Memory), un module de mémoire enfichable destiné aux politiques de manipulation robotique pré-entraînées. Décrit dans un preprint arXiv (2609.32453, version 2), il s'attache à un large éventail de politiques existantes et leur confère une mémoire longue durée sans modifier leur architecture ni réentraîner le backbone. Seuls le module de mémoire et l'action expert, la tête qui produit les actions, subissent un post-entraînement propre à la tâche. Le module maintient une mémoire associative de taille fixe, fondée sur une attention linéaire à règle delta avec porte (gated delta-rule). Sa mise à jour est modifiée pour intégrer en parallèle tous les tokens de chaque image. Un mécanisme de lecture indépendant de l'architecture injecte ensuite le contexte historique dans la prédiction d'action, quelle que soit la politique hôte. Les auteurs annoncent que DRAM améliore de façon constante des politiques gelées par rapport aux références à contexte court et à d'autres conceptions de mémoire compacte. Le résumé ne donne aucun chiffre, ni taux de réussite, ni nombre de tâches, ni liste des politiques testées. L'enjeu est pratique. La manipulation dépend de l'historique : savoir quelles étapes d'une tâche sont faites, où un objet a été rangé ou si une tentative a échoué. Or la plupart des politiques pré-entraînées, notamment les VLA (vision-language-action), ne voient que l'observation courante ou une courte fenêtre temporelle. Les deux remèdes actuels ont un coût. Empiler plusieurs images dans le backbone fait grimper le coût d'inférence, un problème pour le contrôle temps réel sur du matériel embarqué. S'appuyer sur des caractéristiques sémantiques prédéfinies limite la généralité et peut imposer de réentraîner le backbone. Une mémoire de taille fixe garde un coût d'inférence constant quelle que soit la durée de la tâche. Le fait que le backbone reste gelé compte aussi pour les intégrateurs : on pourrait ajouter de la mémoire à un modèle de fondation déjà validé sans relancer un entraînement lourd. Il s'agit toutefois d'une preuve de concept académique. Rien n'indique à ce stade une validation sur robot réel, des tâches longues en conditions industrielles ou des mesures de latence. Cette approche s'inscrit dans le courant qui importe en robotique les modèles récurrents efficaces issus du langage : attention linéaire, règle delta, mémoires d'état de taille fixe, alternatives aux Transformers à contexte croissant. Elle répond à une limite reconnue des VLA généralistes actuels, souvent sans état ou à mémoire très courte. Les auteurs la comparent à d'autres mémoires compactes, mais le résumé ne nomme pas les concurrents. La suite logique serait des évaluations sur plusieurs familles de politiques, avec des tâches réelles à longue échéance et un chiffrage du surcoût de calcul, seuls éléments qui permettront de juger si la mémoire post-hoc tient ses promesses hors du laboratoire.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Vision-Langage-Politique : un modèle pour la planification dynamique des tâches robotiques

Une équipe de recherche propose un nouveau modèle baptisé Vision-Language-Policy, ou VLP, destiné à la planification dynamique de tâches robotiques à partir de commandes en langage naturel. Décrit dans un article déposé sur arXiv (2512.19178, version révisée), le système s'appuie sur un modèle vision-langage affiné sur des données réelles, capable d'interpréter des instructions sémantiques et de raisonner sur la scène de travail observée pour générer directement des politiques de comportement pilotant le robot. Les auteurs ont testé leur approche sur plusieurs robots différents et sur une variété de tâches en conditions réelles, démontrant que le modèle peut ajuster sa stratégie en cours d'exécution lorsque les instructions changent, sans nécessiter de replanification complète. Des vidéos de démonstration sont disponibles sur robovlp.github.io. L'article ne précise pas de métriques chiffrées de type charge utile, degrés de liberté ou temps de cycle, ni de nom de robot commercial identifiable, ce qui limite l'évaluation de la performance réelle du système face aux standards du secteur. L'intérêt de ce travail réside dans la promesse de généralisation inter-incarnations, c'est-à-dire la capacité d'un même modèle à fonctionner sur des morphologies de robots différentes sans réentraînement spécifique à chaque plateforme. C'est l'un des points durs actuels de l'IA robotique, où les modèles VLA (vision-language-action) peinent souvent à transférer d'un bras ou d'un humanoïde à un autre. Si l'adaptabilité dynamique aux changements de consigne se confirme à plus grande échelle, cela répondrait à une limite classique des architectures de planification traditionnelles, qui séparent rigidement le raisonnement de haut niveau de l'exécution bas niveau et s'adaptent mal aux imprévus. Ce travail s'inscrit dans la lignée des modèles VLA récents comme Pi-0 ou GR00T N2, qui cherchent tous à unifier perception, langage et action dans un même modèle entraîné de bout en bout. Il s'agit ici d'une contribution académique, sans annonce de partenaire industriel ni de déploiement commercial, et la prudence reste de mise tant qu'une validation indépendante sur des benchmarks standardisés n'a pas été publiée.

RechercheActu

1 source

4arXiv cs.RO

RoboMME : évaluation et compréhension de la mémoire pour les politiques robotiques généralistes

Une équipe de chercheurs a publié RoboMME (Robotic Multi-Memory Evaluation), un benchmark standardisé à grande échelle destiné à évaluer les modèles VLA (vision-language-action) sur des tâches de manipulation robotique nécessitant de la mémoire à long horizon. Le benchmark comprend 16 tâches construites selon une taxonomie en quatre catégories : mémoire temporelle, spatiale, des objets et procédurale, couvrant des scénarios comme le comptage d'actions répétées ou la manipulation d'objets temporairement occultés. Les auteurs ont également développé 14 variantes de VLA augmentées de mémoire, toutes bâties sur le backbone pi0.5 de Physical Intelligence, et les ont évaluées selon différentes stratégies d'intégration mémorielle. L'absence d'un cadre d'évaluation standardisé était jusqu'ici un frein majeur pour la recherche sur la mémoire dans les VLA généralistes : chaque équipe testait ses mécanismes dans des conditions ad hoc, rendant toute comparaison rigoureuse impossible. RoboMME comble ce vide en permettant, pour la première fois, de mesurer systématiquement comment différentes représentations mémorielles (états cachés récurrents, mémoire externe, fenêtre de contexte longue) se comportent sur un spectre de tâches hétérogènes. La conclusion principale est nuancée : l'efficacité d'une architecture mémoire est fortement dépendante de la tâche, chaque approche présentant des avantages distincts selon la catégorie, ce qui remet en cause l'idée qu'une solution universelle serait à portée à court terme. Pour les intégrateurs et les décideurs B2B, cela signifie concrètement que le choix du mécanisme mémoriel devra rester spécifique au cas d'usage, sans recette générique applicable. Ce benchmark s'inscrit dans la montée en puissance des VLA généralistes, portés par des modèles comme pi0 et pi0.5 de Physical Intelligence (levée de 400 millions de dollars en 2024), OpenVLA, Octo ou RoboVLMs, qui cherchent tous à transférer les capacités des grands modèles de langage à la manipulation physique. D'autres benchmarks comme LIBERO, RoboSuite ou MetaWorld couvrent déjà l'évaluation générale des VLA, mais RoboMME se distingue par son focus explicite sur la mémoire à long horizon, un aspect jusqu'ici systématiquement sous-évalué dans ces environnements. Les prochaines étapes probables incluent l'adoption de RoboMME comme référence communautaire dans les pipelines d'évaluation des grands labs robotiques, et le développement d'architectures mémoire capables de généraliser entre catégories de tâches sans sacrifier les performances spécialisées.

RechercheActu

1 source