RecherchearXiv cs.RO 30 juillet 2026

DLAM : actions latentes distribuées avec contraintes temporelles

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Les vision-language-action models, ou VLA, souffrent d'un problème structurel : les données robotiques annotées en actions restent rares, alors que les vidéos sans étiquette d'action, elles, abondent pour observer le changement physique. Une nouvelle méthode nommée DLAM (Distributional Latent Actions with Temporal Constraints), présentée dans un article publié fin juillet 2026 sur arXiv, s'attaque à ce goulot d'étranglement. Contrairement aux modèles d'actions latentes classiques, qui apprennent par reconstruction sans structure temporelle garantie, DLAM représente chaque transition entre deux images comme une gaussienne diagonale. La moyenne est ancrée dans le changement visuel observé via une reconstruction conditionnée sur l'image de référence, tandis qu'une composition normalisée et une opération de réversion, appliquées sur des triplets à intervalles égaux, contraignent à la fois la moyenne et la variance dimension par dimension. Un coefficient de corrélation partagé, léger en calcul, gère la dépendance entre transitions adjacentes qui partagent une image intermédiaire. Pour l'apprentissage de politiques en aval, l'encodeur est gelé et une politique par flow-matching est entraînée à générer conjointement les séquences de transitions moyennes et les actions du robot.

L'enjeu dépasse la seule prouesse technique : il s'agit de savoir si l'on peut extraire des priors d'action fiables depuis de la vidéo brute pour compenser la pénurie de données robotiques étiquetées, un problème central pour quiconque veut entraîner des politiques de manipulation à grande échelle sans multiplier les téléopérations coûteuses. Les méthodes structurées existantes ajoutaient déjà des contraintes temporelles, mais avec des points de transition déterministes, ce qui laissait les erreurs résiduelles se propager et s'amplifier lors de compositions récursives. En modélisant l'incertitude explicitement plutôt qu'en la masquant, DLAM démontre une dynamique latente plus cohérente dans le temps sur des transitions non vues, avec une meilleure reconstruction directe et cumulative. Transféré selon le même protocole contrôlé que le modèle π0 de Physical Intelligence, il améliore aussi les performances de politique sur les bancs d'essai MetaWorld MT50, LIBERO et sur des tâches de manipulation en conditions réelles.

Les ablations menées par les auteurs précisent la hiérarchie des gains : les contraintes normalisées sur la moyenne expliquent l'essentiel de l'amélioration en reconstruction, tandis que la variance apprise et la composition tenant compte des corrélations apportent des gains complémentaires, plus marginaux. Ce travail s'inscrit dans la lignée des recherches sur les modèles d'actions latentes visant à combler l'écart entre l'abondance de vidéos d'action non étiquetées et la rareté des données robotiques annotées, un axe désormais central pour l'entraînement des politiques VLA à l'échelle.

Dans nos dossiers

Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Agir avec intention : distiller l'intention comportementale pour les modèles vision-langage-action

Publié le 25 août 2026 sur arXiv (référence 2608.23478), un article de recherche présente INDI (Intention Distillation), une méthode d'entraînement pour les décodeurs d'action des modèles Vision-Language-Action (VLA) en robotique, dominés aujourd'hui par le clonage de comportement, qui indique la commande démontrée sans expliciter l'objectif poursuivi. Pendant l'entraînement, un VLM enseignant figé interprète chaque segment démontré à partir de l'observation, de l'instruction, d'un résumé d'action et de la vidéo d'exécution ; le VLA déployé récupère cette représentation d'intention à une couche intermédiaire du décodeur. Sur le benchmark SimplerEnv-Bridge, le modèle GR00T-N1.7 passe de 64,3 % à 84,7 % de réussite ; sur RoboCasa Kitchen, sa baseline progresse de 64,1 % à 70,3 %, avec des gains similaires relevés sur Pi-0.5. En conditions réelles, le taux de réussite moyen grimpe de 62,0 % à 68,7 %, avec un bond de jusqu'à 12 points de pourcentage sur les tâches à horizon long. Ces résultats visent une limite structurelle connue du clonage de comportement, qui capture le geste démontré mais pas la raison d'être du comportement, ce qui dégrade la généralisation sur les tâches longues ou multi-étapes. Le fait que les gains les plus marqués apparaissent justement sur ces tâches à horizon long est significatif pour les intégrateurs, car c'est là que les pipelines VLA actuels échouent le plus souvent hors démonstration scénarisée. La méthode ne requiert ni capteur ni collecte de données additionnelle : elle exploite des signaux déjà disponibles via un VLM enseignant utilisé seulement à l'entraînement, sans surcoût d'inférence au déploiement, et reste transposable à d'autres architectures VLA. Le travail prolonge des approches qui enrichissaient le clonage de comportement avec des frames futures, des observations latentes ou des trajectoires, jugées insuffisantes car elles captent une réalisation du futur, non l'objectif sémantique partagé du comportement. INDI est testé sur des modèles VLA de référence déjà largement utilisés, GR00T-N1.7 et Pi-0.5, ce qui en fait une couche d'entraînement complémentaire plutôt qu'un modèle concurrent. La publication reste à ce stade un article arXiv sans revue par les pairs formelle ni annonce de déploiement industriel ; la communauté robotique attend désormais une reproduction indépendante des résultats et une extension à d'autres familles de VLA.

RechercheActu

1 source

2arXiv cs.RO

TERRA : apprendre des actions latentes transférables par représentation temporelle des effets et alignement relationnel

Des chercheurs proposent TERRA (Temporal Effect Representation and Relational Alignment), une méthode d'apprentissage d'actions latentes pour la robotique, décrite dans un preprint arXiv (2610.09509v1). Les actions latentes sont des codes proches d'actions, inférés à partir de transitions visuelles, qui servent à superviser des politiques robotiques sans étiquettes d'actions explicites. TERRA représente une transition par un « effet temporel » compact. Cet effet combine le changement net des caractéristiques visuelles avec une composante de dynamique d'ordre faible à l'intérieur de la fenêtre temporelle. Un latent continu est appris à partir de cet effet. Le module Effect-Anchored Transport (EAT) décode ensuite ce latent dans d'autres états initiaux. L'effet obtenu est ancré sur celui observé à la source. Avec des lecteurs linéaires gelés, TERRA prédit les actions plus précisément que UniVLA et qu'une baseline de type LAPA. Il se dégrade plus lentement face aux distracteurs visuels. Les transitions « transportées » restent fidèles à l'action du donneur, même quand le contexte du receveur s'éloigne. À échelle de pré-entraînement égale, le système complet atteint 93,4 % de succès moyen sur LIBERO, contre 91,8 % pour UniVLA. L'intérêt tient à la façon dont le papier traite deux faiblesses des actions latentes. La première concerne ce que le code conserve. Une simple différence entre états de départ et d'arrivée perd la manière dont le mouvement se déroule. La séquence complète, elle, laisse passer des variations parasites. La seconde concerne la réutilisation. La reconstruction n'observe un latent qu'avec l'état dont il provient, donc rien ne garantit qu'il garde le même sens dans un autre contexte. L'approche vise à rendre ces codes transférables d'un contexte à l'autre, ce qui compte pour le pré-entraînement à partir de vidéos sans annotations d'actions. Le gain de 1,6 point sur LIBERO est modeste. Il s'agit d'un benchmark de simulation, où l'écart entre résultats en simulation et en conditions réelles reste entier. Les auteurs précisent qu'un contrôle à budget identique attribue l'essentiel des gains à EAT, ce qui désigne ce module comme la contribution centrale. Aucun déploiement ni test sur robot physique n'est rapporté dans le résumé. Ce travail s'inscrit dans la lignée des modèles vision-langage-action (VLA) qui apprennent des représentations d'actions à partir de vidéos. LAPA a popularisé les actions latentes quantifiées, et UniVLA constitue la référence directe retenue ici pour la comparaison. Les prochaines étapes naturelles seraient des validations sur de plus grands corpus vidéo, sur des benchmarks plus variés et sur du matériel réel, notamment avec des vidéos humaines dont le point de vue et la morphologie diffèrent de ceux du robot. Ces tests diraient si la propriété de transport tient hors du cadre simulé. Aucune date de publication de code ou de modèles n'est indiquée. Le résultat reste pour l'instant un apport méthodologique de recherche, sans lien avec un produit ou un déploiement industriel.

RecherchePaper

1 source

3arXiv cs.RO

Sélection d'actions temporelle pour le regroupement d'actions

Une nouvelle approche algorithmique cherche à résoudre l'un des compromis fondamentaux de l'apprentissage par démonstration (LfD) en robotique. Publiée sur arXiv (2511.04421v2), la méthode baptisée Temporal Action Selection (TAS) s'attaque à un défaut structurel de l'action chunking, technique désormais standard qui consiste à prédire et exécuter des blocs de plusieurs actions plutôt que des décisions pas-à-pas. Le problème : en ne décidant qu'une fois l'ensemble du bloc exécuté, les systèmes basés sur l'action chunking voient leur fréquence de décision baisser mécaniquement, dégradant leur réactivité face aux perturbations ou aux environnements dynamiques. TAS propose une solution sans compromis : au lieu de choisir entre réactivité et cohérence des décisions, l'algorithme met en cache les blocs d'actions prédits à plusieurs pas de temps successifs, puis utilise un réseau sélecteur léger pour choisir dynamiquement l'action optimale à chaque instant. Les expériences menées sur plusieurs tâches, avec différentes architectures de politique de base, montrent une amélioration significative des taux de succès, tant en simulation que sur robots physiques. L'enjeu dépasse le cadre académique. L'action chunking est au coeur des politiques visuomotrices modernes, notamment les architectures VLA (Vision-Language-Action), largement utilisées dans les robots humanoïdes et manipulateurs actuels. Sa faiblesse face aux perturbations dynamiques constitue l'un des principaux obstacles à la robustesse en production réelle, au-delà des environnements contrôlés de démonstration. TAS démontre qu'il est possible d'obtenir simultanément une cohérence décisionnelle élevée et une réactivité fine, sans redessiner entièrement la politique de base. L'intégration de TAS comme couche intermédiaire dans un pipeline de reinforcement learning résiduel améliore de surcroît l'efficacité d'entraînement et le plafond de performance, ce qui ouvre une voie pratique pour le fine-tuning de politiques pré-entraînées sur des tâches exigeantes. L'action chunking a été popularisée notamment par des travaux comme ACT (Action Chunked Transformer) de l'Université Stanford, devenus des références LfD depuis 2023. La tension entre fréquence de décision et cohérence n'est pas nouvelle, mais les tentatives précédentes se soldaient généralement par des arbitrages sous-optimaux. TAS se positionne comme une solution légère et modulaire, compatible avec les architectures existantes, ce qui facilite son adoption sans refonte de pipeline. Aucune commercialisation ni déploiement industriel n'est annoncé à ce stade, le travail restant au niveau de la preuve de concept académique. Les prochaines étapes naturelles incluront l'évaluation sur des plateformes humanoïdes en conditions réelles, où la gestion des perturbations dynamiques est un critère critique de qualification.

RechercheOpinion

1 source

4arXiv cs.RO

ALAM : des transitions latentes algébriquement cohérentes pour les modèles VLA

Une équipe de chercheurs publie sur arXiv (2605.10819) ALAM, un modèle d'action latente algébriquement cohérent conçu pour lever le principal frein au passage à l'échelle des modèles VLA (vision-language-action) : la rareté des données robot étiquetées par des actions. La méthode exploite des vidéos sans annotation d'action pour apprendre des transitions latentes structurées, en soumettant des triplets d'images à deux contraintes algébriques : cohérence par composition (la combinaison de deux transitions doit être une transition valide) et cohérence par inversion (une transition doit être réversible). L'encodeur ainsi pré-entraîné est ensuite gelé, et ses séquences de transitions latentes servent de cibles génératives auxiliaires, co-générées avec les actions robot via un objectif de flow matching conjoint. Sur MetaWorld MT50, ALAM fait passer le taux de succès moyen de 47,9 % à 85,0 %. Sur LIBERO, il progresse de 94,1 % à 98,1 %. Les erreurs d'additivité et de réversibilité sont réduites de 25 à 85 fois par rapport aux baselines de modèles d'action latente non structurés. Ces résultats sont significatifs pour les équipes qui développent des politiques robotiques généralisées. Le goulot d'étranglement des données étiquetées freine depuis plusieurs années la commercialisation des VLA : collecter des démonstrations téléopérées est coûteux et lent à l'échelle industrielle. ALAM démontre qu'il est possible d'extraire une géométrie de transition utile depuis des vidéos brutes, YouTube, flux industriels, simulations sans annotation, et de la transférer efficacement vers une politique opérationnelle. La structure algébrique du latent n'est pas seulement un artefact de représentation : les ablations confirment que c'est la synergie entre cette cohérence locale et le flow matching conjoint qui produit les gains les plus nets, ce qui valide une hypothèse longtemps débattue sur la nécessité d'une structure explicite dans les espaces d'action latente. Le contexte est celui d'une compétition dense autour des VLA généralisés. Physical Intelligence (pi0), NVIDIA (GR00T N2), Figure (Helix) et Google DeepMind investissent massivement dans des architectures capables de généraliser à de nouvelles tâches avec peu de données. Les approches antérieures de latent action learning (comme IDM ou des variantes GROOT) apprenaient des codes latents par reconstruction pure, sans garantie structurelle, ce qu'ALAM corrige explicitement. L'étape suivante naturelle serait de tester la méthode sur des benchmarks réels plus diversifiés et sur des horizons de tâche plus longs, deux axes où les VLA actuels montrent encore des fragilités documentées.

RechercheOpinion

1 source