RecherchearXiv cs.RO 4 juin 2026

LDA-1B : mise à l'échelle d'un modèle d'action à dynamique latente via ingestion universelle de données incarnées

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

LDA-1B est un modèle fondation pour la robotique à 1 milliard de paramètres, présenté dans un preprint arXiv (2602.12215v2, "replace", donc une version révisée). Ses auteurs introduisent ce qu'ils appellent une "ingestion universelle de données incarnées" : plutôt que le clonage comportemental classique, qui se borne à imiter des actions expertes en ignorant la connaissance des dynamiques physiques, LDA-1B entraîne simultanément un modèle de dynamiques, une politique d'action et un module de prévision visuelle. Pour opérer à cette échelle, les chercheurs ont constitué EI-30k, un jeu de données standardisé regroupant plus de 30 000 heures de trajectoires humaines et robotiques dans un format unifié. La prédiction s'effectue dans l'espace latent structuré de DINO (modèle de vision auto-supervisé de Meta), évitant la modélisation redondante au niveau pixel. L'architecture repose sur un transformeur de diffusion multimodal gérant des flux vidéo et d'action asynchrones. En simulation et en conditions réelles, LDA-1B dépasse π0.5 de Physical Intelligence de 21 % sur les tâches à contacts intenses, 48 % sur les tâches de dextérité, et 23 % sur les tâches à long horizon. Résultat contre-intuitif : en réintégrant 30 % de trajectoires de faible qualité habituellement écartées, le modèle gagne 10 % de performance supplémentaire.

Ce travail s'attaque à une limite structurelle des modèles robotiques actuels : le clonage comportemental traite comme déchets toutes les données sans annotation action-état précise, vidéos téléopérées approximatives, démonstrations ratées, captations partielles. En assignant des rôles distincts selon la qualité des données, LDA-1B récupère de la valeur dans ces corpus dégradés. Pour les intégrateurs et décideurs industriels, l'implication est concrète : si des trajectoires sous-optimales contribuent positivement à l'entraînement, le coût de constitution des jeux de données de référence diminue sensiblement. Les gains de 48 % sur la dextérité, talon d'Achille historique des robots manipulateurs, sont particulièrement significatifs, même si ces chiffres proviennent d'un preprint non encore évalué par les pairs, et que les conditions exactes des benchmarks méritent une lecture critique avant généralisation.

LDA-1B s'inscrit dans une course aux modèles fondation robotiques qui s'intensifie depuis 2024. Physical Intelligence (Pi), dont π0 puis π0.5 font référence sur les benchmarks manipulation, est le principal étalon ici. Google DeepMind pousse RT-2 et ses successeurs, tandis que des modèles open-source comme OpenVLA et Octo peinent à franchir le cap du milliard de paramètres avec des données hétérogènes. La formulation UWM (Unified World Model), que LDA-1B exploite et étend, tentait déjà de valoriser des données non-action (vidéos, interactions humaines), mais les tentatives précédentes manquaient d'échelle et de standardisation. EI-30k, avec ses 30 000 heures normalisées, est l'une des bases d'interaction incarnée les plus vastes publiées à ce jour. Ce preprint n'annonce ni produit commercial ni déploiement terrain, c'est de la recherche académique avec expériences en simulation et quelques validations réelles. Les prochaines étapes naturelles seraient une évaluation sur des benchmarks standardisés comme LIBERO ou RoboSuite, et une intégration sur des plateformes humanoïdes comme Unitree H1 ou G1.

Dans nos dossiers

Unitree Physical Intelligence — π0 OpenVLA / RT-X World models

À lire aussi

1arXiv cs.RO

DyGRO-VLA : mise à l'échelle inter-tâches des modèles vision-langage-action par optimisation résiduelle groupée dynamique

Des chercheurs ont soumis sur arXiv (réf. 2605.17486) un nouveau framework d'optimisation pour les modèles VLA (Vision-Language-Action), baptisé DyGRO-VLA (Dynamic Grouped Residual Optimization for VLA). L'approche fonctionne en deux étapes : une phase de capture de représentations latentes inter-tâches fondée sur des principes de théorie de l'information, suivie d'un raffinement dynamique de la politique via un mécanisme de "mixture-of-RL-residuals". Les résultats sont évalués sur les benchmarks LIBERO et RoboTwin2, deux références standard en manipulation robotique multi-tâches, et validés sur robot réel. Les gains de performance sont présentés comme consistants face à des baselines solides, y compris sous distribution shift, c'est-à-dire face à des tâches absentes de l'ensemble d'entraînement. Le problème visé est structurel : lorsqu'on affine un modèle VLA généraliste avec du Reinforcement Learning, il finit généralement par ne bien performer que sur un sous-ensemble étroit de tâches, perdant la polyvalence qui le rendait intéressant. La plupart des optimiseurs RL actuels sont conçus pour une tâche unique, ce qui réduit ces modèles, pourtant pensés comme des contrôleurs généralistes, à des politiques spécialisées peu transférables. Pour un intégrateur ou un industriel déployant des robots sur des lignes à forte variabilité de tâches, ce phénomène est un frein opérationnel direct. DyGRO-VLA répond à ce problème en exploitant les représentations latentes partagées entre tâches tout en limitant les interférences lors de l'optimisation. Si ces résultats se confirment dans des conditions plus diversifiées, cela aurait des implications concrètes sur la viabilité du fine-tuning RL pour des modèles comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). L'essor des modèles VLA, qui combinent vision, langage et action dans un seul réseau de neurones, est l'une des tendances majeures de la robotique depuis 2023. Des acteurs comme Physical Intelligence (Pi-0, Pi-0.5), NVIDIA (GR00T N2), Google DeepMind (RT-2) ou des startups comme Figure AI et 1X Technologies s'appuient sur cette architecture. Le recours au RL pour dépasser les limites de l'imitation pure est une évolution naturelle, mais le maintien des performances sur plusieurs tâches reste un problème ouvert. DyGRO-VLA s'inscrit dans un courant de recherche actif qui inclut des approches comme ReinFT. L'absence de détails sur les conditions expérimentales exactes (nombre de tâches, hardware robot utilisé, comparaisons directes avec les VLA commerciaux) et l'absence de code public au moment de la soumission rendent difficile une évaluation indépendante, une limite fréquente des prépublications arXiv.

RechercheOpinion

1 source

2arXiv cs.RO

AquaWAM : un modèle du monde et d'action sensible à la dynamique pour agents incarnés sous-marins

Des chercheurs publient sur arXiv (v2, référence 2609.33299) AquaWAM, présenté comme le premier World Action Model (WAM) conçu pour des agents sous-marins. Un WAM permet à un robot d'anticiper les conséquences d'une action candidate avant de l'exécuter. Les WAM existants prédisent surtout des observations visuelles conditionnées par l'action. AquaWAM prédit à la place des états de navigation compacts. Il modélise la dynamique commandée et la dynamique passive: zone morte des propulseurs, glissement inertiel qui dépasse chaque commande, courants ambiants. Il perçoit via un DVL (capteur de vitesse Doppler), une centrale inertielle (IMU), un capteur de pression et des encodeurs d'articulations. Les caméras ne servent qu'à fournir la sémantique, c'est-à-dire les objectifs et la pose de la cible. Sur le benchmark USIM (20 tâches sous-marines), le modèle atteint 72,6 % de succès. Il décide 2,7 fois plus vite que U0 sur un NVIDIA Jetson AGX Orin. Sans les mesures de vitesse du DVL, il conserve 61,6 % de succès, contre 39,4 % pour U0. Ces résultats visent une hypothèse répandue dans les modèles du monde, selon laquelle prédire des pixels serait la voie générique vers le contrôle. Sous l'eau, l'inertie, la flottabilité, la traînée et la dérive continuent d'agir après la commande. Modéliser directement ces effets, plutôt que la scène, réduit la taille du modèle et le coût de calcul. La vitesse d'inférence sur Jetson AGX Orin, un module embarqué courant, compte pour les intégrateurs d'ROV et d'AUV, dont le calcul et l'énergie sont limités. La robustesse à la perte de capteurs répond à un problème opérationnel: un DVL perd son verrouillage sur le fond, et les eaux turbides dégradent la vision. L'écart entre 61,6 % et 39,4 % suggère une meilleure tolérance à la dégradation, à confirmer hors simulation. Il faut toutefois lire ces chiffres avec prudence. Les résultats proviennent d'un benchmark en simulation, USIM. L'abstract ne mentionne ni essai en bassin ni essai en mer. Il ne dit pas non plus si le comparatif avec U0 est réalisé à budget équivalent. Le résumé ne précise pas non plus l'écart de réalité entre simulation et milieu réel pour des courants variables. Le travail s'inscrit dans l'extension des WAM et des modèles vision-langage-action (VLA) au-delà des manipulateurs terrestres et des humanoïdes, vers des véhicules à dynamique passive marquée. U0 sert ici de référence pour l'embarqué sous-marin. Aucun acteur français ou européen n'est cité dans l'abstract. Les suites probables sont des validations en conditions réelles, l'ouverture éventuelle du code et des tests sur des véhicules physiques. Ce travail reste pour l'instant une publication de recherche, sans produit ni déploiement annoncé.

RecherchePaper

1 source

3arXiv cs.RO

LAPT-Scale : passage à l'échelle des politiques d'IA incarnée par préentraînement d'actions latentes sur des vidéos humaines

Des chercheurs publient sur arXiv LAPT-Scale, un cadre de pré-entraînement par actions latentes conçu pour entraîner des politiques robotiques généralistes à partir de vidéos humaines égocentriques, sans étiquettes d'actions robot. Il repose sur deux briques. LAPT-Scale-LAM est un modèle d'actions latentes (LAM) qui apprend des actions continues en expliquant les transitions visuelles image par image, et ces actions servent ensuite de supervision dérivée de l'humain. LAPT-Scale-Policy est une politique VLA (vision-langage-action) entraînée en trois temps: pré-entraînement sur les actions latentes issues de vidéos humaines, alignement sur l'embodiment du robot cible, puis post-entraînement spécifique à la tâche. Le LAM a été entraîné sur 23,3 k heures de vidéo égocentrique. Le résultat chiffré principal concerne le robot réel: le taux de succès passe de 63,3 % à 85,0 % lorsque le volume de vidéo humaine annotée passe de 1 k à 5 k heures. La politique généraliserait aussi à des conditions visuelles inédites. L'intérêt pour l'industrie tient au coût de la collecte de données. La téléopération et les démonstrations sur robot restent le principal goulot d'étranglement des modèles généralistes, alors que les vidéos égocentriques humaines sont abondantes mais sans étiquettes d'actions exploitables. Les méthodes d'annotation existantes sont bruitées dès que les scènes sont visuellement complexes ou que les dynamiques de manipulation varient. Une courbe de montée en charge régulière avec les heures de vidéo suggère que ce canal de données peut remplacer en partie la collecte robotique, ce qui change l'économie du pré-entraînement pour les intégrateurs et les développeurs de modèles. Il faut toutefois rester prudent: il s'agit d'un préprint non évalué par les pairs. Le gain mesuré porte sur un volume de vidéo annotée encore modeste face aux 23,3 k heures du LAM. Le résumé ne précise ni le nombre de tâches, ni le robot, ni le nombre d'essais, ni les benchmarks de comparaison. Le passage du laboratoire à la fiabilité exigée en production reste donc à démontrer. Sur le plan technique, les auteurs se distinguent des LAM précédents, qui utilisent des espaces latents quantifiés vectoriellement (VQ). Leur espace latent continu cherche à préserver les mouvements fins et les dynamiques d'interaction. Ils combinent aussi des signaux d'alignement perceptuel, sémantique et de flux optique pour que la supervision porte sur la transition elle-même plutôt que sur la seule reconstruction des pixels. Cette approche s'inscrit dans la lignée des travaux d'apprentissage à partir de vidéos humaines et d'actions latentes, que poursuivent de nombreux laboratoires et acteurs de la robotique humanoïde, soucieux d'exploiter les vidéos à grande échelle. Aucun déploiement industriel ni calendrier de pilote n'est annoncé. La suite probable est une validation sur davantage de plateformes et de tâches, ainsi qu'une réplication indépendante, avant toute intégration dans un produit.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

ImagiNav : navigation incarnée à grande échelle par prédiction visuelle générative et dynamique inverse

Des chercheurs proposent ImagiNav, un cadre hiérarchique de navigation robotique guidée par le langage, décrit dans un article arXiv (2603.13833, version 2). Au lieu de prédire directement des points de passage (waypoints) comme les politiques de bout en bout classiques, le système génère une vidéo égocentrique future, conditionnée par une instruction en langage naturel. Cette vidéo sert de plan de haut niveau. Un modèle de dynamique inverse l'interprète ensuite pour en extraire des trajectoires métriques exécutables par le robot. Les auteurs ont aussi développé un pipeline d'auto-étiquetage qui améliore la précision des annotations de mouvement. Ils revendiquent un transfert zero-shot vers la navigation robotique, sans aucune démonstration sur robot. L'abstract ne donne ni chiffres de performance, ni taux de réussite, ni robot de test, ni volume de vidéos d'entraînement. Une page de projet est annoncée. L'intérêt est d'abord économique. La navigation vision-langage (VLN) repose aujourd'hui sur des politiques entraînées sur des données robot coûteuses et propres à chaque morphologie. Les modèles de fondation entraînés sur de vastes volumes de simulation progressent, mais butent sur la diversité limitée des scènes et sur le réalisme visuel. En séparant la planification (dans l'espace visuel) de l'actionnement (confié au modèle de dynamique inverse), ImagiNav permet d'exploiter des vidéos de navigation « in the wild », non étiquetées, qui existent en quantité bien supérieure à toute collecte robotique. Si l'approche tient à l'échelle, elle réduirait la dépendance aux flottes de téléopération et au sim-to-real. Les réserves sont claires : sans métriques publiées dans l'abstract, le transfert « zero-shot » reste à vérifier sur des environnements variés. La génération vidéo reste coûteuse en calcul et pose la question de la latence en boucle fermée. Rien n'indique non plus que la vidéo imaginée respecte les contraintes physiques et la sécurité d'un déploiement réel. Ce travail s'inscrit dans un mouvement plus large où les modèles génératifs de vidéo servent de « modèles du monde » pour la planification, en parallèle des architectures VLA (vision-langage-action) qui prédisent directement les actions. Il s'oppose aux approches de VLN de bout en bout entraînées sur données robot, et prolonge les travaux qui extraient des actions de vidéos via des modèles de dynamique inverse. Il s'agit d'un résultat de recherche académique, sans produit, pilote industriel ni calendrier de déploiement annoncé. Les prochaines étapes à surveiller sont la publication de résultats chiffrés sur robots réels, la comparaison avec les politiques VLN de référence et la libération éventuelle du code et du pipeline d'annotation.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source