AttenA+ : corriger l'inégalité des actions dans…

1NVIDIA Developer Blog

Au-delà des VLA : comment les modèles du monde pour l'action transforment la manipulation robotique

Un courant de recherche en robotique met en avant les « World Action Models » (WAM) comme prolongement des modèles Vision-Language-Action (VLA) utilisés pour la manipulation. Le problème central est la généralisation : une politique entraînée par démonstrations réussit dans la scène d'apprentissage mais échoue dès que la forme des objets, leur position ou l'éclairage changent. Généraliser exige que le modèle comprenne la physique sous-jacente de la tâche plutôt que d'imiter les démonstrations, une capacité qui proviendrait du backbone, l'architecture de base du modèle d'action. Cette reformulation compte pour les intégrateurs et décideurs B2B car elle interroge l'approche dominante depuis deux ans, fondée sur le clonage de comportement à partir de larges jeux de démonstrations. Si la généralisation réelle suppose une compréhension physique plutôt qu'une simple imitation, les architectures purement VLA risquent de buter sur le même écart entre démonstration et déploiement réel déjà observé sur le terrain. Pour un secteur qui vise à industrialiser la manipulation au-delà de scénarios scriptés, cette piste remet en cause l'hypothèse selon laquelle accumuler données et paramètres suffit à résoudre le passage de la simulation au réel. Les VLA se sont imposés ces dernières années comme paradigme dominant pour piloter bras robotisés et humanoïdes, avec des modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI. Les World Action Models s'inscrivent en complément ou en alternative, en cherchant à doter les politiques d'un modèle du monde capable d'anticiper les conséquences physiques d'une action avant son exécution. Le contenu disponible ne mentionne ni déploiement, ni pilote industriel, ni calendrier précis, ce qui situe pour l'instant cette approche du côté de la recherche plutôt que du produit livré.

IA physiqueOpinion

1 source

2arXiv cs.RO

Dépasser le raccourci vision-action : entraînement par interface latente pour des modèles fondation robotiques généralisables

Un preprint arXiv publié en septembre 2026 (arXiv:2609.12641) présente Latent Interface Training (LIT), méthode en deux étapes pour corriger un biais fréquent des modèles robotiques vision-langage-action. La première étape entraîne l'expert d'action à produire des séquences de gestes à partir du langage, de l'état du robot et de la pose terminale SE(3) de l'effecteur, sans image, pour ancrer l'objectif dans l'espace plutôt que dans le pixel. La seconde étape ajoute une interface latente, unique canal de conditionnement visuel du modèle, entraînée à reconstruire cette même pose terminale. Appliqué à quatre architectures, Pi0.5, MolmoAct2, FAST-WAM et ImageWAM, LIT améliore le taux de réussite de 3,87 à 10,70 points sur le benchmark simulé LIBERO-Plus, et de 13,30 à 16,70 points en conditions réelles sur trois tâches testées avec caméra, éclairage et distracteurs modifiés. Ce biais, dit raccourci vision-action, survient quand un modèle entraîné par imitation s'appuie sur des indices visuels fortuits corrélés aux actions démontrées plutôt que sur la logique spatiale réelle de la tâche, ce qui explique en partie l'écart entre les démonstrations en laboratoire de modèles comme Pi-0, GR00T N2 ou Helix et leurs performances une fois la caméra, l'éclairage ou le décor changés. Agnostique au framework, LIT s'applique sans refonte à quatre architectures distinctes, offrant une piste de correction générique pour les intégrateurs qui déploient ces modèles hors des conditions de collecte des données d'entraînement. Le fait que les gains réels dépassent les gains simulés confirme aussi que des benchmarks comme LIBERO tendent à sous-estimer la fragilité de ces politiques face aux changements de scène. Le travail s'inscrit dans la vague des modèles de fondation robotiques préentraînés à grande échelle, aux côtés de la lignée Pi-0/Pi0.5 chez Physical Intelligence, de GR00T N2 chez NVIDIA ou de Helix chez Figure AI, tous confrontés au même problème de généralisation hors distribution une fois sortis du laboratoire. LIT se présente comme une correction méthodologique applicable par-dessus des architectures existantes, dont MolmoAct2, plutôt que comme un nouveau modèle autonome. Il s'agit pour l'instant d'un preprint non revu par les pairs, validé sur un seul benchmark simulé et trois tâches réelles, sans calendrier de déploiement industriel annoncé à ce stade.

IA physiqueActu

1 source

3Robotics Business Review

RLWRLD lance RLDX-1, un modèle fondation centré sur la dextérité pour mains robotiques

La startup sud-coréenne RLWRLD a présenté la semaine dernière RLDX-1, un modèle de fondation conçu spécifiquement pour les mains robotiques à haut nombre de degrés de liberté (DoF). L'architecture multi-flux couvre les configurations single-arm, dual-arm et humanoïde, et intègre l'ensemble du cycle robotique : collecte de données, entraînement et déploiement. RLWRLD structure ses travaux autour d'un benchmark maison, DexBench, qui organise les défis industriels en cinq régimes de dextérité : diversité de préhension, précision spatiale, précision temporelle, précision de contact, et conscience du contexte. Pour chaque régime, un module dédié : un VLM (vision language model) fin-tuné sur des questions-réponses spatiales pour la localisation précise des contacts ; un module de mouvement extrayant des correspondances visuelles spatio-temporelles pour anticiper les objets en déplacement sur convoyeur ; un module physique qui traite couple et force tactile comme des flux séparés, permettant de prédire les transitions de contact avant qu'elles n'arrivent. Les données d'entraînement combinent téleopération synthétique et démonstrations humaines pour couvrir la manipulation en main (in-hand dexterity) inaccessible à la téléopération standard. L'enjeu est concret : les robots échouent encore sur des tâches en apparence banales comme verser du café depuis une cafetière qui s'allège, attraper un objet en mouvement sur un convoyeur, ou visser un écrou hexagonal avec des doigts. Ce "dernier kilomètre" de l'automatisation industrielle est précisément la cible de RLDX-1. L'architecture multi-flux, où chaque modalité (couple haute fréquence, frames vidéo, mémoire d'état) dispose de sa propre capacité gradient, répond à un problème réel d'optimisation : dans un transformer classique, la modalité dominante absorbe toute la capacité au détriment des autres. Cela dit, les affirmations de RLWRLD sur des performances "état de l'art" restent à valider indépendamment -- les vidéos de démonstration ne constituent pas des métriques de taux de succès en conditions industrielles réelles, et aucun cycle time chiffré n'est communiqué. RLWRLD s'inscrit dans une vague de startups cherchant à combler le fossé entre modèles d'action généralistes et déploiements industriels réels. Elle affronte des acteurs aux ressources bien supérieures : Physical Intelligence avec son modèle pi0 (fondée par d'anciens de Google et Stanford, 400 M$ levés en 2024), Figure AI avec son humanoïde Figure 03, ou encore Agility Robotics et 1X. En Europe, des acteurs comme Enchanted Tools (humanoïde Mirokaï) ou Wandercraft se positionnent sur la mobilité et l'assistance plutôt que sur la manipulation haute-dextérité, laissant ce créneau industriel quasi exclusivement aux acteurs américains et asiatiques. Aucun déploiement pilote chez un client industriel n'a été annoncé à ce stade par RLWRLD.

IA physiqueOpinion

1 source

4Robotics Business Review

Skild AI dévoile S1, son modèle fondation phare pour la robotique

Skild AI a dévoilé S1, son modèle de fondation robotique phare, conçu pour l'apprentissage en contexte : une vidéo d'un humain réalisant une tâche, ajoutée au prompt, suffit au robot pour la reproduire sans réentraînement, explique le cofondateur et PDG Deepak Pathak. Fondée en 2023, la start-up a levé près de 1,7 milliard de dollars pour bâtir ce "cerveau" robotique généraliste. S1 cible des tâches longues, jusqu'à dix minutes, comme rempoter une plante, préparer un café ou cuisiner des pancakes, plutôt que les gestes de quelques secondes habituellement démontrés. Il combine quatre sources de données d'entraînement, téléopération, vidéos humaines, simulation et gants de capture de mouvement, chacune compensant les limites des autres. Pathak affirme que le robot a improvisé le retournement d'une crêpe à la spatule sans aucun exemple de ce geste dans ses millions d'heures de données d'entraînement, en généralisant à partir de la seule vidéo du prompt. Le modèle est dit "omni-corps", fonctionnant sur bras fixes, quadrupèdes et humanoïdes. Cette annonce s'inscrit dans le débat sur un éventuel "moment ChatGPT" de la robotique, où un modèle de fondation unique remplacerait le post-entraînement tâche par tâche qui freine aujourd'hui le passage à l'échelle des déploiements. Si ces résultats se confirment sur des tâches longues et non scriptées, ils contrediraient l'idée que l'apprentissage en contexte ne fonctionne que sur des gestes courts déjà vus en simulation. Pour les intégrateurs, un modèle apprenant par une seule vidéo démonstrative réduirait le coût de reconfiguration des robots face à de nouvelles lignes ou de nouvelles références produits. Skild AI n'a toutefois publié ni protocole de test indépendant, ni taux de réussite chiffré, ni durée de cycle précise : ces démonstrations restent une vitrine contrôlée plutôt qu'un produit validé en conditions industrielles. L'entreprise reconnaît elle-même que ses résultats sur humanoïdes, capables de continuer une tâche après la perte d'un membre, proviennent d'une version antérieure du modèle, pas encore mise à l'échelle. Skild AI a été cofondée en 2023 par Deepak Pathak et Abhinav Gupta, chercheurs issus de Carnegie Mellon, avec l'ambition de vendre un modèle de fondation indépendant du matériel plutôt que de construire son propre robot. Ses près de 1,7 milliard de dollars levés en font l'un des acteurs les mieux capitalisés du secteur, aux côtés de rivaux développant leurs propres modèles vision-langage-action, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, tandis que des humanoïdes comme Optimus ou Figure 03 restent pilotés par des piles logicielles propriétaires intégrées verticalement. Contrairement à ces approches liées à un matériel spécifique, Skild positionne S1 comme une couche logicielle tierce, applicable à des plateformes existantes. L'entreprise dit vouloir concentrer ses prochains efforts sur l'amélioration de S1 sur humanoïdes, sans donner de calendrier de déploiement pilote ni de client industriel nommé à ce stade.

IA physiqueActu

1 source

AttenA+ : corriger l'inégalité des actions dans les modèles fondation pour la robotique

À lire aussi

Au-delà des VLA : comment les modèles du monde pour l'action transforment la manipulation robotique

Dépasser le raccourci vision-action : entraînement par interface latente pour des modèles fondation robotiques généralisables

RLWRLD lance RLDX-1, un modèle fondation centré sur la dextérité pour mains robotiques

Skild AI dévoile S1, son modèle fondation phare pour la robotique