RecherchearXiv cs.RO 10 septembre 2026

Conditionnement géométrique dans un SLM incarné : contrôles d'entraînement et diagnostics de robustesse d'un modèle hybride 0,8 milliard de paramètres

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une étude publiée sur arXiv (2609.09213) teste un modèle de langage hybride de 0,8 milliard de paramètres adapté à la manipulation robotique, avec 6,2 millions de paramètres entraînés. Six configurations de conditionnement géométrique sont comparées sur trois tâches du benchmark LIBERO-Spatial, sur trois graines aléatoires et 540 essais de validation. Conditionner les portes de décroissance récurrentes avec des incréments géométriques réels donne 28,9% de réussite, contre 36,7% quand ces mêmes incréments sont mélangés à l'entraînement et 24,4% sans géométrie explicite ; un adaptateur par jetons utilisant les mêmes incréments obtient 27,8% (résultat non concluant selon les graines) et un conditionnement par horloge de jetons chute à 11,1%, une graine ne convergeant même pas. Une politique fondée sur des coordonnées relatives à l'état conserve par ailleurs 7 réussites sur 10 après un changement de référentiel, contre 3 sur 20 au maximum pour les quatre politiques visuelles testées, après un simple déplacement de 5 centimètres de l'objet.

Ce résultat contredit une hypothèse répandue dans la recherche sur les politiques vision-langage-action, où l'ajout de signaux géométriques explicites est censé améliorer la généralisation spatiale des robots manipulateurs, à l'heure de modèles comme GR00T N2, Pi-0 ou Helix. Que des incréments mélangés, donc vidés de leur information, surpassent la version correctement alignée suggère que l'architecture testée n'exploite pas vraiment la géométrie fournie, ou que ce signal agit surtout comme un bruit régularisant plutôt qu'une donnée réellement utilisée. Le contraste entre la résistance au changement de référentiel et l'effondrement quasi total des politiques visuelles dès qu'un objet bouge de 5 cm rappelle aux intégrateurs et décideurs qu'un bon score de benchmark ne garantit en rien la robustesse d'une politique de manipulation en conditions réelles.

LIBERO-Spatial est un benchmark académique de référence pour évaluer le raisonnement spatial des politiques de manipulation, et les 6,2 millions de paramètres entraînés sur un socle de 0,8 milliard situent cette étude dans une logique d'adaptation légère plutôt que dans la course aux modèles fondation de plusieurs milliards de paramètres. Aucune entreprise ni déploiement industriel n'est associé à ces travaux : il s'agit d'une soumission académique nouvelle sur arXiv, sans produit commercialisé ni pilote terrain annoncé. Les auteurs publient les enregistrements d'épisodes, les analyses détaillées par graine et le code de génération des figures, et présentent l'écart entre invariance aux coordonnées et généralisation à un agencement physique réel comme un problème encore ouvert, appelant à de nouveaux travaux plutôt qu'à un déploiement immédiat.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

IA incarnée : conditionnement géométrique explicite des escaliers pour une locomotion humanoïde robuste

Des chercheurs ont publié sur arXiv (2605.09944) un cadre de conditionnement géométrique explicite pour la montée d'escaliers par robot humanoïde. Le système extrait trois paramètres compacts depuis la perception : la hauteur de marche, la profondeur de marche, et l'angle de lacet courant par rapport au cap du robot. Ces paramètres conditionnent directement une politique de locomotion entraînée par Proximal Policy Optimization (PPO), permettant une modulation proactive de la hauteur d'enjambée et des caractéristiques de foulée selon la géométrie de l'escalier. Validé sur le Unitree G1, humanoïde à 23 degrés de liberté de Unitree Robotics, le système a enchaîné 33 marches consécutives en extérieur sans défaillance lors des expériences en conditions réelles. Des tests en simulation confirment par ailleurs une généralisation à des hauteurs de marches hors de la distribution d'entraînement. L'intérêt de l'approche tient au choix de représentations explicites et interprétables plutôt que des encodages latents haute dimension. Les politiques de locomotion actuelles s'appuient généralement sur du feedback proprioceptif aveugle ou des représentations implicites du terrain, ce qui limite leur capacité à anticiper les ajustements de gait face à des géométries non vues, problème central du sim-to-real gap. En conditionnant la politique sur des paramètres lisibles par un ingénieur, le système peut moduler proactivement la hauteur d'enjambée avant le contact, là où une représentation opaque réagirait après coup. Pour un intégrateur ou un COO logistique, cela se traduit par une robustesse prédictive accrue dans des environnements réels non maîtrisés, sans instrumentation supplémentaire des escaliers. Le Unitree G1, commercialisé depuis 2024 à partir de 16 000 USD, s'est imposé comme plateforme de référence pour la recherche en locomotion humanoïde grâce à sa disponibilité et son prix d'accès. Unitree concurrence directement Agility Robotics (Digit), Boston Dynamics (Atlas) et des startups comme Figure ou 1X sur la capacité à opérer dans des espaces tertiaires et industriels non modifiés. La traversée d'escaliers reste un verrou opérationnel clé pour les déploiements logistiques et de services, segment où des acteurs européens comme Wandercraft et Enchanted Tools opèrent sur des créneaux voisins mais distincts. L'article, soumis en preprint sans revue par les pairs à ce stade, ne fournit pas de comparaison quantitative avec d'autres politiques sur le même matériel, ce qui limite l'évaluation rigoureuse des gains réels.

UELa traversée d'escaliers étant un verrou opérationnel clé pour les déploiements en espaces non modifiés, cette avancée fixe un niveau de référence que des acteurs européens comme Wandercraft et Enchanted Tools devront intégrer dans leur feuille de route locomotion.

RecherchePaper

1 source

2arXiv cs.RO

Robust-WAM : concilier préentraînement génératif et anticipation sémantique dans les modèles monde-action

Des chercheurs présentent Robust-WAM, une méthode de post-entraînement destinée aux World-Action Models (WAM), ces modèles qui adaptent des générateurs vidéo pré-entraînés (VGM) pour prédire les actions d'un robot à partir de flux visuels. Le papier, publié sur arXiv sous la référence 2608.05903v1, part d'un constat technique précis: la plupart des WAM s'appuient sur un espace latent de variational autoencoder (VAE), optimisé pour la reconstruction pixel par pixel, ce qui rend la prédiction d'actions fragile dès que l'apparence visuelle change (éclairage, texture, angle de caméra). Des travaux récents avaient contourné le problème en construisant des WAM dans un espace latent sémantique, plus robuste aux变... aux variations d'apparence, mais incapables de profiter du pré-entraînement à grande échelle réalisé uniquement dans l'espace VAE. Robust-WAM propose de garder le chemin génératif basé VAE tout en ajoutant un objectif léger d'alignement sémantique prospectif sur le flux d'actions: des tokens de requête apprenables captent la sémantique des scènes futures en alignant leurs états cachés sur les représentations sémantiques des images futures réelles, avec un encodage positionnel calé sur les tokens d'action correspondants pour garantir la correspondance temporelle. L'enjeu dépasse la seule prouesse technique. Les modèles VLA et WAM affichent souvent de bonnes performances en conditions contrôlées mais se dégradent nettement face à des variations visuelles hors distribution, un frein connu au déploiement industriel de robots hors laboratoire. En montrant qu'on peut conserver les bénéfices du pré-entraînement massif sur vidéo tout en gagnant en robustesse, sans sacrifier les performances en distribution, ce travail répond directement à l'écart souvent pointé entre démonstrations impressionnantes et fiabilité réelle sur le terrain. Robust-WAM s'inscrit dans la lignée des travaux qui détournent les modèles de génération vidéo grand public vers le contrôle robotique, plutôt que de concevoir des architectures dédiées. Il se positionne comme une brique de post-entraînement compatible avec plusieurs WAM existants, testée sur des benchmarks de simulation hors distribution et sur un banc robotique réel, avec des gains de taux de réussite constatés sur plusieurs modèles de référence.

RechercheActu

1 source

3arXiv cs.RO

AtomEgo : intégration de la vision égocentrique dans le pré-entraînement des modèles fondation pour l'IA incarnée

Une équipe de recherche présente AtomEgo, une étude systématique sur l'entraînement conjoint de modèles fondation robotiques à partir de vidéo égocentrique humaine et de démonstrations robotiques, déposée sur arXiv sous la référence 2609.21461. Le corpus assemblé représente environ 2 659 heures de vidéo égocentrique, traitées via un pipeline de données conçu pour passer à l'échelle. Les auteurs testent trois paradigmes sur des architectures vision-langage-action (VLA) et des modèles monde-action : co-entraînement conjoint avec des têtes d'action spécifiques par domaine, transfert progressif ego-vers-robot par alignement d'embodiment, et modélisation conjointe vidéo-action. Ces approches sont évaluées par des expériences multi-tâches sur robots réels et par une analyse de représentation cross-embodiment conditionnée par le langage. Le résultat central tient en une formule simple : le gain de capacité résulte de l'échelle des données multipliée par la qualité de leur alignement. Les données humaines égocentriques améliorent la généralisation des robots, mais seulement si leur intégration est alignée avec l'espace d'action robotique, pas par simple accumulation de volume. Ce constat tempère une hypothèse répandue dans le secteur, celle qui veut que les modèles VLA, à l'image de Pi-0, GR00T N2 ou Helix, comblent le manque de démonstrations robotiques réelles en aspirant des volumes massifs de vidéo humaine issue d'internet. Pour les intégrateurs et laboratoires qui bâtissent des pipelines de pretraining, le message est opérationnel : la méthode d'alignement compte davantage que le volume brut de vidéo, ce qui questionne le narratif du scaling pur comme solution suffisante au problème des données. Ce travail s'inscrit dans la course des laboratoires et industriels de la robotique humanoïde et manipulatrice à exploiter des sources de données alternatives face à la rareté des démonstrations robotiques réelles, coûteuses et lentes à collecter comparées aux corpus vidéo humains disponibles à grande échelle. AtomEgo reste à ce stade une publication de recherche non encore revue par les pairs, et non un produit ou pipeline commercial déployé, ce qui la distingue des annonces d'entreprises comme celles associées à Figure 03, Optimus ou aux modèles GR00T N2 de Nvidia. Les auteurs présentent leur pipeline et leurs trois paradigmes comme un cadre reproductible destiné à guider les prochains efforts de pretraining ego-robot à grande échelle, sans annoncer de calendrier de déploiement industriel ni de partenariat avec un fabricant de robots.

RecherchePaper

1 source

4arXiv cs.RO

DreamTrue : un modèle du monde robotique fidèle aux actions, grâce à un post-entraînement contrefactuel

DreamTrue, un modèle du monde pour robots publié sur arXiv (2610.12468), vise à prédire des vidéos fidèles aux actions commandées et physiquement plausibles. Il est multi-vues et inter-embodiments, c'est-à-dire entraîné pour fonctionner sur plusieurs types de robots. Les auteurs, regroupés derrière la page projet brave-eai, partent de deux obstacles des jeux de données robotiques existants. Une calibration imprécise dégrade le suivi des actions. Une couverture limitée des interactions ratées biaise les prédictions vers des issues réussies. Pour y répondre, l'équipe projette les trajectoires d'actions en conditions dans l'espace image, puis applique une calibration géométrique hors ligne qui les aligne sur les vidéos cibles. Elle ajoute un post-entraînement contrefactuel, qui modifie les trajectoires enregistrées et génère les vidéos futures sous un éventail plus large d'actions et de configurations de contact. Faute de vérité terrain appariée pour ces futurs, elle a construit un jeu de vidéos annotées par des humains, couvrant les défauts du robot, des objets et de l'interaction. Il sert à entraîner un modèle de récompense vidéo incarné, dont les scores guident un post-entraînement par apprentissage par renforcement. Sur la plateforme AgiBot, DreamTrue annonce l'état de l'art en suivi d'actions et fait passer le taux de défauts d'interaction, évalué par des humains, de 48,12 % à 6,25 %. Il se classe premier de la piste « world model » de l'AgiBot World Challenge 2026. L'enjeu dépasse le classement. Les modèles du monde servent de plus en plus de simulateurs appris pour évaluer des politiques, générer des données synthétiques ou planifier, et leur défaut majeur est l'optimisme : un modèle entraîné surtout sur des démonstrations réussies « hallucine » des saisies qui aboutissent, même quand l'action commandée devrait échouer. Un tel biais rend le modèle inutile pour tester une politique, puisqu'il ne reproduit pas les échecs. L'approche contrefactuelle, couplée à une récompense apprise sur des défauts annotés, s'attaque directement à ce problème. La baisse de 48 % à 6 % est spectaculaire, mais elle repose sur une évaluation humaine dont le protocole, la taille d'échantillon et la définition des défauts restent à examiner. Elle est mesurée sur un seul robot, ce qui laisse ouverte la généralisation inter-embodiments revendiquée. Il s'agit par ailleurs d'un préprint, sans déploiement réel ni usage en boucle fermée démontré. Le travail s'inscrit dans la course aux modèles du monde robotiques, où se côtoient des systèmes de type Cosmos de NVIDIA, Genie de Google DeepMind et les efforts autour des jeux de données AgiBot World. AgiBot, le constructeur chinois, utilise son challenge pour fédérer la recherche autour de sa plateforme et de ses données, ce qui oriente aussi les résultats vers son matériel. Les suites logiques sont la publication du code et des poids, une validation sur d'autres robots, et surtout la preuve qu'un modèle du monde ainsi calibré classe correctement des politiques réelles, ce qui reste le test décisif pour les intégrateurs et les équipes de recherche.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source