RecherchearXiv cs.RO 30 septembre 2026

CrossBFM : distiller un espace latent de comportements partagé entre plusieurs morphologies de robots humanoïdes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

CrossBFM, publié sur arXiv (2609.38087), propose de distiller un espace latent de comportements partagé entre plusieurs humanoïdes. Les Behavior Foundation Models (BFM) offrent à un humanoïde une politique pilotable par un simple vecteur latent, qui peut désigner un mouvement à imiter, une pose à atteindre ou une récompense à maximiser. Les représentations Forward-Backward produisent bien de tels espaces, mais elles demandent des centaines d'heures GPU pour un seul robot. Entraînées pour un second robot, elles génèrent un espace distinct, sans lien avec le premier. CrossBFM utilise le retargeting, qui fournit une correspondance image par image entre morphologies, pour entraîner un encodeur unifié sans paramètre propre à un robot. Cet encodeur distille l'espace en moins d'une heure GPU pour tous les robots d'entraînement à la fois. Des contrôleurs conditionnés par le latent, entraînés en PPO classique, ajoutent environ 10 heures GPU. Sur trois humanoïdes, les trois modes de prompt fonctionnent. Le suivi de mouvement perd seulement 0,025 rad par rapport à une politique conditionnée directement sur les articulations. L'atteinte de poses se fait sans chute, et les 41 prompts de récompense testés sont tous optimisés.

Pour l'industrie, le résultat déplace le coût du problème. Au lieu de refaire un entraînement de plusieurs centaines d'heures GPU pour chaque nouvelle plateforme, l'espace de comportements devient un actif réutilisable, et le passage à un nouveau robot ne coûte plus qu'une distillation légère et un entraînement de tracker. Pour un intégrateur ou un fabricant qui décline plusieurs modèles d'humanoïdes, c'est un argument économique direct. Deux résultats d'ablation nuancent la portée. Entraîner l'encodeur sur un quart seulement du corpus de mouvements ne coûte que 5 % de performance de suivi. Sur un robot jamais vu à l'entraînement, l'encodeur récupère jusqu'à 89 % de la performance des robots vus. Ce transfert reste toutefois limité aux morphologies proches, et « jusqu'à » désigne le meilleur cas, pas une moyenne. Les auteurs affirment aussi avoir validé la chaîne sur des robots réels pour les trois modes de prompt, y compris avec des latents générés par modèle à flux. L'article ne détaille pas ici la nature des robots ni l'ampleur de ces essais.

Ces travaux s'inscrivent dans la lignée des modèles de comportement fondés sur les représentations Forward-Backward, dont le principal frein était le coût d'entraînement propre à chaque robot. Ils se distinguent des approches de politiques généralistes de type VLA, qui visent le langage et la vision plutôt qu'un espace de contrôle bas niveau partagé. Il s'agit d'une préimpression non relue par des pairs, et le site du projet est dotdandung.github.io/crossbfm. Les prochaines étapes à surveiller sont l'extension à des morphologies plus éloignées, l'ampleur des tests sur matériel réel et une éventuelle adoption par les constructeurs d'humanoïdes.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Vers un contrôle adaptatif des robots humanoïdes par distillation multi-comportements et affinage renforcé

Une équipe de chercheurs propose Adaptive Humanoid Control (AHC), un framework de contrôle locomoteur pour humanoïdes publié sur arXiv (2511.06371v3). Le problème de départ est structurel : les méthodes dominantes entraînent une politique séparée pour chaque compétence (se relever, marcher, courir, sauter), générant des contrôleurs rigides qui échouent dès que le terrain devient irrégulier. AHC y répond en deux phases : d'abord, plusieurs politiques primaires sont entraînées puis fusionnées par distillation multi-comportements en un contrôleur unique capable de commuter dynamiquement selon le contexte ; ensuite, un affinage par renforcement avec retours en ligne consolide l'adaptabilité sur terrains variés. Le système est validé en simulation et en conditions réelles sur le robot Unitree G1 d'Unitree Robotics. Pour les intégrateurs et les décideurs industriels, la promesse est concrète : un seul contrôleur couvrant l'ensemble des comportements locomoteurs réduit la complexité opérationnelle et supprime les transitions manuelles entre modes. Du côté de la recherche, le résultat le plus notable est que la distillation combinée à un fine-tuning par RL en ligne permet de réduire partiellement le sim-to-real gap sans ré-entraînement complet. La réserve à formuler : le papier ne publie pas de métriques quantitatives détaillées (taux de succès par terrain, fréquence de chute), ce qui rend difficile la comparaison objective avec d'autres approches. Le Unitree G1 (1,27 m, environ 35 kg, 16 000 dollars) est devenu depuis 2024 une plateforme de recherche de référence pour ce type de travaux. AHC s'inscrit dans une compétition internationale où Physical Intelligence (Pi-0), NVIDIA (GR00T N2), Figure (Helix) et Boston Dynamics cherchent tous à produire des politiques locomotrices généralisables hors environnement contrôlé. L'approche par distillation multi-politiques rappelle les travaux de curriculum learning menés à Berkeley et CMU, et l'affinage par RL en ligne emprunte aux méthodologies RLHF adaptées à la robotique physique. Aucun partenariat industriel ni calendrier de déploiement n'est annoncé ; le projet en est au stade de la démonstration académique.

RecherchePaper

1 source

2arXiv cs.RO

CrossSafe : vers des filtres de sécurité latents transférables entre morphologies robotiques

Un article publié sur arXiv le 25 septembre 2026 (2609.28984v1), intitulé "CrossSafe: Towards Cross-Embodiment Latent Safety Filters", propose un filtre de sécurité conditionné par la morphologie du robot et partageable entre plusieurs embodiments. La méthode applique une analyse de type Hamilton-Jacobi reachability directement dans un espace latent construit à partir d'une représentation morphology-aware du robot et de son environnement, plutôt que dans l'espace d'action brut de l'effecteur terminal qu'utilisent la plupart des modèles VLA (vision-language-action). L'approche est évaluée sur cinq embodiments de robots bimanuels et cinq tâches de manipulation, avec des contraintes d'évitement de collision portant sur l'ensemble du corps du robot. Une politique unique, entraînée conjointement sur les cinq tâches et quatre des cinq embodiments, généralise en zero-shot au cinquième embodiment laissé de côté à l'entraînement, réduisant le taux de collision par rapport à la politique nominale sans filtre; les auteurs montrent aussi que multiplier les embodiments à l'entraînement améliore cette généralisation. Ce résultat vise un angle mort des politiques de manipulation généralistes de type VLA, dans la lignée de modèles comme Pi-0, GR00T N2 ou Helix: elles apprennent des actions dans un espace commun d'effecteur terminal sans capturer explicitement comment la sécurité dépend de la morphologie et de la cinématique propres à chaque robot, alors qu'une même action peut être sûre pour un bras et dangereuse pour un autre. Pour des intégrateurs qui déploient une même politique sur des flottes hétérogènes, cela suggère que le raisonnement de sécurité, détecter un obstacle puis décider de l'éviter, peut être mutualisé entre plateformes tout en restant conditionné à la morphologie de chacune, sans nécessiter un filtre réentraîné robot par robot. C'est un indice supplémentaire que la généralisation cross-embodiment, déjà démontrée pour les compétences de manipulation, s'étend à l'évitement de collision, un prérequis pour tout déploiement de VLA en environnement partagé avec des humains. Le travail s'inscrit dans la recherche en apprentissage cross-embodiment et dans les méthodes de contrôle sûr par reachability Hamilton-Jacobi, historiquement coûteuses en calcul et limitées à des systèmes de faible dimension, une contrainte que l'encodage latent proposé ici cherche justement à contourner. Il s'agit à ce stade d'un article académique déposé sur arXiv, sans produit ni robot commercial nommé, et sans acteur français ou européen cité: les cinq embodiments bimanuels testés ne sont pas identifiés publiquement dans le résumé disponible. Aucun calendrier de déploiement réel ni partenariat industriel n'est communiqué; les auteurs indiquent vouloir étendre l'évaluation à davantage d'embodiments et de tâches pour confirmer la courbe de généralisation observée.

RecherchePaper

1 source

3arXiv cs.RO

Calcul au moment du test pour les modèles fondation de comportement des robots humanoïdes

Des chercheurs proposent une méthode, baptisée Test-Time Command Optimization (TTCO), pour réduire l'écart entre les mouvements demandés à un humanoïde et ceux qu'il exécute réellement. Elle s'applique aux Behavior Foundation Models (BFMs), des contrôleurs généralistes de corps entier capables de suivre un large répertoire de mouvements. Ces modèles souffrent d'un « command-exécution gap » systématique : la trajectoire exécutée dévie de la trajectoire commandée. TTCO ne réentraîne pas le BFM. Elle modifie la commande d'entrée par optimisation par échantillonnage, en simulant en boucle fermée le BFM couplé à la dynamique du robot, jusqu'à ce que le mouvement exécuté colle au mouvement visé. Sur trois BFMs et le jeu de données de capture de mouvement AMASS, l'erreur moyenne de position globale du corps baisse de 79 à 84 % en simulation. Les auteurs dérivent aussi une stratégie approximativement optimale pour répartir le calcul, qui continue d'améliorer les résultats quand le budget augmente. Enfin, TTCO peut produire des étiquettes d'action propres à chaque BFM à partir de trajectoires robot enregistrées, sans les commandes de téléopération d'origine. Ces étiquettes servent à entraîner des politiques de loco-manipulation de haut niveau, validées en simulation et sur robot réel, et à réutiliser des démonstrations existantes d'un BFM à l'autre. L'enjeu est la précision. Les démonstrations de mouvements spectaculaires masquent souvent des erreurs de plusieurs centimètres, rédhibitoires dès qu'il faut saisir, porter ou poser un objet. Ici, le gain vient du calcul au moment du test plutôt que d'un nouvel entraînement, ce qui permet d'améliorer des contrôleurs déjà déployés. La génération d'étiquettes d'action rend aussi les jeux de démonstrations portables entre modèles, un point utile pour les intégrateurs qui changent de plateforme. Il faut toutefois relativiser : le chiffre de 79-84 % porte sur la simulation, le calcul d'optimisation par commande a un coût, et le résumé ne donne ni temps de calcul ni taux de réussite en tâches réelles. Ce travail s'inscrit dans la montée des modèles de fondation pour humanoïdes, où l'on cherche à transposer aux robots les gains du calcul à l'inférence observés en langage. Il vient compléter les BFMs et les politiques vision-langage-action, qui produisent des commandes de haut niveau sans garantir leur exécution fidèle. La suite logique est la réduction du coût de TTCO, voire son exécution en ligne, et sa démonstration sur des tâches industrielles de manipulation.

RecherchePaper

1 source

4arXiv cs.RO

Pilotage des politiques dans l'espace latent : un cadre efficace et flexible pour le transfert entre morphologies

Un article déposé sur arXiv en septembre 2026 (2609.22521) présente Latent Policy Steering (LPS), un cadre destiné à réduire le coût de collecte de démonstrations pour l'apprentissage de politiques visuomotrices en robotique. Le principe repose sur une phase de pré-entraînement agnostique à l'embodiment : un modèle du monde (World Model, WM) basé sur l'image est entraîné avec du flux optique sur des données issues de plusieurs types de robots et d'humains, pour capturer la dynamique visuelle commune de la façon dont le monde réagit au mouvement. Ce WM est ensuite affiné sur l'embodiment cible avec de véritables actions robotiques, puis utilisé pour orienter la politique de base en recherchant, dans son espace latent, des plans proches des données de fine-tuning. LPS est présenté comme agnostique à la politique, donc compatible avec différents algorithmes sans nécessiter leur réentraînement. Sur les benchmarks Robomimic et en conditions réelles, les auteurs rapportent des gains relatifs de performance de 16% et 62% pour Diffusion Policy, et de 8% et 14% pour Pi0.5, obtenus avec seulement 50 démonstrations sur un embodiment cible jamais vu à l'entraînement. Ces résultats visent un point de blocage central de la robotique apprenante : les écarts d'embodiment et les espaces d'action incompatibles empêchent aujourd'hui de réutiliser directement les grands jeux de données robotiques et humains disponibles, obligeant chaque plateforme à collecter ses propres démonstrations coûteuses. Si les gains se confirment au-delà des conditions de test des auteurs, une méthode capable d'améliorer une politique existante avec seulement 50 démonstrations et sans réentraînement réduirait sensiblement le coût d'intégration pour les fabricants qui adaptent un modèle générique à un nouveau bras ou une nouvelle pince. Il s'agit toutefois d'un article de recherche non encore relu par les pairs, dont les chiffres reposent sur les évaluations propres des auteurs ; l'ampleur du gain de 62% en conditions réelles mérite d'être lue avec prudence tant qu'elle n'a pas été reproduite indépendamment. Le travail s'inscrit dans la lignée des politiques génératives comme Diffusion Policy et des modèles vision-langage-action tels que Pi0.5, utilisés ici comme bases à améliorer plutôt que comme concurrents directs. Il répond à une problématique déjà identifiée par les laboratoires travaillant sur des modèles généralistes multi-robots, où le transfert cross-embodiment reste un obstacle au passage à l'échelle malgré la multiplication des jeux de données publics. L'article ne mentionne aucun acteur industriel ni feuille de route de déploiement : LPS reste, à ce stade, une contribution méthodologique validée en simulation et sur un nombre limité de plateformes réelles, sans calendrier annoncé pour une intégration en dehors du cadre académique.

RecherchePaper

1 source