RecherchearXiv cs.RO 21 juillet 2026

Fermeture de la boucle en VLA humanoïde : jetons d'objets 3D persistants pour une loco-manipulation vérifiable

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs viennent de publier sur arXiv (2607.18016v1) une nouvelle méthode baptisée Persistent Object Tokenization (POT), testée sur un robot humanoïde Unitree G1 dans le cadre d'un système appelé POT-VLA. Le problème ciblé est ce que les auteurs nomment la "divergence d'état objet" : dans les politiques vision-langage-action (VLA) actuelles, l'état de l'objet utilisé pour décider d'un mouvement du corps entier peut différer de celui utilisé ensuite pour vérifier si l'action a bien produit la relation physique voulue, un décalage qui devient critique lors de déplacements, contacts, occlusions ou phases de récupération. POT maintient des enregistrements 3D d'objets indexés par rôle, construits à partir d'observations RGB-D, et les convertit en tokens exploitables par un module d'action corps entier. Sur huit familles de tâches réelles, POT-VLA fait passer le taux de réussite de 39 sur 80 à 71 sur 80 par rapport à une base directe GR00T-N1.7 comparable. Sur un protocole externe aligné sur le benchmark Being-0, le système obtient 44 succès sur 50 tâches de service, contre 37 sur 50 rapportés dans l'article Being-0 original.

Pour l'industrie de la robotique humanoïde, ce travail s'attaque à un angle mort souvent glissé sous le tapis dans les démonstrations impressionnantes : la capacité réelle à maintenir une relation géométrique correcte entre un bras et un objet pendant une tâche longue, plutôt que la seule génération d'une trajectoire plausible. En rendant l'état objet à la fois exploitable et vérifiable via des contrôles de prédicats géométriques, le système ferme la boucle entre perception et exécution, un point sensible pour les intégrateurs qui cherchent des garanties de fiabilité au-delà des vidéos de démonstration soigneusement sélectionnées. Les gains les plus marqués concernent justement les tâches nécessitant le maintien prolongé d'une relation 3D, ce qui suggère que l'abstraction d'objet persistant comble une limite structurelle des architectures VLA actuelles plutôt qu'un simple réglage fin.

Ce papier s'inscrit dans la course actuelle autour des politiques VLA pour humanoïdes, dominée par des architectures comme GR00T (NVIDIA), utilisée ici comme base de comparaison directe, et des benchmarks de référence comme Being-0 pour les tâches de service. L'usage d'un Unitree G1, plateforme largement adoptée dans la recherche académique en loco-manipulation, ancre les résultats dans un cadre reproductible plutôt que propriétaire. Les auteurs ne mentionnent pour l'instant ni déploiement pilote ni calendrier de commercialisation : il s'agit d'une contribution de recherche, destinée à être étendue à davantage de familles de tâches et potentiellement intégrée à d'autres piles VLA que GR00T.

Dans nos dossiers

Unitree IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Uni-VLaT : adaptation tactile du corps entier des politiques VLA pour la loco-manipulation humanoïde

Des chercheurs publient Uni-VLaT, une méthode qui greffe un sens du toucher distribué sur tout le corps à des politiques VLA (vision-langage-action) préentraînées pour piloter un humanoïde en loco-manipulation. Le principe est d'ajouter une voie tactile dont l'état latent n'est pas seulement entraîné à produire des actions, mais aussi à prédire les représentations tactiles, proprioceptives et visuelles futures. Ce second objectif construit un contexte multimodal ancré dans le tactile. Les auteurs testent le système sur cinq tâches réelles : locomotion déclenchée par le toucher, interaction physique prolongée, contact avec un humain et loco-manipulation. Le taux de réussite moyen atteint 75 %, soit 43 points de plus qu'une base sans entrée tactile et 7 points de plus qu'une base tactile sans supervision prédictive. Sur deux architectures VLA préentraînées, le balayage de table gagne 30 points sur chacune, et la tâche « Back-Tap Walking » (marcher en réponse à une tape dans le dos) progresse de 85 à 90 points. Les ablations indiquent que la prédiction tactile contextualisée et les cibles futures absolues sont déterminantes. L'enjeu est de combler un angle mort des VLA actuels, qui reposent sur la vision et la proprioception. Quand la zone de contact est masquée, par exemple un bras qui frotte une surface ou une main humaine posée sur le dos, ces deux signaux ne suffisent pas à caractériser l'interaction. Contrairement aux capteurs de force ou de couple placés en quelques points prédéfinis, une peau tactile distribuée conserve la cartographie spatiale du contact sur tout le corps. Le résultat le plus parlant pour un intégrateur est la distinction entre simple ajout d'un capteur et apprentissage prédictif : la modalité brute apporte 36 points sur les 43 gagnés, mais la supervision prédictive rend la fusion plus robuste. Cela suggère que les politiques généralistes peuvent être étendues à de nouvelles modalités sans repartir de zéro, un point utile pour la cobotique humanoïde en contact avec des opérateurs. Les limites sont nettes : cinq tâches seulement, un robot de laboratoire, aucun chiffre sur les temps de cycle, la robustesse à long terme ou la durabilité des capteurs. Ce n'est ni un produit ni un déploiement. Ce travail s'inscrit dans la montée en puissance des modèles VLA pour humanoïdes, dont Pi-0, GR00T ou Helix, pour l'essentiel centrés sur la vision, le langage et la proprioception. Le tactile reste le parent pauvre de ces architectures, freiné par le coût, la fragilité et le câblage des peaux électroniques. La question d'une sensibilité corps entier concerne aussi des acteurs européens comme Wandercraft ou Enchanted Tools, dont les robots opèrent près des humains, même si l'article ne cite aucun partenaire industriel. Les prochaines étapes probables sont une validation sur davantage de plateformes et de capteurs, puis une comparaison avec des approches de contrôle en force, avant tout transfert industriel.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

EquivDP3 : un encodeur de nuages de points invariant SIM(3) pour la loco-manipulation humanoïde à faible besoin de données

Des chercheurs proposent EquivDP3, une politique visuomotrice hiérarchique pour la loco-manipulation du humanoïde Unitree G1 (43 articulations), décrite dans un preprint arXiv (2609.36575v1). Le système est en deux étages. Un planificateur de haut niveau, basé sur une diffusion, utilise un encodeur de nuages de points équivariant SIM(3) de type Vector Neuron Network (VNN). Il émet des blocs de commandes corps entier à 6 Hz. Ces commandes sont exécutées à 50 Hz par une politique de locomotion pré-entraînée par apprentissage par renforcement, gelée, et par un module de cinématique inverse différentielle pour les bras. L'ensemble est entraîné de bout en bout par clonage comportemental. SIM(3) désigne le groupe des rotations, translations et changements d'échelle. Les tests couvrent deux benchmarks simulés sous IsaacLab et quatre références non équivariantes, avec 5 à 100 démonstrations, en distribution et hors distribution. Avec 5 à 10 démonstrations, EquivDP3 atteint 67,1 % de succès, contre 38,2 à 52,4 % pour les références. À 50-100 démonstrations, tous les encodeurs convergent (74,3 à 85,2 %). Le surcoût est de 0,8 ms par bloc d'actions par rapport à l'encodeur PointNet remplacé. L'intérêt tient à la rareté des données. Collecter des démonstrations de loco-manipulation humanoïde par téléopération coûte cher, et un gain de robustesse avec 5 à 10 exemples est un levier concret pour les équipes qui déploient des humanoïdes sur des tâches variables. Les auteurs ajoutent un contrôle utile : en retirant le nuage de points, le succès tombe à 31 % contre 60 % pour EquivDP3 avec 5 démonstrations, et à 78 % contre 99 % avec 10. L'écart est donc bien d'origine perceptive et ne vient pas de la seule proprioception. Le plateau à forte quantité de données traduit selon eux un plafond du benchmark, pas cinq encodeurs qui apprendraient la même invariance. Il faut donc relativiser : les résultats sont uniquement simulés, aucun test sur robot réel n'est rapporté, et l'ordre des méthodes n'a plus de sens au-delà de 50 démonstrations. Le résultat suggère toutefois que injecter la symétrie géométrique dans le backbone de perception est presque gratuit en calcul. Ce travail prolonge deux lignes existantes. 3D Diffusion Policy (DP3) conditionne un générateur d'actions par diffusion sur des caractéristiques de nuages de points, mais son encodeur de type PointNet n'a pas d'équivariance intégrée aux transformations SIM(3). EquiBot avait comblé cette lacune avec un encodeur VNN équivariant, mais seulement pour des manipulateurs mobiles à roues. EquivDP3 transpose l'approche à un humanoïde bien plus complexe, en s'appuyant sur une architecture hiérarchique qui sépare planification lente et contrôle rapide. Les prochaines étapes évidentes sont le transfert sim-to-real sur un G1 physique, des benchmarks moins saturés et une comparaison avec les politiques VLA généralistes, qui misent sur l'échelle des données plutôt que sur les priors géométriques.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

KINO : une interface à images-clés pour la planification par VLM et le contrôle du corps entier en loco-manipulation humanoïde

Des chercheurs présentent KINO (arXiv:2609.18869v1), un framework hiérarchique pour la loco-manipulation de robots humanoïdes qui insère des « keyframes » de mouvement comme représentation intermédiaire entre un modèle vision-langage (VLM) chargé de la planification et un contrôleur par renforcement (RL) chargé de l'exécution corps entier. Chaque keyframe encode une pose cible pour l'ensemble du corps du robot et, si nécessaire, la pose de l'objet manipulé. À partir d'une instruction en langage naturel, d'observations de la scène et d'un retour d'exécution, le VLM sélectionne successivement des keyframes pertinentes dans une bibliothèque prédéfinie ; ces keyframes sont ensuite réajustées à la scène courante pour tenir compte de la position et des dimensions des objets, avant qu'une politique conditionnée par keyframe ne génère les actions articulaires. Les auteurs introduisent une stratégie d'échantillonnage de keyframes basée sur la saillance pour l'entraînement de la politique bas niveau, qui fait passer le taux de réussite de bout en bout de 44 % à 92 % lorsque le VLM ne fournit que des keyframes éparses. Le système a été évalué sur des tâches de prise, transport et dépose d'objets, en simulation et sur un humanoïde Unitree G1, avec manipulation à une et deux mains. Ce résultat s'inscrit dans un débat central du secteur robotique : comment relier des modèles vision-langage capables de raisonner sur des instructions abstraites à des contrôleurs bas niveau capables de produire des mouvements corps entier stables. Plutôt que de miser sur une architecture VLA (vision-language-action) de bout en bout, à l'image de Pi-0, GR00T N2 ou Helix, KINO mise sur une représentation intermédiaire discrète et interprétable, ce qui pourrait faciliter le débogage et le contrôle qualité pour des intégrateurs industriels tout en limitant la fréquence des appels au VLM, coûteux en calcul. Le saut de 44 % à 92 % de succès reste toutefois une mesure obtenue en conditions contrôlées de recherche, pas un chiffre de déploiement industriel, et mériterait d'être confirmé sur des tâches plus variées. Le travail s'inscrit dans la vague de recherches académiques cherchant à rendre les humanoïdes capables de manipulation généraliste sans réentraînement massif pour chaque nouvelle scène, un axe exploré en parallèle par les architectures VLA de Physical Intelligence, NVIDIA ou Figure. Le choix du Unitree G1, plateforme humanoïde accessible et déjà utilisée dans de nombreux laboratoires, en fait un banc d'essai plutôt qu'un produit fini : aucun partenariat industriel ni calendrier de commercialisation n'est mentionné dans l'article. Les auteurs indiquent que le système généralise à des emplacements de dépose non vus pendant l'entraînement, un point clé pour juger de sa robustesse au-delà des démonstrations sélectionnées, mais le nombre d'essais et les conditions exactes de ces tests de généralisation ne sont pas précisés.

RecherchePaper

1 source

4arXiv cs.RO

PanelShield : planification sécurisée en boucle fermée et vérifiable pour la manipulation de panneaux industriels par un robot

Une équipe de recherche présente PanelShield, un framework de planification robotique vérifiable pour l'opération de panneaux de contrôle industriels, dans un article publié sur arXiv le 28 août 2026 (arXiv:2608.28305v1). Le système génère des séquences d'actions paramétrées à partir de manuels d'opération, puis applique une double vérification formelle, logique temporelle linéaire (LTL) et machine à états finis de sécurité, pour contrôler la cohérence entre étapes et la légalité de chaque transition. En cas de violation, il produit un contre-exemple structuré signalant l'étape fautive la plus précoce et sa cause, permettant une correction ciblée puis une nouvelle vérification. Testé sur un benchmark maison couvrant trois types de panneaux industriels, en simulation et sur robot réel, PanelShield ramène le taux de violation à 2,7 % pour une latence totale de 4,1 secondes, avec de meilleures performances que des planificateurs basés uniquement sur des modèles fondation. L'enjeu dépasse la prouesse technique. Les planificateurs basés sur des modèles fondation, notamment les architectures vision-langage-action, montrent une forte capacité à interpréter des instructions et générer des actions, mais manquent de mécanismes calculables et auditables pour détecter et corriger les violations de règles de sécurité. Sur l'opération de tableaux de contrôle industriels, cette lacune est critique : une erreur de séquence peut avoir des conséquences physiques immédiates. En ajoutant une couche de vérification formelle au-dessus de la génération par IA, PanelShield illustre une piste pour combler l'écart entre démonstrations de robots pilotés par des modèles de langage et déploiement fiable en environnement réglementé, un prérequis pour les intégrateurs devant certifier leurs systèmes dans l'énergie ou la manufacture. Ce travail s'inscrit dans la recherche visant à rendre les planificateurs de robots basés sur des modèles de fondation plus fiables et traçables, alors que ces systèmes restent surtout démontrés en simulation ou en laboratoire plutôt que déployés en usine. Aucun partenaire industriel ni calendrier de pilote n'est mentionné : l'article reste à ce stade une contribution de recherche évaluée sur un benchmark maison et des expériences robotiques limitées à trois familles de panneaux. Les auteurs présentent PanelShield comme une approche équilibrant flexibilité, sécurité et auditabilité, ouvrant la voie à une extension vers d'autres équipements industriels.

RecherchePaper

1 source