RecherchearXiv cs.RO 22 avril 2026

Évaluation de l'inférence d'affordance sémantique par VLM pour des morphologies robotiques non humanoïdes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie sur arXiv (2604.19509) une évaluation empirique des modèles vision-langage (VLM) pour l'inférence d'affordances sur des robots à morphologie non humanoïde. L'"affordance" désigne ici la capacité d'un modèle à déterminer quelles actions sont physiquement réalisables par un robot donné face à un objet spécifique. Les auteurs ont constitué un jeu de données hybride combinant des annotations réelles de relations affordance-objet et des scénarios synthétiques générés par VLM, couvrant plusieurs catégories d'objets et plusieurs types de morphologies robotiques. Les résultats montrent une généralisation prometteuse aux formes non humanoïdes, mais des performances très variables selon les domaines d'objets. Le constat central est un schéma systématique de faible taux de faux positifs associé à un fort taux de faux négatifs, révélant que les VLM adoptent des prédictions trop conservatrices. Ce biais est particulièrement prononcé pour les outils inédits et les manipulations non conventionnelles.

Pour les intégrateurs qui envisagent d'utiliser les VLM comme couche de planification sémantique, ce résultat est structurellement important. Le biais conservateur offre un avantage de sécurité intrinsèque, les robots n'entreprenant pas d'actions impossibles ou dangereuses, mais le taux élevé de faux négatifs freine l'exploitation réelle : le système refuse des tâches qu'il pourrait pourtant accomplir. Pour un architecte de système ou un COO industriel, cela confirme qu'un VLM seul ne peut pas servir de module d'affordance universel pour des cobots ou des AMR (robots mobiles autonomes) aux morphologies spécifiques. Des couches complémentaires, simulation physique ou vérification cinématique, restent nécessaires pour corriger ce défaut sans sacrifier la sécurité.

La recherche sur les affordances VLM s'est construite massivement sur des corpus centrés sur l'interaction humain-objet, laissant les robots non humanoïdes structurellement sous-représentés. Des architectures VLA (Vision-Language-Action) comme pi-zero de Physical Intelligence ou GR00T N2 de NVIDIA ont été évaluées principalement sur des tâches de manipulation humain-like. Cette étude pointe un enjeu distinct pour des plateformes comme Spot de Boston Dynamics ou ANYmal d'ANYbotics, dont les effecteurs et degrés de liberté (DOF) diffèrent fondamentalement de la main humaine. Les auteurs proposent des architectures hybrides et des jeux de données morpho-spécifiques comme prochaines étapes pour réduire le biais conservateur tout en préservant les faibles taux de faux positifs, seul acquis de sécurité clairement démontré.

Impact France/UE

Les intégrateurs européens déployant des AMR ou cobots non humanoïdes (ANYmal d'ANYbotics, Spot) doivent anticiper des couches de vérification cinématique complémentaires aux VLM avant tout déploiement autonome en planification sémantique.

Dans nos dossiers

Boston Dynamics NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Robots humanoïdes : planification de préhension guidée par affordance sémantique via VLM

Une équipe de recherche présente SAGP (Semantic Affordance-Guided Grasp Planning), une méthode de planification de prise robotique qui combine raisonnement sémantique et géométrie pure, décrite dans un preprint arXiv (2607.29374). Le constat de départ : les planificateurs de prise classiques, purement géométriques, génèrent des prises physiquement valides (antipodales, sans collision) mais parfois absurdes du point de vue fonctionnel, comme saisir une tasse par le bord, un couteau par la lame ou une bouteille près du bouchon. SAGP fonctionne sans apprentissage supplémentaire (training-free) : le nuage de points de l'objet est d'abord découpé en zones grossières (haut, milieu, bas, côtés latéraux, protubérances) via un alignement par PCA suivi d'un clustering DBSCAN basé sur la distance, sans recourir à une segmentation apprise. Un modèle vision-langage (VLM) pré-entraîné évalue ensuite la qualité de prise de chaque zone via une requête structurée en zero-shot, et ces scores sont fusionnés avec des signaux géométriques, d'accessibilité et d'adéquation à la tâche pour reclasser les candidats de prise antipodaux. Les tests, menés sur des objets du jeu YCB en simulation PyBullet avec un bras Franka Panda, montrent que SAGP conserve le taux de réussite élevé de la planification purement géométrique tout en améliorant nettement la pertinence fonctionnelle des prises sélectionnées, notamment sur les objets asymétriques munis d'une poignée, où la géométrie seule ne suffit pas. L'intérêt pour l'industrie tient au problème ciblé : l'écart entre "prise valide" et "prise utile" est une source connue d'échecs en aval dans le pick-and-place, la logistique et la manipulation fine, même quand les métriques géométriques classiques sont satisfaites. En évitant à la fois la segmentation fine par catégorie d'objet et l'inférence directe de pose par VLM (sujette aux hallucinations spatiales), SAGP propose une voie intermédiaire potentiellement plus robuste et moins coûteuse à déployer que les approches entièrement apprises. Le travail s'inscrit dans la lignée des planificateurs de prise antipodaux classiques, qu'il cherche à augmenter plutôt qu'à remplacer, et dans la vague plus récente d'approches VLM appliquées à la manipulation. À ce stade, la validation reste limitée à la simulation ; aucune expérimentation sur robot réel n'est rapportée, ce qui laisse ouverte la question du transfert sim-to-real.

RecherchePaper

1 source

2arXiv cs.RO

SABER : apprentissage d'une affordance sémantique par attention pour la locomotion des robots à pattes

SABER, une politique d'apprentissage par renforcement sans planificateur, est présentée dans un article publié sur arXiv le 21 septembre 2026 (2609.21572). Elle ajoute à la géométrie du terrain, déjà exploitée par les politiques de locomotion perceptive, une couche de permission de contact sémantique : chaque cellule d'une carte terrain unifiée encode la géométrie 3D locale et un coût de contact. Son mécanisme central modifie la cross-attention par un biais sémantique signé et appris, pondéré selon ce coût et la distance au pied le plus proche, si bien qu'un obstacle n'influence l'attention que tant qu'il peut affecter le prochain appui. Testée en conditions réelles sur un robot quadrupède Unitree B2, en intérieur et extérieur, face à quatre classes d'obstacles sémantiques, la politique montre par ablation qu'un retrait du seul biais sémantique fait grimper les contacts interdits de 55%, sans dégrader le suivi de vitesse. Ce résultat cible un angle mort concret pour la robotique industrielle : une politique purement géométrique peut juger traversable un tuyau, une pelouse ou un carton fragile, alors qu'un contact à cet endroit peut endommager l'équipement, déstabiliser le robot ou mettre en danger le site. Pour les intégrateurs déployant des robots à pattes en usine ou en entrepôt, SABER comble une limite connue des politiques apprises : la géométrie seule ne garantit pas un comportement sûr autour d'objets sensibles. Son apport principal tient à l'absence de coût mesurable sur le suivi de trajectoire, ce qui contredit l'hypothèse répandue selon laquelle des règles de sécurité supplémentaires dégraderaient nécessairement l'agilité. Cela confirme aussi que les mécanismes d'attention, déjà centraux dans les modèles vision-langage-action, peuvent structurer des politiques bas niveau pour la locomotion. SABER prolonge une recherche sur la locomotion perceptive qui a surtout intégré la géométrie du terrain, sans traiter systématiquement le sens des surfaces. Contrairement aux approches à planificateur explicite, elle reste une politique bout-en-bout entraînée directement par renforcement. Le choix du Unitree B2, quadrupède très utilisé en recherche académique, situe ce travail comme une validation scientifique sim-to-real, sans partenaire industriel ni pilote annoncé, les suites possibles visant d'autres morphologies, davantage de classes sémantiques, ou une intégration à des piles combinant perception, navigation et manipulation.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage de politiques par simulation pour la loco-manipulation des robots humanoïdes

Une équipe de chercheurs a publié le 9 juin 2026 sur arXiv (2606.08278) SIMPLE, un banc de test de simulation unifié pour l'apprentissage et l'évaluation de politiques de contrôle de robots humanoïdes. La plateforme couple la simulation de dynamique de contact de MuJoCo avec le rendu photoréaliste d'IsaacSim, et propose 60 tâches de loco-manipulation plein corps, 50 scènes d'intérieur et plus de 1 000 assets d'objets. Pour la collecte de données, deux pipelines sont intégrés : génération automatisée de trajectoires par planification de mouvement, et interface de téléopération VR à faible latence. Les auteurs y benchmarkent plusieurs familles de politiques humanoïdes : réseaux d'imitation légers, grands modèles vision-langage-action (VLA) et les récents modèles d'action du monde (WAM, World Action Models). Les expériences démontrent, selon les auteurs, un transfert zero-shot vers des robots humanoïdes physiques dans des configurations similaires. L'enjeu central est un goulot d'étranglement d'évaluation : les modèles fondationnels humanoïdes progressent plus vite que les protocoles pour les tester. Les benchmarks existants se concentrent sur la robotique de table ou les robots à roues, sans couvrir la loco-manipulation plein corps, compétence clé pour les humanoïdes déployés en environnement industriel ou domestique. Si la corrélation sim-to-real revendiquée dans l'article se confirme à plus grande échelle, elle légitime le recours massif à la simulation pour entraîner des politiques de contrôle, réduisant drastiquement les coûts de collecte de données en conditions réelles. C'est précisément le pari industriel de Physical Intelligence avec pi-0, et de Figure AI avec Figure 02 : remplacer les démos téléopérées coûteuses par des pipelines simulés reproductibles. La fragmentation des benchmarks est un problème structurel en robotique humanoïde : chaque laboratoire publie sur ses propres protocoles, rendant toute comparaison inter-équipes difficile. Des initiatives comme HumanoidBench, RoboVerse ou Isaac Lab ont tenté d'y répondre, mais sans couvrir la chaîne complète loco-manipulation avec rendu photoréaliste et pipelines de données intégrés. SIMPLE se positionne à cette intersection. Les équipes de Google DeepMind (GR00T N2, Helix), Agility Robotics (Digit) et Boston Dynamics sont directement concernées. Ce preprint arXiv n'est pas encore évalué par les pairs ; l'adoption par la communauté dépendra de la disponibilité publique du code et des assets, non encore confirmée.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage de priors d'action pour la manipulation robotique multi-morphologies

Des chercheurs ont soumis le 25 juin 2026 sur arXiv (réf. 2606.26095) un cadre d'entraînement en deux étapes pour les modèles Vision-Language-Action (VLA) appliqués à la manipulation robotique cross-embodiment. Le problème est structurel : dans l'architecture dominante, le module d'action est greffé sur un backbone Vision-Language Model (VLM) et co-optimisé dès le départ, ce qui contraint le modèle à découvrir simultanément la dynamique physique du mouvement et l'alignement visuo-linguistique. Les auteurs proposent de préentraîner d'abord le module d'action sur des trajectoires brutes via un encodeur-décodeur léger basé sur le flow-matching, sans aucune entrée visuelle ni linguistique, puis de transférer ce prior moteur à l'entraînement VLA par réutilisation du décodeur et distillation latente en début d'entraînement. La méthode est évaluée sur 13 tâches cross-embodiment en simulation et sur plateformes réelles. Le bénéfice principal est de découpler deux apprentissages que les VLA actuels co-optimisent de front : la structure temporelle du mouvement et la sémantique visuo-linguistique. Selon les résultats présentés, la méthode accélère la convergence, améliore les taux de succès globaux et génère des gains particulièrement nets sur les tâches à faible volume de données réelles, là où les pipelines existants décrochent. Le module encodeur joue par ailleurs le rôle de compresseur d'historique, résumant l'historique état-action en un unique token de contexte temporel à coût négligeable. Fait notable : augmenter le volume de données d'action en étape 1 améliore directement les performances downstream, sans requérir de nouvelles démonstrations robotiques coûteuses à collecter. Ce travail s'inscrit dans la compétition autour des politiques robotiques généralistes capables d'opérer sur des morphologies hétérogènes : Pi-0 (Physical Intelligence), OpenVLA, Octo (UC Berkeley) et RT-2 (Google DeepMind) constituent les références directes. La rareté des données réelles annotées et le sim-to-real gap restent les freins communs à l'ensemble du secteur, et une meilleure initialisation du prior moteur en offre une réponse partielle. Il s'agit d'un preprint non évalué par les pairs, sans déploiement industriel annoncé ; les suites naturelles seraient une intégration dans des frameworks open-source comme LeRobot (Hugging Face) ou une adoption par des équipes développant des humanoïdes généralistes.

UELa méthode pourrait être intégrée à LeRobot (Hugging Face, Paris), ce qui bénéficierait directement à l'écosystème de robotique open-source français.

RechercheOpinion

1 source