RecherchearXiv cs.RO 17 juin 2026

Extraction sémantique guidée par LLM : peuplement automatique d'ontologies robotiques depuis des fichiers URDF

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié fin juin 2026 sur arXiv (arXiv:2606.17073) une approche préliminaire pour automatiser la génération de représentations sémantiques de robots à partir de fichiers URDF (Unified Robot Description Format), le format standard décrivant la structure mécanique et cinématique d'un robot. Le problème ciblé est précis : les identifiants URDF sont souvent des étiquettes bas niveau ambiguës (noms de joints, liens, degrés de liberté) qui n'ont pas de sens conceptuel exploitable pour un système de raisonnement. Le pipeline proposé utilise des LLMs pour inférer les relations sémantiques en leur soumettant ces identifiants accompagnés de concepts issus d'une ontologie existante, garantissant ainsi que la classification produite reste alignée avec le modèle formel. Pour améliorer la fiabilité, les auteurs combinent un vote majoritaire sur plusieurs requêtes LLM avec une validation syntaxique et structurelle qui vérifie la conformité des sorties au schéma de l'ontologie cible. Les résultats présentés portent sur plusieurs descriptions de robots, sans que les modèles spécifiques ni les métriques quantitatives de précision ne soient détaillés dans l'abstract.

L'intérêt pour les intégrateurs et les équipes de robotique cognitive est réel : la construction manuelle d'ontologies robotiques est aujourd'hui un goulot d'étranglement reconnu, coûteux en temps d'ingénierie expert. En automatisant ce pont entre la description physique d'un robot et sa représentation de connaissances structurée, cette approche pourrait accélérer le déploiement de systèmes capables de raisonnement explicable, condition souvent nécessaire en interaction humain-robot (HRI) dans des environnements industriels ou de service. La combinaison LLM-plus-vote-majoritaire-plus-validation formelle est une réponse pragmatique au problème de fiabilité des sorties LLM non contraintes, un compromis classique dans ce domaine.

Ce travail s'inscrit dans un courant actif de la robotique cognitive qui cherche à connecter les représentations symboliques (ontologies OWL, Knowledge Graphs) aux descriptions bas niveau des systèmes embarqués, en réponse aux limites des approches purement neuronales pour l'explicabilité. Des approches concurrentes passent par des annotations manuelles enrichies ou des pipelines de semantic parsing plus traditionnels. Le papier est qualifié de "preliminary approach", signal clair qu'il s'agit d'un jalon de recherche et non d'un outil industrialisé : aucun code, benchmark standardisé, ni timeline de transfert applicatif ne sont mentionnés. Les prochaines étapes probables incluent une évaluation quantitative sur des ontologies robotiques de référence et des tests de passage à l'échelle sur des descriptions de robots complexes multi-DOF.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Raisonnement guidé par ontologie pour des explications fondées sur les affordances en navigation robotique

Des chercheurs ont publié en juin 2026 sur arXiv (2606.00117) une méthode d'explication de la navigation robotique fondée sur le raisonnement ontologique et la théorie des affordances. L'approche construit, en temps réel, une ontologie locale représentant les entités proches du robot avec leurs affordances (ce qu'elles permettent de faire), leurs états possibles, et leurs relations spatiales qualitatives. Face à un obstacle, le système ne se contente pas de détecter le blocage : il évalue des hypothèses de changement d'état -- une porte peut-elle être ouverte, une chaise déplacée -- afin de générer des explications actionnables sur la manière de poursuivre la navigation. L'approche est validée sur un benchmark centré sur un scénario de robot bibliothécaire, avec des cas de navigation générés de manière procédurale. Les résultats montrent que le raisonnement ontologique identifie les facteurs d'explication pertinents avec une précision supérieure à une approche purement sémantique (semantic-only baseline), et reste robuste lorsque la densité d'objets non pertinents augmente -- ce qu'on appelle le semantic clutter, l'un des talons d'Achille des systèmes de navigation en environnement humain réel. Pour un intégrateur déployant des robots dans des espaces partagés (entrepôts mixtes, hôpitaux, bureaux), la capacité à expliquer les décisions de navigation répond à une exigence opérationnelle et réglementaire croissante, notamment sous l'AI Act européen. L'explication n'est pas ici cosmétique : elle est structurellement liée au raisonnement, ce qui la rend vérifiable et auditable par un opérateur humain. L'approche s'inscrit dans le courant de l'IA explicable (XAI) appliquée à la robotique. La théorie des affordances, conceptualisée par le psychologue James Gibson dans les années 1970, connaît un regain d'intérêt depuis l'émergence des vision-language models (VLMs) et des LLMs. Les approches concurrentes incluent les scene graphs sémantiques utilisés par Boston Dynamics et Sanctuary AI, ainsi que les planificateurs fondés sur LLM comme SayCan (Google DeepMind). Par rapport à ces méthodes, l'ontologie locale proposée ici est plus légère et plus explicite formellement, mais reste évaluée sur un benchmark synthétique limité -- le passage à des environnements réels non contrôlés reste à démontrer. Aucun partenariat industriel ni timeline de déploiement n'est mentionné : ce travail est une contribution académique de fond, pas un produit en voie de commercialisation.

UEL'approche répond structurellement aux exigences de l'AI Act pour les systèmes autonomes navigant en environnement humain, en fournissant des explications auditables sur les décisions de navigation, pertinent pour les intégrateurs européens déployant des robots en espaces partagés.

RecherchePaper

1 source

2arXiv cs.RO

Guide robotique : contrôle multi-agents et génération automatique de scénarios par LLM

Un article de recherche décrit une nouvelle architecture de contrôle hybride pour robots sociaux, combinant un système de gestion de ressources multi-agents avec une génération automatique de scénarios comportementaux basée sur des grands modèles de langage (LLM). L'objectif est de dépasser les approches traditionnelles, où des scripts manuels synchronisent tant bien que mal les actions du robot et le texte prononcé, et où les méthodes existantes se limitent à des réponses dialoguées courtes. Le système automatise à la fois la préparation des textes et des commandes de comportement non-verbal pour des récits longs, tout en résolvant les conflits de ressources entre les différents mécanismes d'exécution du robot. Il a été testé sur MENTOR-1, un robot guide de visite (tour guide robot), pour lequel il a généré automatiquement des scénarios complets et démontré un comportement jugé plus naturel et plus riche que les approches existantes. L'article, publié sur arXiv (version révisée), ne précise pas de chiffres de déploiement commercial, de prix ni de dates de mise en production sur site. Pour l'industrie robotique, ce travail illustre une tendance de fond : le passage de scripts comportementaux figés à une orchestration pilotée par LLM capable de générer, en amont, des scénarios longs cohérents entre parole et gestuelle, plutôt que de simplement générer des réponses conversationnelles ponctuelles. La gestion multi-agents des ressources d'exécution répond à un problème concret pour les intégrateurs de robots sociaux : éviter que plusieurs modules (voix, gestes, déplacement, expressions) ne se marchent dessus lors d'une interaction prolongée. Si les résultats sont confirmés à plus grande échelle, cela pourrait réduire le travail manuel de script pour les déploiements de robots d'accueil ou de guidage, un segment où la narration longue reste un point faible des architectures actuelles. Il s'agit toutefois d'une preuve de concept académique sur une plateforme unique, pas d'un produit commercial validé en conditions réelles. Ce travail s'inscrit dans la lignée des recherches sur les architectures VLA (vision-langage-action) et la génération de comportements par LLM pour la robotique sociale, un domaine où des acteurs comme Figure ou Google DeepMind (avec des modèles comme Pi-0 ou GR00T) explorent des approches similaires pour des tâches de manipulation, tandis que MENTOR-1 se positionne spécifiquement sur l'interaction sociale et la narration guidée. Aucun acteur français ou européen n'est mentionné dans cette publication. Les prochaines étapes évoquées par les auteurs concernent l'extension du système à d'autres scénarios narratifs et plateformes robotiques, sans calendrier ni partenariat industriel annoncé à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

Sparsification par apprentissage automatique des graphes dynamiques en exploration robotique

Des chercheurs ont publié sur arXiv (arXiv:2504.16509) une architecture transformer entraînée par apprentissage par renforcement, spécifiquement l'algorithme PPO (Proximal Policy Optimization), pour élaguer dynamiquement les graphes de planification utilisés dans les algorithmes d'exploration robotique. Le système cible les graphes RRT (Rapidly Exploring Random Trees) employés dans l'exploration par frontières, une méthode classique où un robot identifie les limites entre zones cartographiées et inconnues pour piloter sa navigation. En simulation, le framework réduit la taille des graphes jusqu'à 96 % sans intervention humaine, en prenant des décisions de suppression de nœuds en temps réel pendant que le robot explore son environnement. L'intérêt opérationnel est direct : dans les systèmes d'exploration autonome longue durée, entrepôts, sites industriels, bâtiments en intervention d'urgence, les graphes de planification grossissent de façon non bornée et dégradent les performances au fil du temps, forçant soit des redémarrages, soit des architectures mémoire coûteuses. Ici, la politique apprise parvient à associer des décisions locales d'élagage à des résultats d'exploration globaux malgré un signal de récompense rare et retardé, ce qui constitue le résultat le plus difficile à obtenir en RL appliqué à la planification. En contrepartie, le taux d'exploration moyen est légèrement inférieur aux baselines non élagués, mais l'écart-type de couverture est le plus bas observé : le robot explore moins vite, mais de façon nettement plus prévisible d'un environnement à l'autre, un critère souvent plus pertinent en déploiement industriel que la vitesse brute. La sparsification de graphes dynamiques est un problème connu en SLAM et planification de mouvement, traditionnellement traité par des heuristiques géométriques ou des seuils fixes. Appliquer du RL à cette couche basse de la pile robotique est, selon les auteurs, une première. Le travail reste à ce stade une preuve de concept en simulation, sans validation sur hardware réel ni comparaison avec des systèmes commerciaux comme les AMR de MiR, Fetch Robotics ou Exotec. Les prochaines étapes naturelles seraient un transfert sim-to-real et une évaluation sur des graphes issus de LiDAR 3D, contexte dans lequel la croissance exponentielle des graphes est particulièrement problématique.

RecherchePaper

1 source

4arXiv cs.RO

Robots humanoïdes : planification de préhension guidée par affordance sémantique via VLM

Une équipe de recherche présente SAGP (Semantic Affordance-Guided Grasp Planning), une méthode de planification de prise robotique qui combine raisonnement sémantique et géométrie pure, décrite dans un preprint arXiv (2607.29374). Le constat de départ : les planificateurs de prise classiques, purement géométriques, génèrent des prises physiquement valides (antipodales, sans collision) mais parfois absurdes du point de vue fonctionnel, comme saisir une tasse par le bord, un couteau par la lame ou une bouteille près du bouchon. SAGP fonctionne sans apprentissage supplémentaire (training-free) : le nuage de points de l'objet est d'abord découpé en zones grossières (haut, milieu, bas, côtés latéraux, protubérances) via un alignement par PCA suivi d'un clustering DBSCAN basé sur la distance, sans recourir à une segmentation apprise. Un modèle vision-langage (VLM) pré-entraîné évalue ensuite la qualité de prise de chaque zone via une requête structurée en zero-shot, et ces scores sont fusionnés avec des signaux géométriques, d'accessibilité et d'adéquation à la tâche pour reclasser les candidats de prise antipodaux. Les tests, menés sur des objets du jeu YCB en simulation PyBullet avec un bras Franka Panda, montrent que SAGP conserve le taux de réussite élevé de la planification purement géométrique tout en améliorant nettement la pertinence fonctionnelle des prises sélectionnées, notamment sur les objets asymétriques munis d'une poignée, où la géométrie seule ne suffit pas. L'intérêt pour l'industrie tient au problème ciblé : l'écart entre "prise valide" et "prise utile" est une source connue d'échecs en aval dans le pick-and-place, la logistique et la manipulation fine, même quand les métriques géométriques classiques sont satisfaites. En évitant à la fois la segmentation fine par catégorie d'objet et l'inférence directe de pose par VLM (sujette aux hallucinations spatiales), SAGP propose une voie intermédiaire potentiellement plus robuste et moins coûteuse à déployer que les approches entièrement apprises. Le travail s'inscrit dans la lignée des planificateurs de prise antipodaux classiques, qu'il cherche à augmenter plutôt qu'à remplacer, et dans la vague plus récente d'approches VLM appliquées à la manipulation. À ce stade, la validation reste limitée à la simulation ; aucune expérimentation sur robot réel n'est rapportée, ce qui laisse ouverte la question du transfert sim-to-real.

RecherchePaper

1 source