Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
VeriGraph : graphes de scène pour la vérification de plans de robots
RecherchearXiv cs.RO 

VeriGraph : graphes de scène pour la vérification de plans de robots

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié VeriGraph (arXiv:2411.10446v3), un système de planification robotique qui combine des modèles vision-langage (VLM) avec un mécanisme de vérification formelle des actions. Le principe central repose sur l'utilisation de graphes de scène comme représentation intermédiaire : à partir d'images en entrée, le système construit un graphe capturant les objets présents et leurs relations spatiales, puis s'en sert pour valider et corriger en boucle les séquences d'actions générées par un planificateur LLM. Les gains rapportés sur des tâches de manipulation sont significatifs : +58 % de taux de complétion sur les tâches guidées par langage, +56 % sur des puzzles tangram, et +30 % sur les tâches guidées par image, par rapport aux méthodes de référence testées.

Ce résultat pointe un problème structurel bien documenté dans le domaine : les VLM et LLM génèrent des plans plausibles en surface mais géométriquement ou physiquement incorrects, un objet posé sur une surface inexistante, une saisie dans un ordre impossible. VeriGraph traite ce gap en introduisant une couche de vérification symbolique ancrée dans l'état réel de la scène, ce qui réduit les hallucinations de planification sans nécessiter de fine-tuning du modèle sous-jacent. Pour les intégrateurs industriels et les équipes robotique, cela suggère une voie pragmatique : greffer un vérificateur léger sur des LLM généralistes plutôt que de tout réentraîner, ce qui abaisse potentiellement le coût d'adaptation à de nouveaux environnements.

VeriGraph s'inscrit dans un courant de recherche actif autour des architectures hybrides neuro-symboliques pour la robotique, où des travaux comme SayPlan (Rana et al.), LLMTAMP ou les approches PDDL-guided cherchent tous à contraindre la génération de plans par des vérificateurs formels ou géométriques. La nouveauté ici réside dans l'usage du graphe de scène comme interface universelle entre perception et planification. Les auteurs publient le code sur un site dédié, ce qui facilite la reproductibilité, mais les expériences restent en environnement simulé ou de laboratoire contrôlé, aucun déploiement en conditions industrielles réelles n'est mentionné à ce stade.

Dans nos dossiers

arXiv cs.RO

À lire aussi

SG-CoT : un cadre de planification robotique conscient de l'ambiguïté via des graphes de scène
1arXiv cs.RO 

SG-CoT : un cadre de planification robotique conscient de l'ambiguïté via des graphes de scène

Une équipe de recherche a publié la troisième version d'un article arXiv (2603.18271v3) décrivant SG-CoT, pour Scene Graph-Chain-of-Thought, un framework en deux étapes destiné à réduire les erreurs de planification robotique causées par l'ambiguïté des instructions. Le système construit d'abord une représentation en graphe de scène de l'environnement à partir des observations du robot, capturant les objets présents, leurs attributs et leurs relations entre eux. Dans un second temps, le modèle de langage utilisé comme planificateur interroge ce graphe via des fonctions de récupération pour ne mobiliser que les portions pertinentes par rapport à l'instruction reçue. Lorsqu'une ambiguïté persiste, SG-CoT permet au LLM d'en identifier la source précise et de formuler une question de clarification, adressée à l'utilisateur ou à un autre robot. Les auteurs rapportent des gains d'au moins 10 % en précision des questions posées, et des hausses de taux de réussite de 4 % en environnement mono-agent et 15 % en environnement multi-agent, par rapport aux méthodes antérieures testées. L'enjeu dépasse le seul exercice académique. L'utilisation de LLM comme planificateurs pour robots physiques bute régulièrement sur un problème simple mais critique en usage réel : les instructions humaines sont souvent sous-spécifiées ("prends la tasse" quand plusieurs tasses sont visibles), et un modèle qui devine plutôt que de demander précision multiplie les erreurs d'exécution coûteuses en environnement industriel ou domestique. En ancrant le raisonnement du LLM dans une représentation structurée et interrogeable de la scène plutôt que dans une simple description textuelle ou une image brute, SG-CoT s'attaque directement à l'écart entre démonstrations en laboratoire et fiabilité déployable, un point sensible pour tout intégrateur évaluant des architectures VLA ou LLM-planner pour l'AMR ou la manipulation. Ce travail s'inscrit dans une littérature de recherche déjà dense sur le couplage entre graphes de scène et modèles de langage pour la planification robotique, où plusieurs équipes académiques explorent des approches de grounding similaires pour limiter les hallucinations de plans d'action. Le fait qu'il s'agisse d'une version "replace" (v3) suggère des révisions après retours de relecture. Aucun déploiement industriel ni partenariat commercial n'est mentionné : les résultats reposent sur des expérimentations contrôlées en simulation ou banc de test, une nuance à garder en tête avant toute extrapolation vers une adoption en production.

RecherchePaper
1 source
Une perspective par l'espace d'information sur la suffisance des graphes de scène pour la planification de tâches robotiques
2arXiv cs.RO 

Une perspective par l'espace d'information sur la suffisance des graphes de scène pour la planification de tâches robotiques

Un article publié le 15 septembre 2026 sur arXiv (référence 2609.15587v1) propose un cadre théorique pour déterminer quand un graphe de scène est "suffisant" pour la planification de tâches robotiques. Ces graphes, qui encodent objets, relations et affordances d'un environnement, sont largement utilisés en planification mais deviennent trop volumineux pour rester exploitables dans les grands environnements. Les auteurs formalisent le problème via un cadre d'espaces d'information: ils définissent des systèmes de transition sur graphes de scène ainsi que la sémantique des actions de navigation et de manipulation. Ils introduisent ensuite des graphes de scène dérivés, obtenus par des mappings d'information qui fusionnent et élaguent des nœuds, générant des systèmes de transition quotients enrichis de primitives de mouvement pour représenter des actions de plus haut niveau. Deux conditions caractérisent la suffisance d'un graphe réduit: le mapping doit produire un quotient déterministe, et la tâche doit rester bien posée sur les traces dérivées, garantissant qu'un plan trouvé sur le modèle réduit reste faisable sur le système complet. Le cadre est illustré sur une tâche dans un environnement exemple, avec des cas de graphes réduits suffisants et insuffisants. Cette contribution vise un point de friction concret pour les intégrateurs robotiques: à mesure que les représentations sémantiques d'environnement s'enrichissent, généralement construites à partir de perception 3D et de modèles de vision langage, leur taille freine la planification en temps réel, en particulier pour des robots mobiles manipulateurs opérant dans de grands bâtiments ou entrepôts. Jusqu'ici, la réduction de ces graphes reposait sur des heuristiques empiriques, l'élagage orienté tâche ou des abstractions hiérarchiques, sans garantie formelle que le plan calculé sur le graphe réduit reste valide sur l'environnement réel. En posant des conditions mathématiques précises, ce travail offre un critère vérifiable pour juger si une simplification de graphe de scène est sûre, ce qui pourrait fonder de futurs pipelines capables de compresser automatiquement leur représentation du monde sans perdre en fiabilité, un enjeu pour les architectures de type VLA qui combinent bout-en-bout et représentations structurées de la scène. Le papier s'inscrit dans la lignée des travaux sur les graphes de scène 3D en robotique, notamment utilisés dans des architectures de navigation sémantique et de planification hiérarchique, domaine où plusieurs équipes académiques ont déjà proposé des méthodes d'élagage orienté tâche ou d'abstraction hiérarchique sans offrir de définition générale de la suffisance, lacune que ce travail dit combler. Il s'agit d'un article de recherche théorique, sans lien annoncé avec un produit commercial, un déploiement industriel ni un acteur du secteur humanoïde ou logistique; sa validation se limite à un exemple illustratif unique plutôt qu'à des essais à grande échelle ou du matériel réel. Les auteurs ne précisent ni suite de publication, ni code ouvert, ni intégration prévue dans un système existant, ce qui en fait pour l'instant une contribution formelle destinée à orienter de futures implémentations plutôt qu'un outil prêt à l'emploi.

RecherchePaper
1 source
Robots relationnels : des graphes de scène pour comprendre les commandes en langage naturel
3arXiv cs.RO 

Robots relationnels : des graphes de scène pour comprendre les commandes en langage naturel

Des chercheurs proposent une méthode pour améliorer la capacité des robots à comprendre des commandes en langage naturel en enrichissant les graphes de scène 3D (3D scene graphs, 3DSG) de relations spatiales explicites entre objets. L'étude, publiée sur arXiv (2602.04635v2), combine deux pipelines construits à partir de modèles existants : un pipeline basé sur un grand modèle de langage (LLM) pour identifier l'objet cible à partir d'une commande en vocabulaire ouvert, et un pipeline basé sur un modèle vision-langage (VLM) qui ajoute des relations spatiales en vocabulaire ouvert au graphe de scène à partir d'images capturées pendant la cartographie du lieu. Les auteurs ont testé deux LLM sur 14 scènes différentes, avec 905 énoncés en langage naturel (786 générés de façon procédurale, 119 rédigés par des humains), pour évaluer la tâche d'ancrage de l'objet cible (target object grounding). Le résultat principal est que l'ajout de relations spatiales explicites améliore mesurablement la capacité des LLM à identifier le bon objet dans l'environnement, comblant un manque fréquent des 3DSG existants qui omettent ces relations alors que les humains s'appuient dessus pour décrire leur environnement. Pour les concepteurs de robots domestiques, d'entrepôt ou d'assistance, cela touche directement au goulot d'étranglement entre compréhension du langage et action physique concrète, un enjeu central pour les modèles vision-langage-action (VLA) et l'interaction homme-robot en conditions réelles plutôt qu'en démonstration contrôlée. L'étude montre aussi que générer ces relations spatiales en vocabulaire ouvert via un VLM est faisable directement depuis les images capturées par le robot, sans supervision manuelle. Ce travail s'inscrit dans la lignée des recherches sur les graphes de scène sémantiques pour la robotique cognitive, où la représentation de l'environnement sert de pont entre perception et planification d'actions. Les auteurs notent toutefois que leur analyse ne permet pas de trancher entre relations en vocabulaire ouvert ou fermé, une question qui reste ouverte pour les travaux futurs. Il s'agit d'une contribution académique à un stade de recherche, sans déploiement produit ni partenaire industriel annoncé.

RecherchePaper
1 source
Scale-Plan : planification de tâches par le langage pour équipes multi-robots hétérogènes, à grande échelle
4arXiv cs.RO 

Scale-Plan : planification de tâches par le langage pour équipes multi-robots hétérogènes, à grande échelle

Le Honda Research Institute a publié sur arXiv une version révisée (v2, arXiv:2603.08814) de Scale-Plan, un système de planification de tâches à long horizon pour des équipes de robots hétérogènes. Face aux planificateurs symboliques classiques, qui exigent des spécifications construites à la main, et aux approches par grands modèles de langage, sujettes aux hallucinations et à un mauvais ancrage dans des environnements riches en objets, la méthode filtre l'information perceptuelle avant de planifier. À partir d'une spécification de domaine au format PDDL, Scale-Plan construit un graphe d'actions représentant la structure du domaine, puis utilise un raisonnement LLM volontairement superficiel pour guider une recherche structurée qui isole le sous-ensemble minimal d'actions et d'objets pertinents pour l'instruction donnée en langage naturel. Les auteurs introduisent aussi MAT2-THOR, un benchmark nettoyé bâti sur le simulateur AI2-THOR, destiné à évaluer de façon fiable les systèmes de planification multi-robot. L'enjeu est concret pour les intégrateurs de flottes hétérogènes : plus le nombre d'objets et d'agents croît, plus les planificateurs symboliques deviennent lourds à construire manuellement, tandis que les approches purement LLM perdent en fiabilité en inventant des actions ou des objets absents de l'environnement réel. En réduisant le problème à un sous-graphe minimal avant la décomposition des tâches, l'allocation entre robots et la génération de plans longs, Scale-Plan vise à combiner la robustesse du raisonnement symbolique et la flexibilité du langage naturel. Sur des tâches multi-agents complexes, la méthode dépasse les bases purement LLM et les approches hybrides LLM-PDDL sur l'ensemble des métriques rapportées, ce qui suggère que le goulot d'étranglement des architectures associant LLM et robotique tient moins à la puissance du modèle de langage qu'au volume de contexte non pertinent qu'on lui soumet. Il s'agit à ce stade d'une publication de recherche et non d'un produit déployé : aucun robot physique, aucune charge utile, degré de liberté ou temps de cycle n'est mentionné, le travail portant sur la couche de planification de tâches plutôt que sur le contrôle bas niveau, à la différence de politiques de manipulation comme Pi-0 ou GR00T N2. Le code est publié sur le dépôt GitHub honda-research-institute/Scale_Plan, permettant une reproduction indépendante des résultats. L'article ne précise ni partenaire industriel ni calendrier de déploiement ; les auteurs indiquent vouloir étendre le benchmark MAT2-THOR et valider l'approche sur des tâches multi-robots encore plus complexes.

RecherchePaper
1 source