Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
GraphThink : une planification robotique guidée par un graphe de raisonnement pour les tâches longues
RecherchearXiv cs.RO 

GraphThink : une planification robotique guidée par un graphe de raisonnement pour les tâches longues

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent GraphThink, un nouveau framework de planification pour agents robotiques pilotés par des grands modèles de langage (LLM), détaillé dans un article publié le 7 août 2026 sur arXiv (2608.07905v1). Le système combine deux structures de données : un graphe de tâches (task graph), qui guide le raisonnement du LLM via un prompting contextuel et un raffinement itératif pour limiter les hallucinations de planification, et un graphe de scène (scene graph), qui sert de mémoire environnementale pour déclencher une replanification en boucle fermée dès qu'un événement imprévu survient. L'entraînement du planificateur s'appuie sur GRPO (Group Relative Policy Optimization), avec une conception de récompense calquée sur le graphe de tâches. Sur le benchmark ALFRED, référence standard pour l'exécution de tâches ménagères instruites en langage naturel par un agent virtuel, GraphThink atteint l'état de l'art : son module de haut niveau dépasse les LLM propriétaires accessibles par API, aussi bien sur l'ensemble de validation que sur des tâches longues inédites (held-out long-horizon tasks), avec une bonne généralisation zero-shot et few-shot à des environnements et tâches jamais vus.

Ce résultat cible un problème central pour l'industrie de la robotique humanoïde et des agents incarnés : les planificateurs fondés sur des LLM génériques hallucinent souvent des actions physiquement impossibles et perdent en cohérence sur des séquences de tâches longues, un écart classique entre démonstration et usage réel. En ancrant le raisonnement dans une représentation structurée de l'environnement plutôt que dans le seul texte, GraphThink illustre une piste concrète pour fiabiliser les architectures de type VLA (vision-language-action) utilisées par des systèmes comme GR00T N2 ou Helix, sans dépendre uniquement de modèles propriétaires massifs.

Il s'agit toutefois d'un résultat de recherche évalué en simulation sur ALFRED, non d'un déploiement sur robot physique. Le champ des planificateurs LLM pour la robotique s'est développé depuis des approches comme SayCan ou Code as Policies, et la comparaison de GraphThink aux LLM API démontre surtout un gain méthodologique en environnement contrôlé ; sa validation sur du matériel réel reste l'étape suivante attendue.

Dans nos dossiers

NVIDIA GR00TarXiv cs.RO

À lire aussi

H-WM : planification de tâches et de mouvements robotiques guidée par un modèle du monde hiérarchique
1arXiv cs.RO 

H-WM : planification de tâches et de mouvements robotiques guidée par un modèle du monde hiérarchique

Des chercheurs proposent H-WM (Hierarchical World Model), un cadre qui prédit conjointement les transitions d'états logiques et visuelles pour guider les modèles Vision-Language-Action (VLA) sur des tâches longues. L'architecture associe deux niveaux. Un modèle de monde logique de haut niveau prédit des actions symboliques et des états fondés sur des prédicats, à la manière de la planification de tâches et de mouvements (TAMP) classique. Un modèle de monde visuel de bas niveau prédit les transitions d'états visuels latents. Ces deux sorties sont injectées dans le VLA comme guidage d'état intermédiaire pendant l'exécution. Les auteurs annoncent des gains constants sur trois benchmarks à horizon long ainsi que sur des robots réels, grâce à une exécution plus stable et à une moindre accumulation d'erreurs. Ils publient aussi LIBERO-Logic, un jeu de données aligné image par image qui associe observations visuelles et états robotiques continus à des actions logiques et à des états logiques à base de prédicats. Il s'agit d'un travail de recherche (arXiv 2602.11291, version 3), sans produit ni déploiement industriel. L'enjeu touche l'un des principaux points faibles des VLA : la dérive sur les longues séquences. Les modèles de monde fondés sur la prédiction visuelle, latente ou linguistique sont difficiles à relier à des actions exécutables, et leurs erreurs s'accumulent à mesure que l'horizon s'allonge. H-WM suggère qu'une couche symbolique compacte peut servir d'ancrage sans abandonner la perception, une piste hybride entre l'IA symbolique et l'apprentissage de bout en bout. Pour un intégrateur, la leçon est que les séquences d'assemblage ou de logistique en plusieurs étapes pourraient gagner en fiabilité sans réentraîner un VLA complet. La prudence reste de mise. L'extrait ne chiffre ni les gains, ni les VLA de référence, ni la nature des tâches sur robots réels. Les benchmarks de type LIBERO restent des environnements de simulation, et le passage à des cadences industrielles n'est pas démontré. Ce travail s'inscrit dans la montée des modèles de monde comme brique centrale du contrôle robotique, face aux VLA généralistes de type Pi-0 ou GR00T, qui peinent sur les tâches longues. Il rejoint aussi la renaissance de la planification symbolique couplée aux modèles de fondation. Le jeu de données LIBERO-Logic, étendu à partir du benchmark LIBERO, constitue sans doute la contribution la plus réutilisable, car il offre à d'autres équipes des annotations logiques alignées. La suite dépendra de la généralisation à des scènes ouvertes, de la qualité des prédicats produits automatiquement et du coût d'annotation. Aucun calendrier de pilote n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Raisonnement par graphe de zones sémantiques pour la recherche multi-robots guidée par le langage
2arXiv cs.RO 

Raisonnement par graphe de zones sémantiques pour la recherche multi-robots guidée par le langage

Une équipe de chercheurs a publié SAGR (Semantic Area Graph Reasoning), un framework hiérarchique permettant à des grands modèles de langage (LLM) de coordonner des essaims multi-robots pour la recherche sémantique en environnement inconnu. Évalué sur 100 scénarios du dataset Habitat-Matterport3D, SAGR affiche jusqu'à 18,8 % de gain d'efficacité sur la recherche de cibles sémantiques dans les grands environnements, tout en restant compétitif avec les méthodes d'exploration state-of-the-art basées sur la couverture de frontières. Le système construit incrémentalement un graphe sémantique de zones à partir d'une carte d'occupation sémantique, encodant instances de pièces, connectivité, frontières disponibles et états des robots dans une représentation compacte transmise au LLM pour le raisonnement de haut niveau. La navigation locale et la planification géométrique restent déterministes. L'apport central est architectural : SAGR résout le problème d'interface entre raisonnement symbolique et coordination géométrique, un point de friction récurrent dans les systèmes multi-robots. Les approches classiques (frontier coverage, information gain) sont aveugles à l'intention de tâche, elles ne savent pas qu'une « cafetière » se trouve probablement dans une cuisine, pas un couloir. SAGR délègue cette inférence contextuelle au LLM via une abstraction topologique structurée, sans exposer le modèle au bruit d'une carte brute. C'est une séparation claire des responsabilités : le LLM raisonne sur la sémantique des pièces, les robots exécutent localement. Pour un intégrateur ou un opérateur d'entrepôt multi-AGV, cela ouvre la voie à des instructions en langage naturel comme « trouve le chariot de nettoyage » sans reconfiguration de la logique de navigation. Ce travail s'inscrit dans une tendance forte de 2024-2025 : l'injection de LLM dans la boucle de planification robotique, aux côtés de travaux comme SayPlan (Rana et al.), NavGPT ou des approches VLA type RT-2 et π₀. SAGR se distingue en ciblant explicitement la coordination multi-agent plutôt que le robot unique, et en validant sur un benchmark standardisé (HM3D) plutôt qu'en démo lab. La prochaine étape logique sera le passage du simulateur au réel, le sim-to-real gap sur la segmentation sémantique restant le principal obstacle non adressé par les auteurs.

RechercheActu
1 source
Une perspective par l'espace d'information sur la suffisance des graphes de scène pour la planification de tâches robotiques
3arXiv cs.RO 

Une perspective par l'espace d'information sur la suffisance des graphes de scène pour la planification de tâches robotiques

Un article publié le 15 septembre 2026 sur arXiv (référence 2609.15587v1) propose un cadre théorique pour déterminer quand un graphe de scène est "suffisant" pour la planification de tâches robotiques. Ces graphes, qui encodent objets, relations et affordances d'un environnement, sont largement utilisés en planification mais deviennent trop volumineux pour rester exploitables dans les grands environnements. Les auteurs formalisent le problème via un cadre d'espaces d'information: ils définissent des systèmes de transition sur graphes de scène ainsi que la sémantique des actions de navigation et de manipulation. Ils introduisent ensuite des graphes de scène dérivés, obtenus par des mappings d'information qui fusionnent et élaguent des nœuds, générant des systèmes de transition quotients enrichis de primitives de mouvement pour représenter des actions de plus haut niveau. Deux conditions caractérisent la suffisance d'un graphe réduit: le mapping doit produire un quotient déterministe, et la tâche doit rester bien posée sur les traces dérivées, garantissant qu'un plan trouvé sur le modèle réduit reste faisable sur le système complet. Le cadre est illustré sur une tâche dans un environnement exemple, avec des cas de graphes réduits suffisants et insuffisants. Cette contribution vise un point de friction concret pour les intégrateurs robotiques: à mesure que les représentations sémantiques d'environnement s'enrichissent, généralement construites à partir de perception 3D et de modèles de vision langage, leur taille freine la planification en temps réel, en particulier pour des robots mobiles manipulateurs opérant dans de grands bâtiments ou entrepôts. Jusqu'ici, la réduction de ces graphes reposait sur des heuristiques empiriques, l'élagage orienté tâche ou des abstractions hiérarchiques, sans garantie formelle que le plan calculé sur le graphe réduit reste valide sur l'environnement réel. En posant des conditions mathématiques précises, ce travail offre un critère vérifiable pour juger si une simplification de graphe de scène est sûre, ce qui pourrait fonder de futurs pipelines capables de compresser automatiquement leur représentation du monde sans perdre en fiabilité, un enjeu pour les architectures de type VLA qui combinent bout-en-bout et représentations structurées de la scène. Le papier s'inscrit dans la lignée des travaux sur les graphes de scène 3D en robotique, notamment utilisés dans des architectures de navigation sémantique et de planification hiérarchique, domaine où plusieurs équipes académiques ont déjà proposé des méthodes d'élagage orienté tâche ou d'abstraction hiérarchique sans offrir de définition générale de la suffisance, lacune que ce travail dit combler. Il s'agit d'un article de recherche théorique, sans lien annoncé avec un produit commercial, un déploiement industriel ni un acteur du secteur humanoïde ou logistique; sa validation se limite à un exemple illustratif unique plutôt qu'à des essais à grande échelle ou du matériel réel. Les auteurs ne précisent ni suite de publication, ni code ouvert, ni intégration prévue dans un système existant, ce qui en fait pour l'instant une contribution formelle destinée à orienter de futures implémentations plutôt qu'un outil prêt à l'emploi.

RecherchePaper
1 source
ARC : une méthode de raisonnement pour les modèles fondation en robotique
4arXiv cs.RO 

ARC : une méthode de raisonnement pour les modèles fondation en robotique

Des chercheurs proposent ARC, une méthode de raisonnement qui améliore sensiblement les performances « zero-shot » de modèles de fondation robotiques (RFM) existants, sans nouvelles démonstrations robot ni entraînement à grande échelle. Elle repose sur trois éléments. Le premier est une trace de raisonnement ancrée dans la prochaine action du robot, qui explique pourquoi l'action est appropriée et quel effet elle doit produire. Le deuxième est un pipeline d'étiquetage automatique, qui a permis de construire ARC-Trace-DROID à partir du jeu de données DROID existant, sans collecte de données robot supplémentaire. Le troisième est une stratégie d'adaptation propre à chaque architecture. Les auteurs l'appliquent au VLA π0.5 et au WAM (modèle d'action-monde) Cosmos3-Nano-Policy, avec un fine-tuning et une inférence ajustés à chacun. Les modèles adaptés établissent un nouvel état de l'art sur RoboLab-120 et MolmoSpaces, avec jusqu'à 50 points de pourcentage de gain sur RoboLab-Reasoning-50. Sur robots réels, le taux de succès de π0.5 progresse de 82,2 points de pourcentage. Ces résultats remettent en cause l'idée dominante selon laquelle la performance des RFM ne progresse qu'avec des modèles plus gros, davantage de démonstrations téléopérées et des budgets d'entraînement élevés. Si les chiffres tiennent, le raisonnement devient un levier complémentaire et bon marché pour les équipes qui disposent déjà d'un VLA, car il réutilise des données existantes au lieu d'en collecter de nouvelles. C'est un argument fort pour les intégrateurs et les décideurs B2B, pour qui le coût de la donnée robot reste le principal frein au passage à l'échelle. L'approche touche aussi un point faible des VLA actuels, leur faible généralisation à des tâches nouvelles décrites en langage. Quelques précautions s'imposent. Le gain de 82,2 points sur robots réels est mesuré sur la base de départ de π0.5, et l'article ne détaille pas ici le nombre de tâches, de plateformes ni d'essais. Le terme « sans précédent » vient des auteurs eux-mêmes. Le gain de 50 points concerne un benchmark de raisonnement conçu pour ce type d'évaluation, donc probablement favorable à la méthode. Enfin, on ne sait pas encore ce que la génération de traces ajoute en latence d'inférence, un paramètre décisif pour le contrôle en boucle fermée. ARC s'inscrit dans la tendance des VLA « avec raisonnement », qui font générer au modèle des étapes intermédiaires (sous-tâches, trajectoires, texte) avant d'agir. Elle prolonge les travaux autour de π0.5 de Physical Intelligence, entraîné sur de larges corpus hétérogènes, et du jeu de données DROID, devenu une base de référence en manipulation. L'usage d'un modèle d'action-monde comme Cosmos3-Nano-Policy, issu de l'écosystème Cosmos de NVIDIA, montre que la méthode vise plusieurs familles d'architectures et pas un seul modèle. Elle se positionne face aux approches qui misent sur l'échelle de données, comme GR00T chez NVIDIA ou Helix chez Figure. Il s'agit d'un travail académique publié sur arXiv (2610.12386v1), accompagné d'un site de projet. Il ne s'agit ni d'un produit ni d'un déploiement industriel. La suite logique serait une réplication indépendante, une évaluation sur d'autres robots et tâches longues, puis une mesure du coût en temps de calcul avant toute intégration dans des piles commerciales.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source