RecherchearXiv cs.RO 18 septembre 2026

Imagine-TAMP : planification des tâches et des mouvements guidée par l'imagination en observabilité partielle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un cycle de planification robotique conçu pour décider quand observer et quand agir vient d'être détaillé dans un article arXiv publié le 18 septembre 2026 (arXiv:2609.20396v1), intitulé Imagine-TAMP: Imagination-Guided Task and Motion Planning in Partial Observability. Le système cible un problème concret des robots manipulateurs en environnement encombré : quand la position d'un objet cible est partiellement cachée, faut-il chercher un nouvel angle d'observation ou déplacer d'abord l'objet qui obstrue la vue. Imagine-TAMP combine deux mécanismes d'"imagination" : un modèle vision-langage qui met à jour une croyance probabiliste (particle belief) sur la position de la cible en s'appuyant sur des relations de bon sens avec les objets visibles, et un modèle génératif de scène qui estime la géométrie plausible des zones non observées. À partir de ces hypothèses, le système génère plusieurs squelettes de plan symboliques, leur attribue des coûts non uniformes reflétant à la fois l'effort de manipulation et la probabilité de révéler la cible, puis affine le squelette retenu en plan moteur exécuté, avec replanification si de nouvelles observations contredisent la croyance initiale. Dans des scènes d'étagère à points de vue contraints, l'évaluation géométrique non uniforme fait passer le taux de succès de 46,0% à 84,0% par rapport à une approche de référence, et l'ajout du modèle sémantique réduit encore les manipulations et replanifications inutiles. Sur un robot réel, le système complet réduit le temps de planification de 32% comparé à une version n'utilisant que la géométrie.

L'enjeu dépasse la démonstration académique : la décision observer-versus-manipuler est un goulot d'étranglement classique pour les robots de logistique et de préparation de commandes travaillant dans des bacs ou étagères encombrés, où les approches TAMP classiques s'appuient sur des coûts symboliques grossiers ou une planification géométrique coûteuse, sans jamais estimer la probabilité qu'une observation révèle réellement la cible. En montrant qu'un modèle vision-langage peut injecter du bon sens dans cette décision avant d'engager un calcul moteur coûteux, les auteurs illustrent une tendance plus large où les VLM servent de couche de raisonnement pour la planification plutôt que de générateur direct d'actions, à la différence des approches VLA comme Pi-0 ou GR00T N2.

Le travail s'inscrit dans la lignée du TAMP, qui combine planification symbolique et planification de mouvement continue, en cherchant à corriger sa faiblesse historique face à l'observabilité partielle. Il s'agit d'un preprint, sans validation par les pairs ni partenaire industriel identifié dans le résumé ; les auteurs ne précisent pas de calendrier de suite ni d'extension à d'autres classes de tâches.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Planification de tâches et de mouvements guidée par la preuve avec des modèles vision-langage

EAFG (Evidence Acquisition and Feasibility Gating), publié sur arXiv le 20 août 2026 (2608.20084v1), est un framework de planification de tâches et de mouvements (TAMP) pilotée par des modèles vision-langage (VLM) pour robots manipulateurs. Face à une instruction longue, comme cuisiner un plat, le VLM peut halluciner la présence d'objets jamais observés et bâtir des sous-objectifs sur ses connaissances a priori plutôt que sur la perception réelle, causant des échecs d'exécution. EAFG fait d'abord explorer le robot, via des sous-objectifs générés par le VLM et exécutés par TAMP, pour recueillir des preuves visuelles ; une porte de faisabilité décide ensuite de planifier, d'explorer davantage, ou d'arrêter. Sur des tâches culinaires à usage d'objets ambigu, EAFG améliore la complétion des recettes en découvrant les objets pertinents avant de planifier, et réduit les tentatives inutiles quand un objet requis est absent, sans chiffres précis publiés. Cette approche cible un point de friction concret pour l'industrialisation des robots manipulateurs pilotés par VLM : l'écart entre la compréhension sémantique d'une instruction et la vérification géométrique et perceptive de sa faisabilité réelle. Pour les intégrateurs opérant en environnement partiellement observable, un robot qui agit sur des suppositions non vérifiées représente un risque opérationnel, en temps perdu ou en échecs silencieux. En séparant explicitement planifier, explorer et arrêter, EAFG remet en question l'hypothèse implicite de nombreux pipelines VLM+TAMP selon laquelle une seule perception de la scène suffit avant de planifier une tâche longue, une piste utile face au fossé persistant entre démonstrations contrôlées et déploiement fiable. EAFG s'inscrit dans la lignée des travaux combinant VLM et planification robotique, un courant structuré notamment autour d'approches comme SayCan, qui traduisent des instructions en langage naturel en séquences d'actions exécutables. Il s'agit ici d'une contribution académique : aucun robot commercial ni déploiement en production n'est mentionné, et le résumé ne précise pas si les expériences culinaires ont été menées sur un robot physique ou en simulation. La suite logique pour ce type de recherche serait une validation sur des tâches plus longues, dans des environnements moins contrôlés que la cuisine, et une comparaison directe avec d'autres pipelines VLM+TAMP sur des benchmarks partagés.

RecherchePaper

1 source

2arXiv cs.RO

H-WM : planification de tâches et de mouvements robotiques guidée par un modèle du monde hiérarchique

Des chercheurs proposent H-WM (Hierarchical World Model), un cadre qui prédit conjointement les transitions d'états logiques et visuelles pour guider les modèles Vision-Language-Action (VLA) sur des tâches longues. L'architecture associe deux niveaux. Un modèle de monde logique de haut niveau prédit des actions symboliques et des états fondés sur des prédicats, à la manière de la planification de tâches et de mouvements (TAMP) classique. Un modèle de monde visuel de bas niveau prédit les transitions d'états visuels latents. Ces deux sorties sont injectées dans le VLA comme guidage d'état intermédiaire pendant l'exécution. Les auteurs annoncent des gains constants sur trois benchmarks à horizon long ainsi que sur des robots réels, grâce à une exécution plus stable et à une moindre accumulation d'erreurs. Ils publient aussi LIBERO-Logic, un jeu de données aligné image par image qui associe observations visuelles et états robotiques continus à des actions logiques et à des états logiques à base de prédicats. Il s'agit d'un travail de recherche (arXiv 2602.11291, version 3), sans produit ni déploiement industriel. L'enjeu touche l'un des principaux points faibles des VLA : la dérive sur les longues séquences. Les modèles de monde fondés sur la prédiction visuelle, latente ou linguistique sont difficiles à relier à des actions exécutables, et leurs erreurs s'accumulent à mesure que l'horizon s'allonge. H-WM suggère qu'une couche symbolique compacte peut servir d'ancrage sans abandonner la perception, une piste hybride entre l'IA symbolique et l'apprentissage de bout en bout. Pour un intégrateur, la leçon est que les séquences d'assemblage ou de logistique en plusieurs étapes pourraient gagner en fiabilité sans réentraîner un VLA complet. La prudence reste de mise. L'extrait ne chiffre ni les gains, ni les VLA de référence, ni la nature des tâches sur robots réels. Les benchmarks de type LIBERO restent des environnements de simulation, et le passage à des cadences industrielles n'est pas démontré. Ce travail s'inscrit dans la montée des modèles de monde comme brique centrale du contrôle robotique, face aux VLA généralistes de type Pi-0 ou GR00T, qui peinent sur les tâches longues. Il rejoint aussi la renaissance de la planification symbolique couplée aux modèles de fondation. Le jeu de données LIBERO-Logic, étendu à partir du benchmark LIBERO, constitue sans doute la contribution la plus réutilisable, car il offre à d'autres équipes des annotations logiques alignées. La suite dépendra de la généralisation à des scènes ouvertes, de la qualité des prédicats produits automatiquement et du coût d'annotation. Aucun calendrier de pilote n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Engagement sélectif pour la récupération d'objets guidée par le langage en observabilité partielle

Un article publié sur arXiv (référence 2609.23131v1, catégorie "nouveau") présente un système robotique en boucle fermée destiné à retrouver un objet désigné en langage naturel par rapport à un contenant de référence, dans des scènes partiellement observables. À chaque étape, le système arbitre entre quatre options: recueillir davantage de preuves visuelles, interagir avec la scène, saisir un candidat, ou s'abstenir. Il maintient une croyance conjointe persistante sur l'identité de la cible, sa relation au contenant et sa présence, structurée en trois hypothèses (objet suivi, cible non observée, cible absente), mise à jour par des observations catégorielles issues d'un modèle vision-langage (VLM) conditionnées par le point de vue. L'éligibilité de la prise est calibrée par prédiction conforme et combinée à la faisabilité robotique pour décider du moment de l'engagement, tandis qu'une planification en espace de croyances à horizon fini sélectionne les actions de collecte d'information. Sur cinq scénarios simulés, la méthode réussit 19 épisodes sur 25, contre 12 sur 25 pour la meilleure référence adaptée à la tâche, et c'est la seule politique testée à obtenir au moins une réussite dans chacun des cinq scénarios. Des essais sur robot réel montrent une ré-observation en boucle fermée et une récupération autonome après des échecs de prise provoqués artificiellement, mais des échecs de point de vue injectés se traduisent par de faux abandons, le robot renonçant à tort. Ces résultats s'adressent directement à un problème connu de la manipulation robotique en logistique et en intralogistique: la plupart des systèmes actuels supposent une observabilité quasi complète de la scène, ce qui s'effondre dès qu'un objet est partiellement occulté dans un bac ou un tiroir. En formalisant explicitement le choix entre agir, observer davantage ou renoncer, ce travail illustre une piste pour réduire les échecs silencieux des pipelines vision-langage-action (VLA) déployés en conditions réelles, où la confiance mal calibrée d'un modèle mène souvent à des prises ratées plutôt qu'à un report prudent. Les auteurs notent toutefois eux-mêmes une limite importante: leurs ablations montrent que le système complet ne surpasse pas systématiquement des variantes simplifiées, ce qui nuance la promesse d'un gain automatique lié à la complexité du cadre proposé. Ce travail s'inscrit dans la lignée des recherches académiques sur la prise de décision sous incertitude en robotique de manipulation, à la croisée des modèles vision-langage et de la planification bayésienne, sans lien annoncé avec un produit commercial ou un déploiement industriel. Il reste à ce stade au niveau de la validation en simulation complétée par des essais limités sur robot physique, et non un système prêt à l'emploi. Les auteurs ne mentionnent ni partenariat industriel ni calendrier de transfert vers une plateforme commerciale, ce qui distingue clairement cette contribution des annonces produit du secteur des humanoïdes ou des bras robotiques en entrepôt.

RecherchePaper

1 source

4arXiv cs.RO

Planifier en cours de route : planification événementielle par modèle fondation pour l'exécution TAMP en manipulation partiellement observable

Des chercheurs publient sur arXiv (arXiv:2608.28075v1, 28 août 2026) ROBUST TAMP, un framework modulaire de planification tâche-et-mouvement (TAMP) piloté par des modèles de fondation, LLM et VLM, pour la manipulation robotique en environnement partiellement observable. Le système restreint le planificateur à l'état relationnel de la scène actuellement visible, valide chaque action générée contre une interface d'exécution stricte, puis achemine les actions acceptées vers des adaptateurs d'exécution propres à chaque scène. La découverte d'un objet imprévu, cible ou non, déclenche un événement de replanification distinct : après un horizon d'exécution stable, le système reconstruit l'état visible de la scène et replanifie à partir de l'historique des actions déjà complétées et du contexte structuré de l'événement. Les évaluations portent sur six variantes de cuisine et de grill sous simulateur RLBench/CoppeliaSim, incluant objets cachés, découverte d'objets non ciblés, interaction avec des contenants articulés et procédures de manipulation temporelles, en comparant des planificateurs LLM texte-seul et VLM de tailles différentes sous un pipeline identique de validation, exécution, surveillance et replanification. Le travail cible un angle mort des architectures TAMP guidées par foundation models, qui supposent le plus souvent un état de scène entièrement connu à l'avance ou déclenchent une replanification complète du modèle dès qu'un sous-objectif échoue. En environnement réel, un robot découvre en cours d'exécution des objets non anticipés, ce qui invalide un plan pourtant correct au départ ; traiter cette découverte comme un événement à part entière plutôt qu'un échec générique limite les appels coûteux au modèle de fondation, un point sensible pour les intégrateurs qui budgétisent le coût d'inférence à l'échelle d'une flotte. La comparaison entre planificateurs texte-seul et VLM de tailles variées fournit des données concrètes sur l'arbitrage précision/coût, utiles aux décideurs qui cherchent à dimensionner le bon niveau de modèle plutôt que de supposer qu'un VLA volumineux règle par défaut l'observabilité partielle. Ce travail s'inscrit dans la lignée des systèmes de TAMP guidés par LLM/VLM apparus ces dernières années pour générer décompositions de tâches, sous-objectifs et contraintes symboliques, mais que les auteurs jugent encore trop dépendants d'une scène pleinement spécifiée. Les six bancs d'essai restent entièrement simulés, sous RLBench/CoppeliaSim, sans mention de robot physique, d'affiliation industrielle ni de calendrier de transfert vers le réel : il s'agit d'une publication de recherche évaluant une architecture logicielle, non d'un produit commercialisé. La suite logique, non annoncée dans le résumé, serait une validation sur manipulateur réel et une extension au-delà des scènes de cuisine et de grill testées.

RecherchePaper

1 source