RecherchearXiv cs.RO 4 septembre 2026

MoMaStage : planification guidée par graphe d'états de compétences et exécution en boucle fermée pour la manipulation mobile intérieure à long horizon

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

MoMaStage est le nom d'un système de planification et d'exécution présenté dans un article scientifique publié sur arXiv sous l'identifiant 2603.08383, en version 2 remplaçant une publication antérieure, consacré à la manipulation mobile en intérieur sur des tâches à horizon long. Le système associe un modèle vision-langage (VLM) figé, c'est-à-dire non réentraîné, à l'exécution robotique via trois mécanismes complémentaires : une bibliothèque hiérarchique de compétences ancrées et exécutables couplée à une projection purement topologique d'un graphe d'état des compétences (Skill-State Graph, SSG) qui borne l'espace de planification du VLM ; un vérificateur SSG qui propage l'état des régions de la scène et l'occupation du préhenseur pour écarter les plans infaisables avant leur exécution ; et un moniteur événementiel qui ne déclenche une réparation du plan, ancrée dans le graphe, que lorsqu'un résultat observé invalide la suite prévue. Les auteurs ont évalué l'approche en simulation à physique réaliste ainsi que sur un robot mobile manipulateur réel. Le résumé ne fournit aucun chiffre précis de charge utile, de degrés de liberté, de temps de cycle ou de volume de déploiement : il annonce seulement une amélioration de la validité des plans et de la tenue en exécution longue par rapport aux méthodes de référence testées, avec une réduction de la latence et de la consommation de tokens.

Le travail s'attaque à une faiblesse connue des architectures VLA/VLM en robotique mobile : ces modèles décomposent bien une instruction en séquence d'actions plausible, mais ne suivent pas fiablement les contraintes cumulatives d'état du robot ni ne révisent leur plan quand l'exécution diverge du prévu. Cela vient nuancer l'idée qu'un grand modèle de langage suffirait, seul, à piloter des tâches longues de manipulation mobile sans couche de vérification dédiée. Pour les intégrateurs qui évaluent des piles VLA pour l'entrepôt ou l'usine, l'intérêt est méthodologique : coupler un VLM figé à une vérification symbolique légère plutôt qu'une politique entraînée de bout en bout, pour gagner en fiabilité sans construire de carte dense de la scène ni alourdir le calcul embarqué.

MoMaStage s'inscrit dans la lignée des travaux cherchant à combler l'écart entre la planification par VLM généraliste et les exigences de fiabilité de la robotique physique, un enjeu documenté depuis la montée d'architectures bout-en-bout comme Pi-0, GR00T N2 ou Helix. À la différence de ces politiques entraînées sur de larges corpus de démonstrations, MoMaStage garde le VLM figé et externalise la cohérence d'état dans un graphe symbolique léger, plus proche des méthodes de planification classique augmentées par des modèles de langage. L'article ne mentionne ni calendrier de déploiement industriel ni partenariat commercial : il s'agit d'une contribution de recherche testée en simulation et sur un unique robot en laboratoire, sans indication de passage à l'échelle vers une flotte ou un site client.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

SAKI : assemblage de compétences et imitation cinématique à partir de vidéos humaines pour la manipulation mobile à long horizon

Des chercheurs, dont l'équipe derrière la page aus.bot, présentent SAKI (Skill Assembly and Kinematic Imitation), un framework qui relie trois briques: l'acquisition de compétences à partir de vidéos humaines, l'assemblage de ces compétences issues de démonstrations différentes, et l'exécution en boucle fermée sur l'ensemble du corps du robot. Il s'agit d'une publication de recherche (arXiv, version 1), sans produit ni déploiement commercial. Le système prépare des compétences réutilisables centrées sur l'objet, qui conservent les interactions critiques pour la tâche tout en laissant s'adapter les trajectoires de transfert. À partir d'un objectif et de dépendances de tâches fournies, SAKI sélectionne et ordonne les compétences, associe leurs rôles d'objets à la scène courante et transmet l'estimation de la scène et la configuration du robot d'une compétence à la suivante. Une imitation cinématique du corps entier génère des mouvements coordonnés de la base, du bras et de la pince. En exécution, des estimations d'objets persistantes maintiennent les références de la tâche malgré les changements de point de vue, et le retour visuel met à jour les trajectoires restantes. Les tests sur robot réel couvrent le rangement et l'essuyage, avec réutilisation des compétences d'une disposition à l'autre. Le résumé ne donne aucun taux de réussite chiffré, ni nombre d'essais, ni plateforme robotique précisée. L'enjeu est de sortir l'apprentissage par vidéos humaines du cadre de la table, où il est le plus démontré, pour l'appliquer à la manipulation mobile longue durée, là où les erreurs se cumulent entre étapes et où la base mobile déplace sans cesse le référentiel. Le résultat le plus instructif est l'ablation: à optimisation du corps entier et retour visuel constants, la préparation des références conditionnée par la tâche améliore nettement l'achèvement des tâches longues. Autrement dit, le goulot n'est pas seulement le contrôle bas niveau mais la qualité de la représentation des compétences apprises. Pour un intégrateur, c'est une piste vers des robots reprogrammés par démonstration humaine filmée plutôt que par téléopération coûteuse. Les limites restent claires: les dépendances de tâches sont fournies par l'opérateur et non déduites, les scénarios sont des démonstrations de laboratoire, et l'écart entre une vidéo de démonstration et une fiabilité industrielle reste entier. SAKI s'inscrit dans la course à la manipulation mobile généraliste, où les approches dominantes reposent sur des modèles vision-langage-action (VLA) entraînés sur de la téléopération, comme Pi-0 ou Helix, ou sur des pipelines robotiques modulaires. Ici, le choix est hybride: composition explicite de compétences et optimisation cinématique, plutôt qu'une politique de bout en bout. Cette voie prolonge les travaux sur l'imitation à partir de vidéos humaines, dont l'avantage est de contourner le goulot des données robotiques. Les prochaines étapes probables seraient l'inférence automatique des dépendances de tâches, des évaluations chiffrées sur davantage de scénarios et des essais hors laboratoire. Les vidéos de démonstration sont disponibles sur la page du projet, mais l'échantillon présenté n'est, par nature, pas représentatif des échecs.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Compétences de manipulation à très long horizon en robotique grâce à la génération de code continue guidée par l'humain

Des chercheurs proposent LYRA, un cadre de génération de code robotique qui apprend des compétences de manière continue à partir des retours humains. Il vise les tâches de manipulation dites « ultra-longues », où l'enchaînement d'actions dépasse ce qu'un grand modèle de langage (LLM) sait produire de façon fiable en une seule passe. Le système distille chaque correction humaine en compétences modulaires et réutilisables, puis étend leurs fonctionnalités au fil des interactions sans écraser les comportements déjà acquis. Une mémoire externe stocke ces compétences et des exemples d'exécution. Une récupération augmentée (RAG) sélectionne les connaissances pertinentes pour chaque tâche. Quand cette récupération ne suffit pas, l'utilisateur donne un indice pour orienter la réutilisation. Les auteurs annoncent un taux de succès de 0,93, jusqu'à 27 % au-dessus des méthodes de référence, et un gain de 42 % en efficacité de correction, c'est-à-dire en nombre d'interventions humaines nécessaires. Les tests couvrent les benchmarks Ravens, Franka Kitchen, LIBERO-long et MetaWorld, ainsi que des tâches en conditions réelles. LYRA réussit notamment la tâche « construire une maison », qui exige de planifier plus de 20 primitives. Ce travail s'attaque à un point faible connu de la robotique pilotée par LLM. Les modèles traduisent bien une consigne en code, mais l'ambiguïté des instructions, le bruit des générations et la fenêtre de contexte limitée rendent les longues séquences peu fiables. Les boucles fermées qui reposent seulement sur le retour d'un LLM ne règlent pas le problème, car ces modèles raisonnent mal sur l'état physique d'un robot, même quand l'erreur saute aux yeux d'un humain. L'intérêt pour un intégrateur est concret : plutôt que de réentraîner un modèle ou de réécrire des prompts à chaque correction, l'opérateur enrichit une bibliothèque de compétences qui se transmet d'une tâche à l'autre. Cela limite l'oubli catastrophique, fréquent quand les retours s'accumulent dans des représentations qui généralisent mal. L'approche est une alternative à bas coût aux modèles vision-langage-action (VLA) entraînés de bout en bout, mais elle déplace la charge vers l'humain dans la boucle. Les résultats sont à lire avec prudence : il s'agit d'un preprint sans validation par les pairs. Les benchmarks sont en grande partie simulés. L'article ne donne pas de temps de cycle, de robot industriel ni de volume de déploiement. Le gain de 27 % est relatif aux méthodes de référence choisies par les auteurs. Le papier arrive en version 3 sur arXiv (2509.18597), ce qui indique plusieurs cycles de révision depuis la première soumission de septembre 2025. Il s'inscrit dans la lignée des approches de génération de code pour la robotique, comme Code as Policies, qui font du LLM un planificateur écrivant des appels à des primitives. Il s'oppose à la voie des VLA généralistes (Pi-0, GR00T, Helix), qui encodent la compétence dans les poids du modèle. Aucun partenaire industriel, calendrier de pilote ni publication de code n'est mentionné dans le résumé. La suite logique serait un test sur bras industriels avec des opérateurs non experts, et une mesure de la façon dont la bibliothèque de compétences se comporte à grande échelle, quand la récupération doit trier des centaines de compétences.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

NovaPlan : manipulation à long horizon sans apprentissage préalable par planification vidéo-langage en boucle fermée

NovaPlan est un cadre de planification hiérarchique pour la manipulation robotique longue durée, décrit dans un preprint arXiv (2602.20119, version 2). Il fonctionne en « zero-shot », c'est-à-dire sans démonstration ni entraînement propre à chaque tâche. Au niveau supérieur, un modèle vision-langage (VLM) décompose la tâche en sous-étapes. Il génère plusieurs scénarios vidéo candidats pour chacune, puis écarte ceux dont la dynamique est physiquement incohérente. Pour convertir ces futurs imaginés en actions, le système choisit de façon adaptative entre deux représentations géométriques : le flux centré sur l'objet (object-centric flow) et le flux de la main humaine (hand flow). Enfin, une boucle fermée surveille l'exécution, vérifie les résultats et, en cas d'échec, synthétise des corrections locales sans préhension, comme pousser ou « poker » un objet du bout du doigt. Les auteurs affirment que NovaPlan surpasse nettement les systèmes zero-shot antérieurs sur des tâches multi-étapes variées, avec des assemblages complexes et des récupérations d'erreur dextres. Le résumé ne donne ni chiffres de taux de réussite, ni nombre d'essais, ni robot utilisé. Ces éléments figurent sur le site du projet et dans le texte complet. L'intérêt tient à la manière dont le travail s'attaque à un point faible connu des approches « VLM plus génération vidéo » : les hallucinations physiques du générateur vidéo et les incohérences géométriques du VLM s'accumulent sur des horizons longs, ce qui bloque l'exécution réelle. NovaPlan répond par une logique de proposition, vérification et réparation, plutôt que par un modèle plus grand ou davantage de données. Si les résultats tiennent hors du laboratoire, cela suggère qu'on peut obtenir de la fiabilité sur des séquences longues sans collecter de démonstrations par tâche. Ce coût de collecte reste le principal frein économique du déploiement pour les intégrateurs. L'usage du flux de la main humaine comme représentation intermédiaire est aussi notable : il permet d'exploiter les vidéos générées de mains pour guider des manipulations fines. Il faut toutefois rester prudent. Il s'agit d'un preprint académique sans déploiement industriel, les temps de cycle et la robustesse sur de longues séries ne sont pas documentés dans le résumé, et les comparaisons dépendent des baselines retenues par les auteurs. Ce travail s'inscrit dans la lignée de la planification par vidéo générative (les approches « vidéo language planning ») et des modèles vision-langage-action (VLA) comme Pi-0 ou GR00T, qui apprennent plutôt la politique de bout en bout à partir de grandes quantités de démonstrations. NovaPlan fait le pari inverse : réutiliser des modèles de fondation existants, sans réentraînement, et ajouter autour d'eux une couche de vérification. La version 2 du preprint indique un travail en cours de consolidation, mais aucune date de transfert vers un produit n'est annoncée. La suite logique est une validation sur davantage de plateformes et de tâches, avec des métriques de latence. La boucle de vérification et de génération de vidéos candidates est coûteuse en calcul, et c'est probablement la vraie question pour une cadence de production.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

CheckVLA : vérification à l'exécution par modèle du monde conditionné aux actions pour la manipulation mobile à long horizon

Des chercheurs présentent CheckVLA (arXiv:2607.26789v1), un système de vérification en temps d'exécution pour les politiques vision-langage-action (VLA) appliquées à la manipulation mobile sur des tâches longues. Ces politiques exécutent des blocs d'actions en boucle ouverte, c'est-à-dire sans recevoir de nouvelle image tant que le bloc n'est pas terminé, ce qui les rend incapables de réagir à une déviation survenue après le lancement. CheckVLA ajoute un modèle du monde conditionné par l'action, entraîné séparément et figé, qui compare l'observation réelle à ce que le bloc d'actions engagé impliquait. Un seuil de risque calibré par méthode conforme borne la probabilité d'une intervention inutile par épisode et décide du moment où intervenir; son dépassement dose le remplacement du bloc restant, un préfixage sensible à la latence limite ce remplacement aux actions encore déployables, et une banque d'images-clés préserve la trace de la progression à travers les réparations. Sur le benchmark simulé RoboCasa365, à budget d'invocation identique, le taux de réussite moyen atteint 36,1%, contre 27,6% pour une replanification périodique classique, soit un gain de 8,5 points. L'enjeu dépasse le simple gain chiffré: il s'agit de restaurer une boucle de rétroaction dans des politiques qui s'exécutent en aveugle pendant plusieurs pas de temps, exactement là où les démonstrations VLA échouent le plus souvent en conditions réelles, quand un léger dérapage en début de séquence se propage jusqu'à l'échec complet de la tâche. Les résultats montrent qu'un signal conditionné par l'action, plutôt qu'une simple détection d'anomalie sur l'observation, est nécessaire pour distinguer un effet attendu d'une dérive réelle: à un objectif de fausses alertes fixé à 5% par épisode, le rappel de détection utile atteint 77,9% avec conditionnement par l'action, contre 48,6% pour un contrôle basé uniquement sur l'observation et 37,9% pour un contrôle à actions mélangées. L'écart entre démonstrations impressionnantes et fiabilité en production tiendrait donc moins à la politique elle-même qu'à l'absence de vérification adaptée à l'exécution par blocs. Ce travail s'inscrit dans la recherche actuelle sur la fiabilisation des politiques VLA, alors que le secteur multiplie les architectures enchaînant perception, langage et action sur des tâches longues en environnements domestiques ou industriels. Contrairement à la replanification périodique, qui réévalue l'état à intervalles fixes sans tenir compte de ce qui se passe réellement, ou aux détecteurs d'anomalies purement visuels, CheckVLA se positionne comme une couche de vérification générique, ajoutable à une politique existante sans réentraînement. Les auteurs précisent que ces résultats restent obtenus en simulation sur RoboCasa365, et non sur du matériel réel: la généralisation à des robots physiques, avec leurs propres sources de bruit et de latence, reste une question ouverte pour de futurs travaux.

RecherchePaper

1 source