RecherchearXiv cs.RO 15 septembre 2026

Assistance humaine à la demande pour poursuivre une tâche après un échec d'action physique dans la planification par LLM

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente REPAIR, un système de planification robotique combinant des modèles de langage (LLM) avec une intervention humaine à distance pour surmonter les échecs d'action physique, selon un article publié sur arXiv (2603.28156). Le problème visé est concret : lorsqu'un robot piloté par LLM échoue à saisir un objet, il peut continuer indéfiniment à tenter de le détecter sans réaliser, par exemple, que l'objet est tombé de la table, bloquant ainsi la tâche. Le système proposé fonctionne ainsi : quand le LLM détecte un échec d'action, le robot sollicite une assistance à distance, un opérateur humain résout le problème par téléopération puis décrit le résultat en langage naturel, information qui est réinjectée dans le LLM pour mettre à jour son plan et permettre la poursuite de la tâche. Les chercheurs ont testé leur approche sur une tâche réelle de collecte de déchets, en la comparant à une méthode entièrement autonome et à une téléopération intégrale de référence. Le système hybride améliore la progression de la tâche par rapport à la méthode purement autonome.

Cette approche s'attaque à un angle mort connu du secteur : la plupart des systèmes de planification par LLM échouent silencieusement quand une erreur physique dépasse leur capacité de replanification en boucle fermée, tandis que les solutions purement téléopérées ne remontent jamais l'information vers le planificateur pour éviter de répéter l'erreur. En couplant intervention humaine ponctuelle et mise à jour du plan par retour en langage naturel, les auteurs montrent une voie intermédiaire entre autonomie totale et téléopération permanente, un compromis pertinent pour les intégrateurs qui déploient des robots en environnement non structuré sans vouloir monopoliser un opérateur à plein temps. Les résultats restent toutefois nuancés et méritent d'être lus avec prudence : pour les déchets faciles à récupérer, l'écart avec la référence téléopérée est faible, mais il se creuse nettement pour les cas plus difficiles, signe que le gain apporté par le LLM diminue quand la difficulté de manipulation augmente.

Le travail s'inscrit dans la lignée des recherches sur la robustesse des systèmes de planification LLM appliqués à la robotique, un domaine où le fossé entre démonstrations en laboratoire et déploiement réel reste un sujet récurrent. Le site du projet est hébergé par l'équipe Emergent Systems Lab. L'étude se limite à un cas d'usage unique, la collecte de déchets, et les auteurs ne détaillent pas de calendrier de déploiement industriel ni de partenariat commercial à ce stade ; il s'agit d'un travail de recherche exploratoire plutôt que d'un produit prêt à l'emploi.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Modélisation unifiée vision-toucher-action à partir de démonstrations humaines pour la manipulation dextérique

Des chercheurs proposent UVTA, un cadre qui exploite des démonstrations humaines enregistrées avec retour tactile pour améliorer les politiques de manipulation dextre des robots. L'équipe a d'abord construit un système de capture de mouvement tactile, qui enregistre de façon synchrone les images, les signaux tactiles et les mouvements de la main. Avec cet outil, elle a constitué le jeu de données UVTA, qui couvre cinq tâches riches en contacts. Il comprend 1 000 démonstrations humaines et 150 démonstrations robot par tâche. Le modèle associé, un Unified Visual-Tactile-Action Model, projette l'humain et le robot dans des représentations tactiles et d'action alignées. Il prédit conjointement les trajectoires futures d'action et de toucher. Les démonstrations humaines supervisent ainsi l'apprentissage de représentations sensibles au contact, et seules les actions du robot sont exécutées au déploiement. Lors d'évaluations sur robot réel, sur les cinq tâches, la méthode atteint 70 % de réussite moyenne. La meilleure base de comparaison visuo-tactile plafonne à 29 %, et une ablation d'architecture à 42 %. L'enjeu tient au goulot d'étranglement des données tactiles. La téléopération de mains dextres ne renvoie à l'opérateur qu'un retour tactile limité, ce qui rend les démonstrations robot riches en toucher difficiles à collecter à grande échelle. Les auteurs contournent le problème avec l'hypothèse que la main change mais que la physique de l'interaction reste la même. Les données humaines deviennent alors une source de supervision plus abondante et plus variée. Les performances progressent avec le nombre de démonstrations humaines et ne saturent pas à 1 000 par tâche. Cela suggère qu'une montée en volume pourrait encore améliorer les résultats, sans que le papier le démontre au-delà. Pour les intégrateurs et les équipes qui développent des politiques de préhension fine, l'idée est de déplacer l'effort de collecte du robot vers l'humain, moins coûteux. Elle vise les tâches où la vision seule échoue, comme l'insertion, la manipulation en occlusion ou le contrôle de force. Il s'agit d'un travail académique, pas d'un produit, et il faut lire les chiffres avec prudence. Le score de 70 % porte sur seulement cinq tâches, avec 150 démonstrations robot par tâche, dans un cadre de laboratoire. Le résumé ne précise ni la main utilisée, ni les capteurs tactiles, ni le nombre d'essais, ni la nature exacte des tâches. L'écart avec les bases de comparaison (29 % et 42 %) est net, mais il dépend de choix de baselines que seul le texte complet permet d'apprécier. Le papier s'inscrit dans un courant de recherche qui cherche à apprendre la manipulation à partir de vidéos et de gants de capture humains, pour dépasser la téléopération. Il ajoute ici la modalité tactile, encore peu présente dans les grands modèles vision-langage-action (VLA). La version 2 de l'article sur arXiv et une page projet (uni-vta.github.io) sont disponibles. Aucun déploiement industriel ni calendrier n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Toute maison, toute tâche : planification évolutive à long terme pour des tâches humaines abstraites

Le laboratoire à l'origine de ce papier arXiv (identifiant 2602.12244, version révisée) présente AHAT, pour Any House Any Task, un planificateur de tâches ménagères conçu pour la planification à long horizon dans des environnements domestiques de grande taille et face à des consignes humaines ambiguës. Le système s'appuie sur un grand modèle de langage entraîné à convertir une instruction et un graphe de scène textuel (une représentation symbolique de la maison et des objets qu'elle contient) en sous-objectifs formalisés dans le langage PDDL, le standard académique pour décrire des problèmes de planification. Ces sous-objectifs sont ensuite résolus par un solveur symbolique explicite, qui produit un plan d'exécution complet et jugé optimal. Pour améliorer la capacité du modèle à décomposer des intentions complexes et floues, les auteurs introduisent TGPO, un nouvel algorithme d'apprentissage par renforcement qui intègre une correction externe des traces de raisonnement intermédiaires dans le cadre de GRPO, la méthode de renforcement popularisée par les modèles de raisonnement de type DeepSeek. L'enjeu identifié par les auteurs est central pour la robotique de service : les planificateurs purement basés sur du prompting LLM voient leurs performances chuter fortement dès que l'environnement grandit, que le plan s'allonge, ou que l'instruction devient ambiguë. En combinant génération de sous-objectifs par LLM et résolution symbolique rigoureuse, AHAT vise à conserver la flexibilité du langage naturel tout en garantissant la faisabilité formelle du plan produit, un compromis recherché par tous les acteurs qui veulent faire sortir les agents domestiques du laboratoire. Les auteurs rapportent des gains significatifs face aux méthodes de référence par prompting, planification classique et apprentissage, notamment sur des tâches formulées de façon brève mais nécessitant une exécution complexe, le scénario le plus proche d'un usage domestique réel. Il s'agit ici d'un travail de recherche publié sur arXiv, sans lien annoncé avec un produit commercial ou un déploiement matériel : ni robot humanoïde, ni intégrateur, ni date de mise en service ne sont mentionnés. AHAT se positionne dans la lignée des travaux récents cherchant à hybrider LLM et planification symbolique PDDL pour la robotique domestique, une piste alternative aux approches VLA de bout en bout, et son intérêt réel pour l'industrie dépendra de sa reproductibilité et de son passage, ou non, à des essais sur robot physique.

RecherchePaper

1 source

3arXiv cs.RO

PACT : une approche proactive pour l'assistance continue aux tâches en collaboration humain-robot

Des chercheurs ont publié PACT (Proactive Asking for Continual Task Assistance), un framework de collaboration humain-robot sur la durée, soumis sur arXiv en mai 2026 (arXiv:2605.24350). Le problème posé est concret : un assistant robotique déployé sur plusieurs jours ignore initialement les habitudes et préférences de son utilisateur, rendant l'inférence passive peu fiable dès les premières interactions. PACT propose une logique "ask-or-act" : plutôt que d'agir sans certitude, le robot décide à chaque instant s'il doit demander une clarification ou exécuter directement la tâche. Le système combine les observations courantes avec un historique d'interactions multi-jours pour évaluer la suffisance contextuelle avant d'agir. L'implémentation principale repose sur du reinforcement learning, et les auteurs introduisent une nouvelle métrique, la "clarification utility", qui mesure le compromis entre précision de l'assistance et fréquence des interruptions imposées à l'utilisateur. Ce framework répond à un déficit structurel des robots d'assistance actuels : en inférant silencieusement, un robot avec un modèle utilisateur incomplet accumule les erreurs et dégrade rapidement la confiance opérationnelle. PACT inverse la logique -- le robot reconnaît son incertitude et l'exprime plutôt que de la masquer. Pour les intégrateurs envisageant des robots en assistance à domicile, en co-robotique de bureau ou en environnement industriel léger, cette approche réduit la nécessité d'une modélisation préalable exhaustive des préférences utilisateur. Les expériences en scénarios multi-jours montrent des gains consistants en précision et en utilité des clarifications face aux baselines d'inférence passive, bien que la validation sur plateforme matérielle réelle reste à démontrer. Le défi de l'adaptation continue en collaboration humain-robot est partagé par plusieurs axes de recherche actifs, dont les benchmarks domestiques ALFRED et les travaux de personnalisation menés chez Figure, 1X ou Boston Dynamics pour leurs robots humanoïdes. Des équipes européennes -- INRIA, TU Delft -- explorent également ces mécanismes d'apprentissage en contexte prolongé. PACT se distingue en traitant l'incertitude épistémique par le dialogue explicite plutôt que par des mécanismes d'inférence silencieux, une approche complémentaire aux méthodes VLA (Vision-Language-Action) actuellement dominantes. La publication reste un preprint sans validation industrielle annoncée ; l'étape critique sera de quantifier le coût cognitif réel des clarifications répétées pour l'utilisateur dans des contextes de travail prolongés.

UEDes équipes européennes dont l'INRIA (France) et TU Delft (Pays-Bas) travaillent sur des mécanismes similaires d'apprentissage contextuel prolongé, ce qui positionne PACT comme référence pertinente pour la communauté HRI européenne, sans impact industriel direct à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

Replanification ancrée dans le corps pour une manipulation physiquement adaptative

Publié sur arXiv le 25 septembre 2026 sous la référence 2609.30024, un article présente le « body-grounded replanning », une méthode qui permet à un bras manipulateur d'ajuster sa stratégie d'exécution selon son propre état physique interne, et non plus seulement selon la géométrie de l'environnement. Le système surveille l'état articulaire du robot, charge sur les joints et mobilité disponible, et déclenche une replanification dès qu'un événement corporel survient, comme une surcharge ou une contrainte de mobilité asymétrique. Un grand modèle de langage interprète alors cet état, les statistiques d'exécution récentes et l'historique des actions pour choisir une stratégie alternative, sans toucher à l'objectif de la tâche ni au contrôleur bas niveau. L'approche est validée sur une tâche d'atteinte sous charge contrôlée et contraintes de mobilité asymétriques, en simulation puis sur un robot réel, avant d'être étendue à des manipulations avec contacts. Cette approche cible un angle mort des architectures de manipulation actuelles : une stratégie peut rester géométriquement valide tout en devenant physiquement inadaptée, par exemple quand un bras accumule de la fatigue articulaire ou perd en amplitude de mouvement, un signal qui ne remonte d'ordinaire jamais au-delà du contrôle bas niveau. En faisant remonter l'état corporel jusqu'à la couche de décision de haut niveau, généralement réservée à la perception externe, les auteurs montrent qu'un robot peut réduire son effort physique et gagner en efficacité d'adaptation tout en gardant un taux de réussite élevé. Pour les intégrateurs qui déploient des modèles vision-langage-action sur des plateformes réelles, ce travail ouvre une piste pour limiter l'usure mécanique et les échecs liés à des contraintes physiques imprévues, sans réentraîner la politique de contrôle bas niveau. Cette proposition s'inscrit dans la tendance consistant à confier à un LLM le rôle d'orchestrateur au-dessus de politiques de contrôle bas niveau spécialisées, une architecture déjà explorée par plusieurs travaux de planification robotique assistée par langage. Sa spécificité tient à l'usage de signaux purement internes au robot, joints, charge, mobilité, plutôt que des seules entrées visuelles habituellement utilisées pour décider d'un changement de stratégie. Classé comme nouvelle soumission sur arXiv, l'article ne mentionne aucun partenariat industriel ni déploiement hors laboratoire : les essais se limitent à une tâche de reaching et à des manipulations avec contacts, en simulation et sur un seul robot réel, sans calendrier de transfert vers un produit commercial.

RecherchePaper

1 source