RecherchearXiv cs.RO 22 septembre 2026

Engagement sélectif pour la récupération d'objets guidée par le langage en observabilité partielle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article publié sur arXiv (référence 2609.23131v1, catégorie "nouveau") présente un système robotique en boucle fermée destiné à retrouver un objet désigné en langage naturel par rapport à un contenant de référence, dans des scènes partiellement observables. À chaque étape, le système arbitre entre quatre options: recueillir davantage de preuves visuelles, interagir avec la scène, saisir un candidat, ou s'abstenir. Il maintient une croyance conjointe persistante sur l'identité de la cible, sa relation au contenant et sa présence, structurée en trois hypothèses (objet suivi, cible non observée, cible absente), mise à jour par des observations catégorielles issues d'un modèle vision-langage (VLM) conditionnées par le point de vue. L'éligibilité de la prise est calibrée par prédiction conforme et combinée à la faisabilité robotique pour décider du moment de l'engagement, tandis qu'une planification en espace de croyances à horizon fini sélectionne les actions de collecte d'information. Sur cinq scénarios simulés, la méthode réussit 19 épisodes sur 25, contre 12 sur 25 pour la meilleure référence adaptée à la tâche, et c'est la seule politique testée à obtenir au moins une réussite dans chacun des cinq scénarios. Des essais sur robot réel montrent une ré-observation en boucle fermée et une récupération autonome après des échecs de prise provoqués artificiellement, mais des échecs de point de vue injectés se traduisent par de faux abandons, le robot renonçant à tort.

Ces résultats s'adressent directement à un problème connu de la manipulation robotique en logistique et en intralogistique: la plupart des systèmes actuels supposent une observabilité quasi complète de la scène, ce qui s'effondre dès qu'un objet est partiellement occulté dans un bac ou un tiroir. En formalisant explicitement le choix entre agir, observer davantage ou renoncer, ce travail illustre une piste pour réduire les échecs silencieux des pipelines vision-langage-action (VLA) déployés en conditions réelles, où la confiance mal calibrée d'un modèle mène souvent à des prises ratées plutôt qu'à un report prudent. Les auteurs notent toutefois eux-mêmes une limite importante: leurs ablations montrent que le système complet ne surpasse pas systématiquement des variantes simplifiées, ce qui nuance la promesse d'un gain automatique lié à la complexité du cadre proposé.

Ce travail s'inscrit dans la lignée des recherches académiques sur la prise de décision sous incertitude en robotique de manipulation, à la croisée des modèles vision-langage et de la planification bayésienne, sans lien annoncé avec un produit commercial ou un déploiement industriel. Il reste à ce stade au niveau de la validation en simulation complétée par des essais limités sur robot physique, et non un système prêt à l'emploi. Les auteurs ne mentionnent ni partenariat industriel ni calendrier de transfert vers une plateforme commerciale, ce qui distingue clairement cette contribution des annonces produit du secteur des humanoïdes ou des bras robotiques en entrepôt.

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Imagine-TAMP : planification des tâches et des mouvements guidée par l'imagination en observabilité partielle

Un cycle de planification robotique conçu pour décider quand observer et quand agir vient d'être détaillé dans un article arXiv publié le 18 septembre 2026 (arXiv:2609.20396v1), intitulé Imagine-TAMP: Imagination-Guided Task and Motion Planning in Partial Observability. Le système cible un problème concret des robots manipulateurs en environnement encombré : quand la position d'un objet cible est partiellement cachée, faut-il chercher un nouvel angle d'observation ou déplacer d'abord l'objet qui obstrue la vue. Imagine-TAMP combine deux mécanismes d'"imagination" : un modèle vision-langage qui met à jour une croyance probabiliste (particle belief) sur la position de la cible en s'appuyant sur des relations de bon sens avec les objets visibles, et un modèle génératif de scène qui estime la géométrie plausible des zones non observées. À partir de ces hypothèses, le système génère plusieurs squelettes de plan symboliques, leur attribue des coûts non uniformes reflétant à la fois l'effort de manipulation et la probabilité de révéler la cible, puis affine le squelette retenu en plan moteur exécuté, avec replanification si de nouvelles observations contredisent la croyance initiale. Dans des scènes d'étagère à points de vue contraints, l'évaluation géométrique non uniforme fait passer le taux de succès de 46,0% à 84,0% par rapport à une approche de référence, et l'ajout du modèle sémantique réduit encore les manipulations et replanifications inutiles. Sur un robot réel, le système complet réduit le temps de planification de 32% comparé à une version n'utilisant que la géométrie. L'enjeu dépasse la démonstration académique : la décision observer-versus-manipuler est un goulot d'étranglement classique pour les robots de logistique et de préparation de commandes travaillant dans des bacs ou étagères encombrés, où les approches TAMP classiques s'appuient sur des coûts symboliques grossiers ou une planification géométrique coûteuse, sans jamais estimer la probabilité qu'une observation révèle réellement la cible. En montrant qu'un modèle vision-langage peut injecter du bon sens dans cette décision avant d'engager un calcul moteur coûteux, les auteurs illustrent une tendance plus large où les VLM servent de couche de raisonnement pour la planification plutôt que de générateur direct d'actions, à la différence des approches VLA comme Pi-0 ou GR00T N2. Le travail s'inscrit dans la lignée du TAMP, qui combine planification symbolique et planification de mouvement continue, en cherchant à corriger sa faiblesse historique face à l'observabilité partielle. Il s'agit d'un preprint, sans validation par les pairs ni partenaire industriel identifié dans le résumé ; les auteurs ne précisent pas de calendrier de suite ni d'extension à d'autres classes de tâches.

RecherchePaper

1 source

2arXiv cs.RO

Où rejoindre un groupe ? Prédiction d'objectif guidée par le langage pour l'agrégation de robots

Une équipe de recherche publie sur arXiv (2609.28467v1, mis en ligne le 24 septembre 2026) une méthode baptisée "language-grounded robot group joining", qui répond à une question absente de la navigation sociale classique : non pas comment rejoindre un point fixe, mais où et comment s'intégrer à un groupe humain dont l'activité et la formation évoluent en temps réel. Le système part d'une observation visuelle et d'une description en langage naturel du groupe cible pour identifier les bonnes personnes, puis calcule des poses de jonction socialement acceptables. La chaîne technique combine un partitionnement spectral récursif, qui génère des sous-ensembles candidats de personnes dans la scène, avec un modèle language-conditioned combinant image et géométrie pour classer ces sous-ensembles selon la description fournie. Une fois le groupe identifié, un module de prédiction d'objectif s'appuie sur des a priori de formations humaines (conversations, files d'attente, publics) pour produire une carte multimodale energy-orientation couvrant l'ensemble des poses robotiques envisageables. Les auteurs rapportent une inférence en moins d'une seconde, une précision d'identification du groupe comparable aux meilleures approches existantes, et des performances supérieures à toutes les méthodes de référence testées pour la prédiction de pose de jonction, validées à la fois en simulation et sur robot réel, y compris dans des interactions dynamiques. L'intérêt pratique dépasse la simple curiosité académique : les applications visées, chiens-guides robotiques et scooters de mobilité autonomes, ciblent l'assistance aux personnes à mobilité réduite ou malvoyantes dans des environnements sociaux denses, un cas d'usage largement sous-traité par la littérature en navigation robotique, historiquement focalisée sur l'évitement d'obstacles vers un but déjà connu. En prouvant qu'un robot peut interpréter une instruction en langage naturel pour localiser un groupe spécifique parmi plusieurs, puis calculer sa position d'intégration sans base de données pré-cartographiée, les auteurs adressent un maillon manquant pour les intégrateurs travaillant sur des AMR (robots mobiles autonomes) déployés en environnement humain ouvert, plutôt qu'en entrepôt structuré. Le travail s'inscrit dans la lignée des modèles vision-langage appliqués à la robotique mobile, où la formulation de tâches sémantiques complexes via instructions textuelles gagne du terrain face aux approches purement géométriques. Le papier ne mentionne ni partenariat industriel ni déploiement commercial : il s'agit d'un résultat de recherche fondamentale, testé sur trois types de configurations sociales (conversations, files d'attente, audiences) avec tailles de groupe, densités de foule et ambiguïtés visuelles variables. Aucune suite commerciale ni calendrier de transfert vers un produit n'est annoncé à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

MobiGuide : récupération en ligne guidée par le vocabulaire pour la manipulation mobile

MobiGuide, un modèle VLA (vision-langage-action) génératif pour la manipulation mobile, est décrit dans une prépublication arXiv (2604.01567, version 2). Le travail s'attaque à un problème précis: conserver plusieurs modes d'action plausibles tout en restant réactif à l'exécution. Saisir une bouteille dans une scène encombrée peut se faire par plusieurs plans de mouvement base-bras physiquement valides. Les politiques VLA déterministes entraînées par régression L1 sont efficaces mais moyennent les modes valides et peuvent produire des actions physiquement invalides. Les politiques génératives par diffusion représentent mieux les distributions multimodales, mais leurs propositions, générées depuis du bruit pur, sont peu contraintes, et l'échantillonnage itératif alourdit l'inférence. MobiGuide construit à partir de démonstrations expertes un vocabulaire structuré de trajectoires, qui encode des motifs de mouvement du corps entier. Selon l'observation courante et l'instruction, le modèle raffine localement ces trajectoires de référence en propositions adaptées au contexte, puis sélectionne la plus appropriée. Un module léger de correction résiduelle applique en plus des ajustements à haute fréquence, pas à pas, pendant l'exécution. L'intérêt tient à l'endroit où le travail place la contrainte. Plutôt que de partir du bruit, il ancre la génération sur des modes experts réalistes, ce qui vise à garder la multimodalité sans payer le coût d'un débruitage long. Le module résiduel traite un défaut connu de l'action chunking: exécuter des séquences d'actions en boucle partiellement ouverte réduit le coût d'inférence, mais laisse de petits écarts s'accumuler en dérive. Pour un intégrateur, cette combinaison répond à deux exigences de terrain, la robustesse aux perturbations et la latence faible. Les auteurs annoncent de meilleurs taux de succès et une meilleure stabilité sous perturbations d'exécution, avec une inférence à faible latence. Le résumé ne donne toutefois aucun chiffre, ni taux de succès, ni latence, ni nombre de tâches. Il ne précise pas non plus si les essais ont eu lieu en simulation ou sur robot réel, donc l'écart entre démonstration et déploiement reste à vérifier dans l'article complet. Cette approche s'inscrit dans une tendance qui rapproche les politiques robotiques des méthodes de planification par vocabulaire de trajectoires, déjà utilisées en conduite autonome. Elle répond aux limites des deux familles dominantes: la régression déterministe, qui moyenne les modes, et la diffusion, plus expressive mais plus coûteuse. La manipulation mobile, qui coordonne base et bras, aggrave ces limites, car l'espace d'actions est plus large et les erreurs se cumulent. Il s'agit d'un travail académique, sans produit, sans pilote industriel ni calendrier annoncé. Son poids dépendra des benchmarks publiés, de la comparaison avec les VLA généralistes et diffusion actuels, et d'une validation sur plateformes physiques.

RecherchePaper

1 source

4arXiv cs.RO

Manipulation d'objets déformables en observabilité partielle grâce à l'estimation de forme complète en temps réel

Une équipe de recherche présente cRVAE (conditional récurrent variational autoencoder), un modèle léger capable d'estimer l'état complet d'un objet déformable comme une corde ou un tissu à partir de simples observations partielles de ses coins, sans nécessiter de paramètres physiques en entrée ni d'identification de paramètres en ligne. Décrit dans l'article arXiv:2609.10308v1, ce réseau sert de modèle prédictif dans un cadre de contrôle optimal à horizon glissant pour la manipulation collaborative d'objets déformables en présence d'obstacles. En simulation sur des scénarios de corde et de tissu, cRVAE atteint une précision comparable à celle d'un modèle physique XPBD (Extended Position Based Dynamics) pourtant calibré avec des paramètres identifiés au préalable, tout en étant environ 350 fois plus rapide sur la corde et plus de 1500 fois plus rapide sur le tissu à chaque passe de calcul. Cette vitesse permet de rester sous le budget de contrôle de 100 millisecondes nécessaire à une planification en boucle fermée, un seuil que le modèle XPBD dépasse déjà sur des horizons courts. Les chercheurs ont démontré le système sur un robot quadrupède Unitree Go2. Ce résultat s'attaque à un angle mort persistant de la robotique industrielle : si la manipulation d'objets rigides est largement résolue par des méthodes basées modèle, les objets déformables (câbles, textiles, corde, emballages souples) restent un défi ouvert à cause de leur espace d'état de très haute dimension, de leur dynamique sous-actionnée et de l'observabilité partielle inhérente aux capteurs disponibles. Les simulateurs physiques comme XPBD, très utilisés pour le rendu de tissus et de cordes, exigent une calibration coûteuse par objet et deviennent trop lents pour du contrôle temps réel dès que l'horizon de planification s'allonge. En démontrant qu'un modèle appris peut remplacer cette simulation physique sans perte de précision et sans calibration objet par objet, l'étude lève un obstacle concret au déploiement de manipulateurs sur des tâches comme le routage de câbles, la manutention textile ou l'emballage souple en logistique, où le recalibrage manuel par pièce est impraticable à l'échelle. Le choix d'un robot quadrupède plutôt qu'un bras manipulateur classique suggère aussi une applicabilité à des contextes de manipulation mobile plus larges. La validation reste toutefois circonscrite à la simulation pour la comparaison de précision, et la démonstration matérielle sur Go2 n'est pas détaillée en termes de tâche ni de robustesse. Ce travail s'inscrit dans la lignée des architectures d'autoencodeurs variationnels, ici adaptées en version récurrente et conditionnelle pour l'estimation d'état temporel, et vise spécifiquement à remplacer les moteurs physiques comme XPBD (utilisé notamment dans des environnements de simulation robotique et de jeu) comme modèle prédictif embarqué dans une boucle de contrôle. Il s'agit d'une publication de recherche académique et non d'une annonce produit ou d'un pilote industriel : aucun acteur commercial concurrent n'est cité, et aucun calendrier de déploiement n'est communiqué. Les prochaines étapes logiques, non annoncées dans l'article, porteraient vraisemblablement sur l'extension à d'autres matériaux déformables, à des configurations bimanuelles, et sur des essais matériels plus poussés au-delà de la démonstration initiale sur le Go2.

RecherchePaper

1 source