Aller au contenu principal
Imitation conditionnée par un plan pour récupérer des objets malgré l'auto-occlusion en encombrement dense
RecherchearXiv cs.RO 

Imitation conditionnée par un plan pour récupérer des objets malgré l'auto-occlusion en encombrement dense

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent TRACE, un cadre d'imitation conditionnée par un plan, conçu pour extraire un objet d'un encombrement dense lorsque le bras robotique masque lui-même les objets qu'il déplace. Le système initialise un jumeau numérique à partir d'une seule observation non occultée. Un enseignant privilégié, qui accède à l'état complet de la scène simulée, y génère une trajectoire nominale fixe. Un étudiant récurrent combine le contexte local de cette trajectoire, des observations partielles des objets et la proprioception pour choisir des actions qui corrigent les écarts par rapport à la prédiction. Le clonage comportemental initialise l'étudiant, puis DAgger l'affine avec des étiquettes de l'enseignant sur les états réellement visités par l'étudiant. En simulation, sur 511 scènes de test, TRACE atteint 90,7 % de succès, contre 43,4 % pour la simple relecture de la trajectoire nominale et 96,7 % pour l'enseignant en boucle fermée. À budget égal de 26 373 étiquettes, la supervision sur les états de l'étudiant donne 87,8 %, contre 66,7 % pour le clonage des seules démonstrations expertes. Sur un UR5e, le taux de succès est de 90,0 %, contre 95,0 % pour l'enseignant, et le temps d'exécution total passe de 192,7 s à 67,3 s.

L'intérêt tient à ce que le résultat cible un goulot concret de la manipulation en environnement encombré : les retraits répétés du bras pour retrouver de la visibilité. L'enseignant en boucle fermée en impose en moyenne 16,8 par essai pendant la poussée, ce qui explique l'essentiel de l'écart de durée. TRACE les évite et ne conserve qu'un retrait final pour évaluer la saisissabilité de l'objet. Pour un intégrateur, le gain d'un facteur 2,9 sur le temps de cycle, pour une perte de cinq points de succès, est le compromis à retenir. Le déploiement ne requiert ni requêtes à l'enseignant ni simulations en ligne pendant la poussée, ce qui allège les contraintes de calcul embarqué. L'expérience montre aussi que l'échantillonnage sur les états de l'étudiant apporte un gain au-delà du seul nombre d'étiquettes, un argument en faveur de DAgger face au clonage pur. Les réserves sont classiques : l'échantillon réel (probablement 20 essais, d'après les pourcentages) est mince, un seul bras est testé, et la méthode suppose une première vue dégagée pour construire le jumeau numérique.

Ces travaux s'inscrivent dans la lignée des approches enseignant-étudiant avec information privilégiée, déjà courantes en locomotion et en manipulation, ici appliquées au cas précis de l'auto-occultation. Ils se distinguent des politiques généralistes de type VLA (vision-langage-action), comme Pi-0 ou GR00T, qui visent la généralité plutôt que la robustesse sur une tâche étroite. Il s'agit d'une prépublication arXiv sans produit ni déploiement industriel annoncé. Les auteurs promettent de publier code et données sur trace-retrieval.github.io, ce qui permettra de vérifier les résultats. Les suites logiques seraient de tester d'autres bras et d'autres densités d'encombrement, puis de traiter des scènes où l'observation initiale est elle-même partiellement occultée, condition plus proche des applications de picking en entrepôt.

À lire aussi

Apprentissage par imitation conditionné par phase avec récupération autonome d'échec pour la manipulation robuste d'objets déformables
1arXiv cs.RO 

Apprentissage par imitation conditionné par phase avec récupération autonome d'échec pour la manipulation robuste d'objets déformables

Des chercheurs ont publié le 29 mai 2026 un article (arXiv:2605.29407) présentant un système robotique capable de manipuler des objets déformables, comme des vêtements, avec une récupération autonome en cas d'échec. Le système, baptisé PHASER, repose sur une architecture hiérarchique en boucle fermée : un encodeur ACT (Action Chunking with Transformers) conditionné via FiLM (Feature-wise Linear Modulation) adapte l'extraction de features selon la phase courante de la tâche, permettant à une politique unifiée de produire des comportements distincts à chaque étape sans dupliquer les modèles. Un prédicteur de phase multimodal fusionne retour visuel, force et pose en temps réel pour estimer l'état courant et détecter les échecs de contact invisibles à la caméra. Un contrôleur d'impédance hybride assure l'exécution compliante. Validé sur la tâche d'accrochage et de retrait d'un T-shirt en manipulation bimanuelle, le système fait passer le taux de succès de 56 % à 87 % grâce à la récupération autonome des erreurs. Ce résultat est notable car la manipulation d'objets déformables reste un des verrous les plus résistants de la robotique industrielle et domestique : les propriétés mécaniques imprévisibles du tissu rendent caduques les approches rigides classiques. Le problème de state aliasing, où des observations visuellement similaires exigent des actions contradictoires selon la phase, sabote les politiques d'imitation standard en inférence markovienne. En conditionnant la politique sur la phase estimée plutôt que sur l'observation brute, et en intégrant le retour de force comme signal de détection d'anomalie, les auteurs montrent qu'il est possible de construire un pipeline sim-to-real sans oracle externe. Les études d'ablation confirment que le conditionnement FiLM surpasse significativement les baselines non conditionnées et celles à token-level, et l'analyse t-SNE valide que les représentations apprises sont bien séparées par phase. L'approche s'inscrit dans la lignée des travaux sur l'imitation learning pour la manipulation dextre, notamment ACT (Chi et al., 2023) et les Diffusion Policies, qui peinent sur les objets non rigides. Elle se distingue des frameworks VLA (Vision-Language-Action) à grande échelle, comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui misent sur la généralisation par préentraînement massif plutôt que sur la structure de la tâche. PHASER adopte une stratégie inverse : contrainte forte sur la structure de phase, données limitées, récupération explicite. Les auteurs publient le code et les vidéos en open access. Les prochaines étapes naturelles incluent l'extension à d'autres classes de vêtements et la réduction de la dépendance à l'interface de télé-opération haptique pour la collecte de données d'entraînement.

RecherchePaper
1 source
Ondes de manipulation : un réseau delta couplé par membrane pour déplacer des objets plus petits que l'espacement des actionneurs
2arXiv cs.RO 

Ondes de manipulation : un réseau delta couplé par membrane pour déplacer des objets plus petits que l'espacement des actionneurs

Des chercheurs ont mis au point une surface manipulatrice qui couple les effecteurs d'un réseau de 8 x 8 robots delta à trois degrés de liberté (64 actionneurs au total) avec un tissu extensible. L'écart entre centres d'actionneurs est de 43,3 mm. Dans un système de manipulation distribuée classique, un objet doit reposer sur plusieurs actionneurs simultanément, ce qui fixe une taille minimale d'objet manipulable. Le tissu transforme ces 64 contacts discrets en surface continue, et la plateforme déplace des objets de 15 à 90 mm sur une même surface, soit un rapport de six, de part et d'autre de l'espacement des actionneurs. Les auteurs traitent le réseau comme un champ de déplacement et en tirent deux primitives de manipulation : des champs quasi-statiques locaux et des champs cycliques (ondulations). Elles peuvent s'appliquer à tout le réseau ou se limiter au voisinage de chaque objet suivi, ce qui permet d'en déplacer plusieurs en parallèle et de façon indépendante. Une politique apprise agit sur les coefficients basse fréquence d'une transformée en cosinus discrète. À dimension d'action égale, piloter un voisinage de dix-neuf robots delta réduit de moitié l'erreur de placement par rapport au pilotage de l'ensemble du réseau. Cette politique est transférée sur le matériel sans adaptation, avec 76 % de réussite. L'intérêt tient à ce que le pas des actionneurs cesse d'être la limite de la miniaturisation des surfaces actives. Jusqu'ici, manipuler de petits objets demandait de densifier le réseau, donc de multiplier les actionneurs, le câblage et les coûts. Une couche mécanique passive, ici un simple tissu, contourne ce compromis. Le résultat sur le transfert simulation-réel est aussi notable : une politique entraînée en simulation fonctionne sur le matériel sans réglage supplémentaire. Le taux de 76 % reste toutefois une mesure de laboratoire, obtenue sur une seule plateforme. Le résumé ne précise ni la nature des objets, ni la vitesse, ni la répétabilité, ni la charge admissible. Pour des intégrateurs, les applications évidentes seraient le tri, l'alignement ou le positionnement de petites pièces ou de composants fragiles (électronique, pharmacie, agroalimentaire) sans préhenseur dédié. Ce travail n'est pour l'instant qu'une preuve de concept académique et ne constitue ni un produit ni un déploiement industriel. Ces travaux prolongent les recherches sur les systèmes de manipulation distribuée, qui reposent sur des réseaux d'actionneurs (convoyeurs à cellules, tables à jets d'air ou à roues omnidirectionnelles, grilles de robots delta) et butent depuis longtemps sur ce plancher de taille. Des acteurs européens comme Exotec ou Pollen Robotics travaillent sur d'autres approches de la manutention, mais ne sont pas cités ici. Les prochaines étapes probables sont des tests sur des objets de formes et de matériaux variés, un passage à des réseaux plus grands et une évaluation sur de vraies tâches de tri ou d'assemblage. Aucun calendrier, partenaire industriel ni prix n'a été annoncé dans le résumé de l'étude.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
OccPlanner : planificateur par diffusion conditionné par l'occupation pour la navigation vers un objectif visuel
3arXiv cs.RO 

OccPlanner : planificateur par diffusion conditionné par l'occupation pour la navigation vers un objectif visuel

OccPlanner, un planificateur de navigation robotique conditionné par occupation 3D, cible la navigation "pixel-goal" : l'objectif est désigné directement dans l'image caméra du robot, sans profondeur métrique ni information de franchissabilité fournie a priori. Présenté dans un article arXiv (référence 2608.14160v1), le système ancre ce pixel-cible dans un espace métrique égocentrique en le conditionnant séquentiellement sur le contexte visuel temporel et des caractéristiques d'occupation locale 3D apprises. Les auteurs introduisent également L3ROcc, une méthode qui convertit des vidéos de navigation RGB monoculaires en annotations d'occupation 3D locale centrées robot, via reconstruction géométrique et raisonnement de visibilité par lancer de rayons. Entraîné sur le jeu de données InternData-N1 et évalué en simulation "closed-loop" sur quatre catégories de scènes inédites issues d'InternScenes, OccPlanner fait passer le taux de succès moyen de 20,81% à 71,55% par rapport à la méthode de référence NavDP sur des distances-cibles de 5 à 8 mètres, atteignant 86,20% et 84,92% dans des scènes encombrées faciles et difficiles respectivement. Des essais réels en boucle ouverte sur un robot quadrupède Unitree Go2 apportent des indices préliminaires de transfert simulation-vers-réel. Ce résultat s'attaque à un verrou concret de la navigation robotique par vision : transformer un simple pixel désigné dans une image en objectif de déplacement sûr et atteignable, sans capteur de profondeur dédié ni carte préalable. Le gain de performance rapporté, un triplement du taux de succès face à une méthode existante, suggère que la modélisation explicite de l'occupation 3D locale comble une partie du fossé entre perception 2D et planification 3D continue, un problème central pour les intégrateurs qui déploient des robots mobiles autonomes (AMR) en environnements encombrés et changeants. Reste que les résultats en conditions réelles se limitent à des essais en boucle ouverte sur une seule plateforme, le Go2 de Unitree, ce qui constitue une preuve de concept plutôt qu'une validation de déploiement opérationnel. Ce travail s'inscrit dans la lignée des recherches en navigation guidée par langage ou par image, où la comparaison avec NavDP sert de référence de performance existante dans le domaine. Il s'appuie sur des jeux de données de simulation à grande échelle, InternData-N1 pour l'entraînement et InternScenes pour l'évaluation, reflétant une tendance du secteur à générer des données d'entraînement synthétiques massives plutôt que de dépendre uniquement de captures réelles coûteuses. La prochaine étape naturelle, non couverte par cette publication, consisterait à valider le système en boucle fermée sur robot physique et sur davantage de plateformes matérielles avant d'envisager une intégration industrielle.

RecherchePaper
1 source
Engagement sélectif pour la récupération d'objets guidée par le langage en observabilité partielle
4arXiv cs.RO 

Engagement sélectif pour la récupération d'objets guidée par le langage en observabilité partielle

Un article publié sur arXiv (référence 2609.23131v1, catégorie "nouveau") présente un système robotique en boucle fermée destiné à retrouver un objet désigné en langage naturel par rapport à un contenant de référence, dans des scènes partiellement observables. À chaque étape, le système arbitre entre quatre options: recueillir davantage de preuves visuelles, interagir avec la scène, saisir un candidat, ou s'abstenir. Il maintient une croyance conjointe persistante sur l'identité de la cible, sa relation au contenant et sa présence, structurée en trois hypothèses (objet suivi, cible non observée, cible absente), mise à jour par des observations catégorielles issues d'un modèle vision-langage (VLM) conditionnées par le point de vue. L'éligibilité de la prise est calibrée par prédiction conforme et combinée à la faisabilité robotique pour décider du moment de l'engagement, tandis qu'une planification en espace de croyances à horizon fini sélectionne les actions de collecte d'information. Sur cinq scénarios simulés, la méthode réussit 19 épisodes sur 25, contre 12 sur 25 pour la meilleure référence adaptée à la tâche, et c'est la seule politique testée à obtenir au moins une réussite dans chacun des cinq scénarios. Des essais sur robot réel montrent une ré-observation en boucle fermée et une récupération autonome après des échecs de prise provoqués artificiellement, mais des échecs de point de vue injectés se traduisent par de faux abandons, le robot renonçant à tort. Ces résultats s'adressent directement à un problème connu de la manipulation robotique en logistique et en intralogistique: la plupart des systèmes actuels supposent une observabilité quasi complète de la scène, ce qui s'effondre dès qu'un objet est partiellement occulté dans un bac ou un tiroir. En formalisant explicitement le choix entre agir, observer davantage ou renoncer, ce travail illustre une piste pour réduire les échecs silencieux des pipelines vision-langage-action (VLA) déployés en conditions réelles, où la confiance mal calibrée d'un modèle mène souvent à des prises ratées plutôt qu'à un report prudent. Les auteurs notent toutefois eux-mêmes une limite importante: leurs ablations montrent que le système complet ne surpasse pas systématiquement des variantes simplifiées, ce qui nuance la promesse d'un gain automatique lié à la complexité du cadre proposé. Ce travail s'inscrit dans la lignée des recherches académiques sur la prise de décision sous incertitude en robotique de manipulation, à la croisée des modèles vision-langage et de la planification bayésienne, sans lien annoncé avec un produit commercial ou un déploiement industriel. Il reste à ce stade au niveau de la validation en simulation complétée par des essais limités sur robot physique, et non un système prêt à l'emploi. Les auteurs ne mentionnent ni partenariat industriel ni calendrier de transfert vers une plateforme commerciale, ce qui distingue clairement cette contribution des annonces produit du secteur des humanoïdes ou des bras robotiques en entrepôt.

RecherchePaper
1 source