Aller au contenu principal
DeViGrasp : préhension mobile visuelle robuste pour manipulateurs quadrupèdes en cas de perception dégradée
RecherchearXiv cs.RO 

DeViGrasp : préhension mobile visuelle robuste pour manipulateurs quadrupèdes en cas de perception dégradée

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article publié sur arXiv (2609.22278v1) présente DeViGrasp-Bench et DeViGrasp-Net, un banc d'essai et une méthode pour la préhension mobile des manipulateurs quadrupèdes en cas de perception visuelle dégradée. Le benchmark applique des dégradations contrôlées, occlusions, décrochage du masque de segmentation, bruit de profondeur, instabilité de localisation de la cible, sur des objets connus et inconnus, plusieurs niveaux de difficulté et des terrains complexes. DeViGrasp-Net combine un enseignant privilégié, qui raisonne hors ligne sur des candidats de préhension conditionnés par l'état de l'objet, du robot et de la tâche, et un élève déployable qui fusionne une perception de profondeur segmentée en double vue avec des hypothèses de cible actuelles, mémorisées et de secours, via deux modules nommés Target Hold Memory et Temporal Memory Attention. En configuration Difficult, le taux de réussite atteint 62,3%, soit 16,1 points de plus que VBC et 4,3 de plus qu'une version adaptée de DQ-Net, écart qui grimpe à 10,5 points face à DQ-Net en configuration Hard.

Le travail cible un angle mort de la manipulation mobile : les politiques de contrôle corps entier sont généralement validées sous perception quasi idéale, alors que les déploiements réels exposent caméras et capteurs de profondeur embarqués à des occlusions et du bruit. En formalisant ces dégradations dans un benchmark reproductible plutôt qu'en anecdotes, les auteurs objectivent l'écart entre démonstrations contrôlées et robustesse opérationnelle, un point sensible pour les intégrateurs évaluant des quadrupèdes à bras pour la logistique ou l'inspection industrielle. Le gain provient moins d'une perception brute améliorée que d'une gestion de la mémoire temporelle et de la fiabilité des estimations de cible, ce qui suggère que la robustesse peut s'obtenir par architecture logicielle plutôt que par des capteurs plus coûteux.

L'approche s'inscrit dans la recherche sur les manipulateurs quadrupèdes, robots à pattes équipés d'un bras combinant mobilité tout-terrain et dextérité de préhension, et se positionne explicitement contre deux méthodes de référence, VBC et une adaptation de DQ-Net, qu'elle surpasse sur tous les niveaux de dégradation testés. Il s'agit pour l'instant d'une publication de recherche accompagnée d'un benchmark ouvert, non d'un produit commercialisé : aucun partenaire industriel ni déploiement sur robot physique au-delà de la simulation n'est mentionné, les gains étant confirmés par des études d'ablation. Le benchmark ouvre la voie à des comparaisons futures, alors que les quadrupèdes à bras commencent tout juste à sortir des laboratoires pour des essais pilotes en conditions réelles.

Dans nos dossiers

À lire aussi

Stratégies de préhension pratiques pour la manipulation mobile en environnement réel
1arXiv cs.RO 

Stratégies de préhension pratiques pour la manipulation mobile en environnement réel

Des chercheurs ont publié en avril 2025 sur arXiv (référence 2504.12512) une étude de terrain portant sur SHOPPER, une plateforme de manipulation mobile conçue pour évaluer des stratégies de préhension dans un supermarché réel. L'environnement choisi n'est pas anodin : un magasin d'alimentation impose une diversité extrême d'objets (formes irrégulières, emballages souples, produits réfléchissants), de configurations d'étagères et de layouts changeants. L'équipe a conduit des centaines de tentatives de saisie distinctes et documente en détail les modes de défaillance observés, sans annoncer de taux de réussite global, ce qui tranche avec la communication habituelle du secteur. Ce travail apporte une valeur rare dans la littérature robotique actuelle : une analyse honnête des échecs en conditions non structurées réelles, plutôt qu'une démonstration soigneusement sélectionnée en laboratoire. Le fossé demo-to-reality reste le principal obstacle au déploiement commercial des manipulateurs mobiles, et les auteurs cherchent précisément à le cartographier. Pour un intégrateur ou un décideur industriel, ce type d'inventaire des cas limites est plus exploitable qu'un benchmark contrôlé : il permet de calibrer les attentes sur ce que les pipelines VLA (Vision-Language-Action) et les approches de grasp planning généraliste peuvent réellement délivrer aujourd'hui hors laboratoire. La recherche en manipulation mobile s'est intensifiée ces deux dernières années, portée par des acteurs comme Apptronik, Agility Robotics (Digit) ou Boston Dynamics (Spot avec bras), mais aussi par des startups spécialisées dans le picking retail comme Symbotic ou des robots de supermarché tels que ceux de Focal Systems. Les approches fondées sur l'apprentissage end-to-end (pi0 de Physical Intelligence, RT-2 de Google DeepMind) promettent une généralisation, mais leur robustesse en environnement chaotique reste peu documentée de façon indépendante. SHOPPER s'inscrit dans une démarche de recherche ouverte visant à fournir à la communauté robotique un référentiel de problèmes concrets non résolus, ce qui suggère des publications de suivi et potentiellement un benchmark partagé.

RecherchePaper
1 source
BinWalker : conception et évaluation sur le terrain d'un robot quadrupède manipulateur pour la collecte durable de déchets
2arXiv cs.RO 

BinWalker : conception et évaluation sur le terrain d'un robot quadrupède manipulateur pour la collecte durable de déchets

Des chercheurs du laboratoire DLSLab de l'Istituto Italiano di Tecnologia (IIT) ont présenté BinWalker, une plateforme robotique quadrupède équipée d'un bras manipulateur et d'un conteneur embarqué, conçue pour la collecte autonome de déchets en extérieur. Décrit dans un article publié sur arXiv (référence 2603.10529, version révisée), le système combine la mobilité de la locomotion à pattes avec un module de manipulation permettant de détecter, saisir et stocker des détritus tout en évoluant sur des terrains irréguliers comme les zones côtières, les parcs ou les bas-côtés végétalisés. Les essais ont été menés en conditions réelles extérieures, avec des évaluations sur le terrain destinées à valider l'intégration de la perception, de la locomotion et de la manipulation sur une même plateforme. Le code du projet, nommé trash-collection-isaaclab, a été rendu public sur le dépôt GitHub de l'équipe iit-DLSLab, ce qui suggère un entraînement appuyé sur l'environnement de simulation Isaac Lab de NVIDIA. L'article ne fournit toutefois aucun chiffre précis de charge utile, de degrés de liberté du bras, de temps de cycle ou de volumes traités, restant centré sur une démonstration de faisabilité plutôt que sur des métriques de performance industrielle. Ce travail illustre une tendance de fond dans la robotique de terrain: le recours à des plateformes quadrupèdes, plus aptes que les robots à roues ou les AMR classiques à franchir obstacles, pentes et sols meubles, pour des tâches de service extérieur jusqu'ici réservées à la main-d'œuvre humaine. La collecte de déchets sauvages, aujourd'hui manuelle, coûteuse et chronophage, représente un usage potentiel pour les municipalités, gestionnaires de parcs et opérateurs de nettoyage côtier, mais qui bute sur l'accessibilité des sites. En associant locomotion à pattes et manipulation embarquée sur une seule plateforme, BinWalker teste concrètement la viabilité d'une chaîne complète perception-navigation-préhension en environnement non structuré, un défi encore mal résolu malgré les progrès des modèles vision-langage-action. Pour les intégrateurs, l'intérêt tient moins à un produit prêt à déployer qu'à la preuve que l'architecture quadrupède plus bras reste praticable sur un segment environnemental à faible marge, généralement délaissé au profit d'applications logistiques ou d'inspection industrielle plus rémunératrices. Le projet s'inscrit dans les travaux du DLSLab de l'IIT, laboratoire italien spécialisé dans la locomotion dynamique des robots à pattes, qui publie régulièrement en accès libre, comme en témoigne la mise à disposition du code sur GitHub. BinWalker se positionne sur un créneau distinct des grandes plateformes humanoïdes commerciales telles que Figure 03 ou Optimus, ou des systèmes pilotés par des modèles comme Pi-0, GR00T N2 ou Helix, en misant sur une architecture quadrupède spécialisée plutôt que sur la polyvalence humanoïde générale. Aucun acteur français ou européen du secteur, comme Wandercraft ou Enchanted Tools, n'apparaît dans cette publication, qui reste un travail de recherche académique sans partenariat industriel ni pilote annoncé avec une municipalité. Les suites évoquées portent sur l'amélioration de la robustesse du système en conditions réelles variées, plutôt que sur un calendrier de commercialisation.

UEL'IIT est un institut de recherche italien reconnu en robotique à pattes, mais cette publication reste purement académique, sans partenariat industriel ni pilote municipal annoncé, et n'implique aucun acteur français comme Wandercraft ou Enchanted Tools.

RecherchePaper
1 source
DAWN : parkour robuste au bruit pour quadrupède via des modèles du monde débruiteurs de profondeur
3arXiv cs.RO 

DAWN : parkour robuste au bruit pour quadrupède via des modèles du monde débruiteurs de profondeur

Des chercheurs ont présenté DAWN (Denoising and Alignment in World models for Noise-robustness), un cadre de perception robuste au bruit pour la locomotion des robots à pattes, décrit dans un article publié sur arXiv (2609.29092v1). Testé sur un quadrupède Unitree Go1, le système exécute du parkour en zero-shot, sans réentraînement ni calibration manuelle de filtre au déploiement : franchissement d'escaliers jusqu'à 18 cm, de trous jusqu'à 70 cm et montée de marches jusqu'à 45 cm, à partir de données de profondeur brutes et bruitées. La méthode combine deux mécanismes intégrés au world model : l'encodeur reçoit une image de profondeur bruitée tout en étant entraîné à reconstruire la version propre correspondante, ce qui le force à débruiter implicitement, tandis qu'un apprentissage contrastif aligne les représentations latentes des versions bruitées et propres d'une même scène. DAWN n'est lié à aucun modèle de bruit particulier et n'ajoute aucun coût de calcul par rapport aux méthodes existantes à world model. Des ablations montrent que le débruitage, au niveau de la reconstruction, et l'alignement contrastif, au niveau de la représentation, apportent des gains complémentaires et cumulatifs. Cette approche cible un point faible connu des pipelines de locomotion par vision : entraînés sur des données de profondeur propres, ils dépendent ensuite de filtres de post-traitement réglés à la main dont les paramètres sont rarement publiés, ce qui nuit à la reproductibilité et dégrade les performances quand le bruit n'est pas traité. En supprimant cette calibration manuelle, DAWN réduit la charge d'ingénierie pour les intégrateurs déployant des capteurs de profondeur bon marché ou bruyants sur des terrains réels, et remet en question l'idée qu'un modèle de perception entraîné en simulation nécessite un réglage fin spécifique au capteur pour combler l'écart entre simulation et monde réel. Les résultats restent toutefois démontrés sur une seule plateforme, le Go1, en conditions expérimentales, et non lors d'un déploiement industriel à grande échelle. DAWN prolonge les travaux sur la locomotion par world models et étend à la perception visuelle une robustesse au bruit déjà explorée pour les capteurs proprioceptifs, un axe resté largement inexploité pour la profondeur. Il s'inscrit dans la vague de démonstrations de parkour quadrupède portées ces dernières années par des plateformes comme celles de Unitree et par des laboratoires académiques travaillant sur la locomotion en terrain extrême. Le code et les vidéos ont été publiés sur dawn-parkour.github.io, une démarche de transparence qui tranche avec l'opacité des filtres propriétaires que l'article dénonce. Il s'agit à ce stade d'une contribution de recherche en preprint, sans partenariat industriel ni calendrier de déploiement commercial annoncé.

RecherchePaper
1 source
ActiveArena : benchmarking et compréhension de la perception active en manipulation robotique
4arXiv cs.RO 

ActiveArena : benchmarking et compréhension de la perception active en manipulation robotique

Un nouveau papier de recherche publié sur arXiv (référence 2609.24124v1, soumission de type "new") présente ActiveArena, un ensemble d'outils pour évaluer la perception active en manipulation robotique. Il se compose de trois briques : ActiveArena-Sim, un simulateur à points de vue contrôlables et grands espaces de travail ; ActiveArena-Bench, un benchmark de 35 tâches réparties en 5 catégories couvrant l'exploration visuelle et l'acquisition interactive d'informations, chaque tâche étant conçue pour être insoluble à partir d'une seule observation passive et exigeant plusieurs cycles de collecte de preuves et un raisonnement fondé sur la mémoire ; et ActiveArena-VLA, une suite modulaire de 13 configurations vision-langage-action permettant d'isoler l'effet de l'écriture en mémoire, de la capacité mémoire, des entrées proprioceptives, de la supervision de sous-tâches et de la planification de haut niveau. Le benchmark fournit aussi des annotations de mémoire détaillées, des données d'entraînement standardisées et des protocoles distinguant distribution connue (ID) et hors distribution (OOD), avec scènes disjointes, distracteurs inédits et arrière-plans nouveaux. Les résultats rapportés montrent un écart de performance important entre ID et OOD, confirmant que les systèmes vision-langage-action actuels généralisent mal dès qu'ils sortent des scènes d'entraînement, un doute déjà répandu dans le secteur sur la robustesse réelle des VLA. Le papier identifie toutefois des leviers concrets : un échantillonnage mémoire uniforme, une capacité mémoire accrue couplée à des politiques d'écriture fiables, l'ajout d'entrées proprioceptives et la supervision de sous-tâches améliorent la généralisation OOD, tandis qu'une gestion de la mémoire pilotée par un planificateur permet d'approcher les performances des meilleures configurations avec une mémoire beaucoup plus éparse, donc moins coûteuse en calcul. Pour les équipes qui développent des manipulateurs devant opérer dans des environnements changeants ou partiellement occlus, ce travail fournit un cadre de comparaison objectif, plutôt qu'une nouvelle démonstration isolée. Ce travail s'inscrit dans une évolution plus large des benchmarks de manipulation robotique, qui se déplacent des tests de saisie statique vers des scénarios exigeant exploration active et mémoire persistante, alors que les architectures vision-langage-action se généralisent comme approche de contrôle robotique. Aucune affiliation institutionnelle, aucun partenaire industriel ni date de mise à disposition du code ne sont précisés dans l'annonce : il s'agit d'une contribution académique en amont de tout déploiement, dont l'utilité dépendra de son adoption par la communauté de recherche comme référence pour évaluer les futurs modèles.

RecherchePaper
1 source