RecherchearXiv cs.RO 14 septembre 2026

OA-NBV : planification de vues sensible aux occlusions pour la perception active centrée sur l'humain de robots mobiles

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent OA-NBV (Occlusion-Aware Next-Best-View Planning), un pipeline de planification de point de vue pour robots mobiles confrontés à une personne partiellement masquée par des obstacles, publié sur arXiv sous la référence 2603.11072, en version 2 remplaçant une publication antérieure. Le système évalue les points de vue candidats accessibles au robot à l'aide d'un modèle de visibilité centré sur la cible, qui intègre l'occlusion, l'échelle de la personne dans le champ visuel et la complétude de l'observation. Les auteurs rapportent un taux de réussite supérieur à 90% en simulation comme en essais réels, alors que les méthodes NBV de référence se dégradent nettement dès qu'une occlusion survient. Comparé au meilleur de ces baselines, OA-NBV augmente la surface normalisée occupée par la cible d'au moins 81% et la visibilité des points clés du corps, utilisés pour l'estimation de posture, d'au moins 58%, selon les configurations testées.

L'enjeu dépasse la démonstration en laboratoire: recherche et sauvetage, triage d'urgence et intervention post-catastrophe se déroulent justement dans des environnements encombrés où la visibilité partielle dégrade la détection de personnes ou l'estimation de pose en aval. Or la plupart des méthodes NBV existantes optimisent une exploration générique ou une couverture à long horizon, sans viser l'objectif immédiat d'obtenir une seule vue exploitable d'une personne cachée sous des contraintes de mouvement réelles. En ciblant ce cas d'usage plus étroit, OA-NBV se présente comme un module de sélection de point de vue intégrable à diverses tâches de perception centrées sur l'humain sans refonte de la chaîne d'autonomie, un argument qui parle directement aux intégrateurs confrontés au même écart entre couverture générique et besoin réel de perception.

Le travail s'inscrit dans la lignée des recherches sur le Next-Best-View, historiquement tournées vers l'exploration ou la reconstruction 3D générique, dont OA-NBV se démarque en ciblant la perception active centrée sur l'humain. Ses méthodes de référence sont explicitement présentées comme des approches NBV standards qui échouent dès que l'occlusion s'installe, l'écart précis que la contribution cherche à combler. Il s'agit pour l'instant d'une publication de recherche, un preprint arXiv en version 2, sans plateforme, entreprise ni calendrier de déploiement mentionnés dans le texte, son adoption dépendant d'une intégration dans des piles logicielles existantes et de validations sur d'autres morphologies de robots et des occlusions plus denses que celles testées.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Évaluation de l'état de préhension centrée sur l'humain : transférer l'évaluation subjective aux robots

Des chercheurs détaillent dans une prépublication arXiv (2609.17540, mise en ligne mi-septembre 2026) un framework qui transféré a un robot le jugement subjectif qu'un humain porte sur la qualité d'une prise appliquée a un objet déformable. Le système associe un modèle vision-langage (VLM), charge de générer semi-automatiquement des labels de supervision, a un prédicteur léger d'état de prise : a partir d'un très petit nombre d'essais annotes manuellement par des humains, utilises comme ancres contextuelles, le VLM propage ce jugement a de larges volumes de données non annotées. Une fois entraine, le prédicteur estime en continu, a partir de mesures tactiles et de force de préhension en série temporelle, si la prise est trop laxiste ou trop serrée, et permet un ajustement rapide de la force en ligne. La méthode a été validée sur trois objets déformables représentatifs, avec une étude d'évaluation humaine réunissant 25 participants charges de juger l'adéquation entre les ajustements du robot et leur propre perception d'une prise appropriée. L'enjeu vise un angle mort connu de la manipulation robotique : saisir un objet déformable (tissu, sac souple, aliment, composant fragile) reste bien plus difficile a automatiser que saisir un objet rigide, car le critère de réussite n'est pas géométrique mais dépend d'un jugement humain qualitatif difficile a formaliser. Les approches de deep learning classiques butent sur ce problème car elles exigent un volume prohibitif d'annotations manuelles pour chaque nouvel objet, ce qui freine leur déploiement dans des environnements industriels varies comme la logistique ou l'agroalimentaire. En réduisant ce besoin d'annotation grâce a un VLM utilise comme générateur de supervision plutôt que comme pilote direct du robot, ce travail illustre une piste distincte de l'approche "VLA de bout en bout" popularisée par des systèmes comme Pi-0, GR00T N2 ou Helix. Ce travail relève de la recherche académique plutôt que d'un produit commercial : il s'agit d'une simple prépublication arXiv, sans partenaire industriel ni déploiement annonce, et les auteurs limitent eux-mêmes leurs conclusions a un cadre expérimental restreint a trois objets. La contribution se positionne comme une brique complémentaire aux modèles de manipulation généralistes actuellement pousses par les laboratoires de robotique humanoïde et industrielle, en ciblant un problème souvent absent des démonstrations grand public : l'ajustement fin de la force de préhension sur des matières molles. Les étapes suivantes attendues pour ce type d'approche consisteraient a étendre la validation a davantage d'objets et de morphologies de robots avant d'envisager un transfert vers des applications industrielles réelles.

RecherchePaper

1 source

2arXiv cs.RO

MobileOcc : un jeu de données d'occupation sémantique sensible à l'humain pour robots mobiles

Une équipe de recherche publie MobileOcc, un jeu de données d'occupation sémantique 3D pour robots mobiles opérant en environnements piétons denses, un scénario peu couvert comparativement à la conduite autonome. L'article, référencé arXiv 2511.16949, décrit un pipeline d'annotation combinant occupation d'objets statiques et un nouveau cadre d'optimisation de maillage pour les humains : leur géométrie déformable est reconstruite à partir d'images 2D puis affinée avec des points LiDAR associés. Le jeu de données alimente deux benchmarks, la prédiction d'occupation et la prédiction de vitesse des piétons, testés avec des méthodes monoculaires, stéréo et panoptiques dotées de métriques et d'implémentations de référence reproductibles. La méthode d'annotation est aussi validée sur des jeux de données d'estimation de pose humaine 3D, avec des résultats jugés robustes ; le code et les données sont publiés sur autonomousrobots.nl. La perception d'occupation dense est une brique critique pour la navigation sécurisée des robots mobiles au contact d'humains, en entrepôt, en hôpital ou en espace public, où anticiper position et mouvement d'un piéton conditionne l'évitement de collision. La plupart des jeux de données d'occupation 3D existants visaient l'automobile, avec des scènes routières peu représentatives des couloirs et halls parcourus par les robots de service. Modéliser les humains comme des objets déformables plutôt que comme de simples boîtes englobantes, et publier des baselines multi-capteurs reproductibles, comble un manque de standardisation qui facilitera la comparaison des systèmes de perception chez les intégrateurs. Ce travail s'inscrit dans une tendance de transfert des techniques de perception nées pour la conduite autonome vers la robotique mobile et humanoïde, à mesure que LiDAR et architectures d'occupation 3D se banalisent. MobileOcc reste un jeu de données et un protocole d'évaluation académiques, sans déploiement industriel annoncé, et il s'agit d'une version corrigée de la publication initiale sur arXiv. L'ouverture du code et des données vise à établir une référence que d'autres laboratoires pourront reprendre pour comparer leurs modèles de perception en environnement piéton, chantier ouvert tant pour la recherche que pour de futurs usages commerciaux en robotique de service.

RecherchePaper

1 source

3arXiv cs.RO

Réception centrée sur le destinataire pour la remise robot-humain avec orientation d'objet sensible à la préhension

Des chercheurs ont présenté un système de transmission d'outils robot-humain centré sur le receveur, piloté par la voix, construit sur un bras collaboratif Franka Emika à sept degrés de liberté, plateforme cobot largement utilisée en recherche robotique. Le système combine un grand modèle de langage (LLM) pour la reconnaissance d'intention, c'est-à-dire comprendre quel outil l'opérateur demande et comment il compte le saisir, avec MediaPipe pour le suivi 3D de la main en temps réel. À partir de ces données, l'effecteur terminal ajuste dynamiquement son orientation pour présenter l'outil poignée en avant, dans une pose jugée ergonomiquement optimale, plutôt que dans une orientation fixe prédéfinie. Les auteurs ont mené une étude intra-sujets comparant cette approche adaptative à une référence statique agnostique à l'objet, sur des outils industriels asymétriques, ceux dont la forme rend la prise malaisée si l'orientation de présentation ne correspond pas à la façon naturelle de les empoigner. Les résultats indiquent que le système adaptatif réduit le délai de préhension pour ces outils asymétriques et améliore la fluidité de l'interaction, ainsi que certaines perceptions liées à la confiance, notamment la prévisibilité du mouvement et la simplicité perçue de la tâche. L'abstract ne détaille pas de chiffres précis (nombre de participants, pourcentage de gain), ce qui invite à la prudence sur l'ampleur réelle de l'effet. L'enjeu dépasse le confort ponctuel: la transmission d'outils est une micro-interaction sécuritaire critique dans les cellules collaboratives humain-robot, et les systèmes statiques actuels, qui ignorent la géométrie de l'objet, produisent régulièrement des prises maladroites voire dangereuses avec des outils asymétriques comme des tournevis ou des pinces. Pour les intégrateurs industriels et les concepteurs de cobots, cette étude illustre une piste concrète pour fiabiliser les interactions main-à-main sur ligne de production, en s'appuyant sur des briques déjà matures, LLM pour l'intention, vision par ordinateur pour le suivi de main, plutôt que sur des capteurs dédiés coûteux. Le travail s'inscrit dans un champ de recherche actif sur le handover robot-humain, où les approches précédentes reposaient surtout sur la vision pour estimer la pose de préhension sans intégrer la voix ni une compréhension sémantique de l'intention via LLM. Le choix du bras Franka, standard de facto dans les laboratoires académiques, facilite la reproductibilité mais souligne aussi le stade encore expérimental de la démonstration, un preprint arXiv sans mention de déploiement industriel ni de partenaire commercial. Les suites logiques attendues seraient une validation sur un plus large panel d'outils et d'opérateurs, ainsi qu'une soumission à une conférence en robotique ou interaction humain-robot.

RecherchePaper

1 source

4arXiv cs.RO

Retrouver la vue : évaluation de la vision active physique pour surmonter les occlusions en manipulation robotique

Des chercheurs publient sur arXiv (2609.37292) BAVO-Bench, un benchmark de vision active bimanuelle (Bimanual Active Vision under Occlusion), accompagné d'une politique de contrôle baptisée A-FAR (Active Future-Aware Recovery). Le benchmark contrôle systématiquement la visibilité externe selon trois conditions : Clean (sans occultation), Stage Occlusion (occultation liée à une étape de la tâche) et Random-time Occlusion (occultation à un instant aléatoire). Il permet ainsi d'évaluer à la fois la performance de manipulation et la capacité du robot à retrouver une vue exploitable en déplaçant sa caméra. A-FAR pilote conjointement le point de vue et la manipulation. Elle exprime les observations d'une caméra mobile dans un repère 3D unique centré sur le robot. Elle distille ensuite, depuis un modèle 4D pré-entraîné, la structure relationnelle de la scène et son évolution future. La politique bénéficie donc d'un guidage géométrique anticipatif sans avoir besoin d'observations futures au déploiement. Les auteurs annoncent, sur plusieurs tâches de manipulation, une meilleure robustesse face aux occultations structurées et décalées dans le temps, avec des performances maintenues en conditions propres. Le résumé ne chiffre pas ces gains. Le point de départ est un angle mort des évaluations actuelles. La plupart des benchmarks de manipulation supposent une caméra fixe ou des vues fiables. Ils testent donc peu la façon dont une politique se rétablit quand une observation utile disparaît en cours d'exécution, par exemple derrière un bras, un objet ou un opérateur. Or c'est fréquent en atelier ou en logistique, où les caméras montées sur le robot ou sur des poteaux sont régulièrement masquées. Un cadre reproductible qui sépare occultation liée à la tâche et occultation aléatoire donne aux équipes VLA et imitation learning un moyen comparable de mesurer cette robustesse. Le choix d'un dispositif bimanuel, proche des plateformes de téléopération à bas coût et des humanoïdes, en accroît la pertinence. Il faut toutefois rester prudent : il s'agit d'un travail académique, apparemment évalué en simulation ou en environnement contrôlé, sans déploiement industriel ni chiffres de taux de réussite dans le résumé. Il ne dit rien de l'écart entre démonstration et réalité. Ce travail s'inscrit dans le courant de la perception active et des politiques conditionnées par la géométrie, qui cherche à dépasser les VLA entraînés sur des vues quasi statiques. L'usage d'un modèle 4D pré-entraîné comme « enseignant » relève d'une logique de distillation : la connaissance de la dynamique spatio-temporelle est intégrée à l'entraînement pour éviter un coût de calcul supplémentaire à l'inférence. Les suites logiques sont la publication du code et des données du benchmark, la comparaison avec des politiques généralistes comme Pi-0 ou GR00T, puis la validation sur robot réel avec caméra poignet ou tête mobile. Cette dernière étape déterminera si l'approche dépasse le cadre de l'évaluation académique.

RecherchePaper

1 source