RecherchearXiv cs.RO 21 juillet 2026

Réception centrée sur le destinataire pour la remise robot-humain avec orientation d'objet sensible à la préhension

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont présenté un système de transmission d'outils robot-humain centré sur le receveur, piloté par la voix, construit sur un bras collaboratif Franka Emika à sept degrés de liberté, plateforme cobot largement utilisée en recherche robotique. Le système combine un grand modèle de langage (LLM) pour la reconnaissance d'intention, c'est-à-dire comprendre quel outil l'opérateur demande et comment il compte le saisir, avec MediaPipe pour le suivi 3D de la main en temps réel. À partir de ces données, l'effecteur terminal ajuste dynamiquement son orientation pour présenter l'outil poignée en avant, dans une pose jugée ergonomiquement optimale, plutôt que dans une orientation fixe prédéfinie. Les auteurs ont mené une étude intra-sujets comparant cette approche adaptative à une référence statique agnostique à l'objet, sur des outils industriels asymétriques, ceux dont la forme rend la prise malaisée si l'orientation de présentation ne correspond pas à la façon naturelle de les empoigner. Les résultats indiquent que le système adaptatif réduit le délai de préhension pour ces outils asymétriques et améliore la fluidité de l'interaction, ainsi que certaines perceptions liées à la confiance, notamment la prévisibilité du mouvement et la simplicité perçue de la tâche. L'abstract ne détaille pas de chiffres précis (nombre de participants, pourcentage de gain), ce qui invite à la prudence sur l'ampleur réelle de l'effet.

L'enjeu dépasse le confort ponctuel: la transmission d'outils est une micro-interaction sécuritaire critique dans les cellules collaboratives humain-robot, et les systèmes statiques actuels, qui ignorent la géométrie de l'objet, produisent régulièrement des prises maladroites voire dangereuses avec des outils asymétriques comme des tournevis ou des pinces. Pour les intégrateurs industriels et les concepteurs de cobots, cette étude illustre une piste concrète pour fiabiliser les interactions main-à-main sur ligne de production, en s'appuyant sur des briques déjà matures, LLM pour l'intention, vision par ordinateur pour le suivi de main, plutôt que sur des capteurs dédiés coûteux.

Le travail s'inscrit dans un champ de recherche actif sur le handover robot-humain, où les approches précédentes reposaient surtout sur la vision pour estimer la pose de préhension sans intégrer la voix ni une compréhension sémantique de l'intention via LLM. Le choix du bras Franka, standard de facto dans les laboratoires académiques, facilite la reproductibilité mais souligne aussi le stade encore expérimental de la démonstration, un preprint arXiv sans mention de déploiement industriel ni de partenaire commercial. Les suites logiques attendues seraient une validation sur un plus large panel d'outils et d'opérateurs, ainsi qu'une soumission à une conférence en robotique ou interaction humain-robot.

Dans nos dossiers

Cobots & robots collaboratifs arXiv cs.RO

À lire aussi

1arXiv cs.RO

Remise d'objet robot-humain : étude comparative sur l'orientation et la direction d'approche adaptatives

Des chercheurs ont publié sur arXiv (référence 2604.22378) un framework adaptatif de remise d'objet robot-à-humain qui ajuste dynamiquement la pose de livraison en temps réel, en fonction de la posture de la main de l'opérateur et de la tâche à effectuer ensuite. Contrairement aux systèmes à boucle ouverte qui imposent une orientation fixe, ce système couple une estimation de pose de la main par IA à des trajectoires cinématiquement contraintes, garantissant une approche sécurisée et une orientation optimale à la prise. Une étude utilisateur comparative a été menée sur plusieurs tâches, mesurant à la fois des métriques subjectives (NASA-TLX pour la charge cognitive, Human-Robot Trust Scale pour la confiance perçue) et des données physiologiques objectives via des eye-trackers portables mesurant le taux de clignement des yeux, indicateur validé de stress cognitif. Les résultats montrent que l'alignement dynamique réduit significativement la charge cognitive et le stress physiologique des opérateurs, tout en augmentant leur confiance dans la fiabilité du robot. C'est un résultat concret pour les intégrateurs industriels : la majorité des bras collaboratifs déployés aujourd'hui livrent les objets avec une orientation arbitraire ou prédéfinie, contraignant le worker à corriger la prise, ce qui génère de la fatigue et allonge les temps de cycle. Un système capable d'adapter la pose de remise à l'intention de l'opérateur pourrait réduire les TMS et améliorer le débit sur les lignes d'assemblage à forte interaction humain-robot. Ce travail s'inscrit dans un champ de recherche actif en HRI (Human-Robot Interaction) où la plupart des travaux antérieurs adaptaient seulement la position de livraison, sans tenir compte de l'orientation ni de la tâche aval. Le preprint ne mentionne pas d'industriel partenaire ni de robot commercial spécifique, et les tests restent en environnement contrôlé, le gap lab-to-floor n'est pas encore adressé. Les prochaines étapes naturelles seraient une validation sur plateforme réelle (UR, Franka, ou bras intégré à un humanoïde), et une extension aux environnements bruités où l'estimation de pose de main est moins robuste. Aucun acteur français n'est cité dans ce travail.

RecherchePaper

1 source

2arXiv cs.RO

OA-NBV : planification de vues sensible aux occlusions pour la perception active centrée sur l'humain de robots mobiles

Des chercheurs présentent OA-NBV (Occlusion-Aware Next-Best-View Planning), un pipeline de planification de point de vue pour robots mobiles confrontés à une personne partiellement masquée par des obstacles, publié sur arXiv sous la référence 2603.11072, en version 2 remplaçant une publication antérieure. Le système évalue les points de vue candidats accessibles au robot à l'aide d'un modèle de visibilité centré sur la cible, qui intègre l'occlusion, l'échelle de la personne dans le champ visuel et la complétude de l'observation. Les auteurs rapportent un taux de réussite supérieur à 90% en simulation comme en essais réels, alors que les méthodes NBV de référence se dégradent nettement dès qu'une occlusion survient. Comparé au meilleur de ces baselines, OA-NBV augmente la surface normalisée occupée par la cible d'au moins 81% et la visibilité des points clés du corps, utilisés pour l'estimation de posture, d'au moins 58%, selon les configurations testées. L'enjeu dépasse la démonstration en laboratoire: recherche et sauvetage, triage d'urgence et intervention post-catastrophe se déroulent justement dans des environnements encombrés où la visibilité partielle dégrade la détection de personnes ou l'estimation de pose en aval. Or la plupart des méthodes NBV existantes optimisent une exploration générique ou une couverture à long horizon, sans viser l'objectif immédiat d'obtenir une seule vue exploitable d'une personne cachée sous des contraintes de mouvement réelles. En ciblant ce cas d'usage plus étroit, OA-NBV se présente comme un module de sélection de point de vue intégrable à diverses tâches de perception centrées sur l'humain sans refonte de la chaîne d'autonomie, un argument qui parle directement aux intégrateurs confrontés au même écart entre couverture générique et besoin réel de perception. Le travail s'inscrit dans la lignée des recherches sur le Next-Best-View, historiquement tournées vers l'exploration ou la reconstruction 3D générique, dont OA-NBV se démarque en ciblant la perception active centrée sur l'humain. Ses méthodes de référence sont explicitement présentées comme des approches NBV standards qui échouent dès que l'occlusion s'installe, l'écart précis que la contribution cherche à combler. Il s'agit pour l'instant d'une publication de recherche, un preprint arXiv en version 2, sans plateforme, entreprise ni calendrier de déploiement mentionnés dans le texte, son adoption dépendant d'une intégration dans des piles logicielles existantes et de validations sur d'autres morphologies de robots et des occlusions plus denses que celles testées.

RecherchePaper

1 source

3arXiv cs.RO

Évaluation de l'état de préhension centrée sur l'humain : transférer l'évaluation subjective aux robots

Des chercheurs détaillent dans une prépublication arXiv (2609.17540, mise en ligne mi-septembre 2026) un framework qui transféré a un robot le jugement subjectif qu'un humain porte sur la qualité d'une prise appliquée a un objet déformable. Le système associe un modèle vision-langage (VLM), charge de générer semi-automatiquement des labels de supervision, a un prédicteur léger d'état de prise : a partir d'un très petit nombre d'essais annotes manuellement par des humains, utilises comme ancres contextuelles, le VLM propage ce jugement a de larges volumes de données non annotées. Une fois entraine, le prédicteur estime en continu, a partir de mesures tactiles et de force de préhension en série temporelle, si la prise est trop laxiste ou trop serrée, et permet un ajustement rapide de la force en ligne. La méthode a été validée sur trois objets déformables représentatifs, avec une étude d'évaluation humaine réunissant 25 participants charges de juger l'adéquation entre les ajustements du robot et leur propre perception d'une prise appropriée. L'enjeu vise un angle mort connu de la manipulation robotique : saisir un objet déformable (tissu, sac souple, aliment, composant fragile) reste bien plus difficile a automatiser que saisir un objet rigide, car le critère de réussite n'est pas géométrique mais dépend d'un jugement humain qualitatif difficile a formaliser. Les approches de deep learning classiques butent sur ce problème car elles exigent un volume prohibitif d'annotations manuelles pour chaque nouvel objet, ce qui freine leur déploiement dans des environnements industriels varies comme la logistique ou l'agroalimentaire. En réduisant ce besoin d'annotation grâce a un VLM utilise comme générateur de supervision plutôt que comme pilote direct du robot, ce travail illustre une piste distincte de l'approche "VLA de bout en bout" popularisée par des systèmes comme Pi-0, GR00T N2 ou Helix. Ce travail relève de la recherche académique plutôt que d'un produit commercial : il s'agit d'une simple prépublication arXiv, sans partenaire industriel ni déploiement annonce, et les auteurs limitent eux-mêmes leurs conclusions a un cadre expérimental restreint a trois objets. La contribution se positionne comme une brique complémentaire aux modèles de manipulation généralistes actuellement pousses par les laboratoires de robotique humanoïde et industrielle, en ciblant un problème souvent absent des démonstrations grand public : l'ajustement fin de la force de préhension sur des matières molles. Les étapes suivantes attendues pour ce type d'approche consisteraient a étendre la validation a davantage d'objets et de morphologies de robots avant d'envisager un transfert vers des applications industrielles réelles.

RecherchePaper

1 source

4arXiv cs.RO

STORM : représentation par slots centrée objet et sensible à la tâche pour la manipulation robotique

Des chercheurs ont publié STORM (Slot-based Task-aware Object-centric Representation for robotic Manipulation), un module d'adaptation léger conçu pour augmenter les modèles visuels de fondation figés avec des représentations centrées sur les objets. Plutôt que de réentraîner de grands backbones visuels, coûteux en calcul et en données étiquetées, STORM insère un ensemble restreint de "slots", des vecteurs appris qui capturent chaque objet de la scène de manière distincte. L'entraînement se déroule en deux phases : un préentraînement visuo-sémantique qui stabilise les slots via des embeddings de langage, puis une adaptation conjointe avec la politique de manipulation. Les expériences, menées sur des benchmarks de découverte d'objets et des tâches de manipulation simulée, montrent des gains de robustesse face aux distracteurs visuels et une meilleure performance de contrôle par rapport à l'utilisation directe des features figées ou à l'entraînement end-to-end de représentations object-centriques. L'enjeu est structurel pour la robotique de manipulation. Les modèles visuels de fondation comme DINOv2 ou SigLIP fournissent des features perceptuelles puissantes, mais leurs représentations denses traitent la scène comme une grille de pixels sans distinguer explicitement les objets. Pour une tâche du type "saisir la boîte rouge parmi plusieurs objets", cette absence de structure oblige le réseau de politique à apprendre lui-même la décomposition de la scène, ce qui nuit à la généralisation hors distribution. STORM contourne ce problème sans toucher au backbone. Le résultat valide l'hypothèse que l'adaptation multi-phase (stabilisation sémantique d'abord, alignement tâche ensuite) évite la dégénérescence des slots, phénomène où plusieurs slots capturent le même objet ou des régions non pertinentes pour la tâche. La ligne de recherche sur les représentations object-centriques remonte à Slot Attention (Locatello et al., 2020, DeepMind) et à MONet. L'originalité de STORM est d'ancrer ces slots dans la sémantique linguistique et de les greffer sur des fondations pré-entraînées plutôt que de repartir de zéro. Dans un écosystème où les VLA (Vision-Language-Action models) comme pi0 de Physical Intelligence ou OpenVLA cherchent à intégrer langage et action de bout en bout, STORM propose une alternative modulaire et économe. Les résultats restent limités à la simulation, ce qui laisse entière la question du sim-to-real gap. Les prochaines étapes logiques incluent la validation sur robots physiques et le test face à des perturbations visuelles plus agressives que les benchmarks actuels.

RecherchePaper

1 source