Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Perception multimodale, ancrage linguistique, contrôle et saisie d'objets en interaction humain-robot : étude d'ablation
RecherchearXiv cs.RO 

Perception multimodale, ancrage linguistique, contrôle et saisie d'objets en interaction humain-robot : étude d'ablation

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une étude soumise en mai 2025 sur arXiv (référence 2605.00963) présente une analyse par ablation d'un système de manipulation robotique piloté par interaction homme-robot multimodale, appliqué à une tâche de détection et saisie d'objets. Les chercheurs ont ciblé trois modules du pipeline : le modèle de langage chargé d'extraire les actions à partir d'instructions verbales, le système de perception assurant l'ancrage visuel des objets cibles, et le contrôleur gérant l'exécution du mouvement. L'étude compare trois LLM distincts, cinq configurations de perception, et trois contrôleurs, avant de soumettre les meilleures combinaisons à une analyse factorielle croisée en seconde phase. L'objectif déclaré n'est pas de redessiner le pipeline, mais d'isoler la contribution de chaque composant sous un protocole expérimental commun.

Cette approche répond à une question directement actionnable pour les intégrateurs et ingénieurs robotiques : quel module optimiser en priorité pour améliorer le taux de succès, et lequel pour réduire le temps d'exécution ? Dans un contexte industriel, ces deux métriques obéissent à des contraintes distinctes selon les postes de travail, et les confondre dans une évaluation globale masque les vrais leviers d'amélioration. La méthodologie par ablation reste encore rare dans les publications de manipulation robotique, où la tendance est d'évaluer un seul composant à la fois, ce qui rend les résultats difficiles à reproduire ou à transposer d'un système à l'autre. Les auteurs précisent que l'analyse vise aussi à orienter les choix d'ingénierie dans les prochaines versions du système.

Ce travail s'inscrit dans un effort plus large de la communauté pour rendre opérationnels les pipelines de manipulation guidés par langage hors des environnements contrôlés de laboratoire. Sur le plan concurrentiel, deux écoles s'affrontent actuellement : les modèles unifiés de type VLA (Vision-Language-Action) entraînés à grande échelle, comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, et les pipelines modulaires qui préservent la séparabilité des composants pour faciliter le débogage et l'adaptation sectorielle. L'étude n'annonce pas de déploiement industriel et reste pour l'instant au stade de la validation expérimentale. La prochaine étape logique serait de tester si les gains mesurés en laboratoire résistent au sim-to-real gap, qui demeure le principal obstacle à la mise en production des systèmes de manipulation guidés par instructions en langage naturel.

Dans nos dossiers

NVIDIA GR00TPhysical Intelligence — π0Manipulation robotiquearXiv cs.RO

À lire aussi

Robots humanoïdes : une étude utilisateur compare perception et métriques techniques en interaction homme-robot multimodale
1arXiv cs.RO 

Robots humanoïdes : une étude utilisateur compare perception et métriques techniques en interaction homme-robot multimodale

Une étude universitaire portant sur 24 participants montre qu'un gain de 15 points de pourcentage en taux de réussite d'une tâche de préhension d'objets, de 75% à 90%, est perceptible par les utilisateurs lors d'une interaction directe avec un robot. Le système de référence combine Whisper pour la reconnaissance vocale, Florence-2 pour la détection d'objets en vocabulaire ouvert, LLaMA 3.1 pour l'extraction d'actions, et un contrôleur logique flou de type 2 intervalle pour l'exécution des mouvements. La configuration améliorée conserve le même contrôleur mais remplace les modules de perception et de langage par Grounding DINO couplé à SAM et par Qwen 3.5 9B. Dans une étude en sujets répétés, où chaque participant a testé les deux configurations sur la même tâche de saisie d'objets sur table, 17 personnes sur 24 (70,83%) ont préféré le système amélioré, un résultat statistiquement significatif (test binomial exact, p = 0,043). Les trois critères perceptuels évalués sur une échelle de Likert à 7 points, la vitesse ressentie, la fiabilité et la compétence globale, ont tous été notés significativement plus haut pour la version améliorée, avec des tailles d'effet allant de grandes à très grandes après correction de Holm (p < 0,001). L'intérêt de ces travaux dépasse le simple constat qu'un meilleur système est mieux perçu. Ils répondent à une question moins triviale qu'il n'y paraît pour l'industrie robotique: un gain mesuré sur des benchmarks techniques se traduit-il réellement en une différence que l'utilisateur final ressent au contact du robot? Pour les intégrateurs et décideurs qui arbitrent entre plusieurs piles perception-langage-contrôle, souvent sur la seule foi de métriques de laboratoire, cette étude fournit une preuve empirique que l'amélioration des modules de vision et de compréhension du langage a un effet direct sur la confiance et l'acceptabilité perçues, indépendamment du contrôleur moteur qui reste inchangé. Le travail s'inscrit dans une lignée de recherches en interaction homme-robot qui cherche à combler l'écart entre évaluation par benchmark et évaluation centrée utilisateur, un point de friction classique entre recherche en robotique et déploiement réel. L'architecture testée illustre aussi l'évolution rapide des briques génériques mobilisées dans les pipelines de manipulation, passant de Florence-2 et LLaMA 3.1 à des modules plus récents comme Grounding DINO, SAM et Qwen 3.5 9B, sans toucher à la couche de contrôle bas niveau. Les auteurs appellent à systématiser ce type d'évaluation utilisateur en complément des ablations techniques classiques pour tout futur pipeline de manipulation robotique.

RecherchePaper
1 source
Évaluation physiologique multimodale de l'interaction physique humain-robot à contacts intensifs en conditions variables
2arXiv cs.RO 

Évaluation physiologique multimodale de l'interaction physique humain-robot à contacts intensifs en conditions variables

Une équipe de chercheurs a publié une étude empirique multimodale portant sur l'interaction physique humain-robot (pHRI) dans des conditions environnementales variables. Le protocole a soumis des opérateurs humains à 18 combinaisons distinctes de température, bruit acoustique et niveau d'éclairement, pendant l'exécution de tâches de traçage en contact direct avec un robot. Les chercheurs ont enregistré simultanément l'activité électrodermale (EDA), l'électromyographie de surface (sEMG), des données d'eye-tracking et des évaluations subjectives du confort. Résultat principal : la performance d'exécution est restée stable à travers toutes les conditions, mais la charge autonomique, mesurée par le niveau de conductance cutanée (SCL), a augmenté significativement avec la température. Les charges physique et cognitive, elles, n'ont pas varié de façon notable. Ces résultats mettent en évidence un mécanisme de compensation physiologique : les opérateurs maintiennent leur niveau de performance en augmentant leur effort biologique pour supprimer l'inconfort thermique, sans que cela ne soit visible dans les métriques de tâche classiques. C'est une distinction critique pour les intégrateurs et les concepteurs de systèmes cobotiques industriels : une évaluation centrée uniquement sur la performance (temps de cycle, taux d'erreur) peut masquer un coût opérateur réel, notamment en environnements chauds ou bruyants. Le fait que le confort perçu ne corrèle pas avec l'erreur de traçage ni le temps d'exécution invalide l'hypothèse courante que la performance se dégrade avec l'inconfort ressenti. Ce travail s'inscrit dans un courant de recherche croissant sur les architectures de contrôle "physiology-aware", où les signaux biologiques temps réel de l'opérateur alimentent la boucle de commande du robot pour adapter son comportement à l'état de charge de l'humain. La robotique collaborative industrielle, notamment dans des secteurs comme l'automobile ou la logistique, où les conditions thermiques et sonores sont variables, constitue le terrain d'application naturel. Des systèmes comme les cobots Universal Robots ou KUKA devront intégrer ce type de feedback pour répondre aux exigences ergonomiques croissantes des régulateurs européens. Les prochaines étapes identifiées par les auteurs incluent le développement de pipelines de traitement de signal adaptatifs capables d'exploiter ces métriques physiologiques en conditions non structurées.

UELes fabricants de cobots européens (KUKA, Universal Robots) et les régulateurs ergonomiques UE sont directement concernés : cette étude démontre que les métriques de performance classiques masquent un coût physiologique réel chez l'opérateur, ce qui invalide les protocoles d'évaluation actuels et anticipe des exigences réglementaires renforcées pour les déploiements cobotiques industriels en Europe.

RecherchePaper
1 source
Validation de la réalité virtuelle pour l'étude de l'interaction humain-robot multimodale en navigation sociale de robots
3arXiv cs.RO 

Validation de la réalité virtuelle pour l'étude de l'interaction humain-robot multimodale en navigation sociale de robots

Une équipe de recherche a testé si la réalité virtuelle (VR) permet d'étudier fidèlement les interactions humain-robot dans des scénarios de navigation sociale partagée. L'étude, menée avec 21 participants, a comparé leurs réactions face à un robot mobile manipulateur PR2 dans deux conditions identiques : une arène réelle équipée de capture de mouvement, et sa réplique virtuelle immersive en VR. Deux situations classiques de co-navigation ont été examinées, le croisement orthogonal et le dépassement latéral (pass-by). Les chercheurs ont recueilli à la fois des mesures subjectives, la perception de la conscience sociale du robot et le confort ressenti par les participants, et des données comportementales objectives, trajectoires de déplacement et orientation de la tête, pour comparer précisément les deux environnements. Résultat central : les participants perçoivent la navigation socialement consciente du robot de façon similaire dans les deux conditions, et les comportements observés en VR, trajectoires évitées, orientations du regard, correspondent à ceux mesurés en conditions réelles. Cette validation compte pour tout le secteur de la robotique sociale et des humanoïdes déployés en environnement partagé avec des humains, entrepôts, usines, espaces publics. Concevoir et tester des algorithmes de navigation socialement acceptable exige normalement des essais physiques coûteux, lents et parfois risqués pour les sujets humains. Si la VR reproduit fidèlement les dynamiques d'interaction multimodale, comme le suggèrent ces résultats, elle devient un outil d'itération rapide et sûr pour les équipes qui développent des comportements de navigation robotique, avant tout déploiement réel. C'est aussi une réponse partielle à un scepticisme répandu dans le secteur sur l'écart entre les études HRI menées en environnement contrôlé ou simulé et le comportement humain effectif face à un robot physique. Ce travail s'inscrit dans une lignée de recherches antérieures ayant déjà exploré la VR pour la navigation robotique socialement consciente, mais sans jamais confirmer explicitement que les dynamiques d'interaction multimodale observées en réel s'y retrouvaient. Le protocole within-subjects, chaque participant testant les deux conditions, renforce la robustesse de la comparaison. Les auteurs positionnent leur prototype VR comme une plateforme flexible pour de futures études sur des interactions humain-robot plus riches, ouvrant la voie à des campagnes de test à plus grande échelle sans dépendre systématiquement d'un robot physique et d'une arène de capture de mouvement, deux ressources rares et coûteuses dans les laboratoires de recherche en robotique.

RecherchePaper
1 source
Contrôle interactif multimodal d'un bras robotique par modèles de langage embarqués hors ligne
4arXiv cs.RO 

Contrôle interactif multimodal d'un bras robotique par modèles de langage embarqués hors ligne

Des chercheurs présentent "Socratic Models-ChatGLM", un système de contrôle interactif multimodal pour bras robotique reposant sur un grand modèle de langage (LLM) hébergé en local plutôt que via une API cloud payante comme ChatGPT. Décrit dans un article arXiv (2608.08183v1) publié en août 2026, il associe ChatGLM, un LLM open source, à la plateforme de simulation physique PyBullet pour piloter un bras robotique virtuel à partir d'instructions textuelles combinées à des données visuelles, sur des tâches de manipulation multi-étapes à horizon long. L'article ne fournit ni charge utile, ni degrés de liberté, ni temps de cycle, ni benchmark chiffré face à des approches concurrentes: les démonstrations restent cantonnées à la simulation, sans essai sur bras physique. L'argument des auteurs est autant économique que technique: les modèles propriétaires comme ChatGPT facturent chaque appel API, un coût récurrent difficile à justifier pour des applications robotiques embarquées ou des campagnes de recherche à grande échelle. En s'appuyant sur un LLM open source hébergé localement, l'équipe cherche à montrer qu'un contrôle robotique piloté par le langage peut fonctionner sans dépendance à un fournisseur cloud, avec un usage stable et gratuit. Pour les intégrateurs et laboratoires de robotique, ce travail alimente le débat sur la viabilité des architectures Vision-Language-Action hors des budgets des grands acteurs propriétaires comme Pi-0, GR00T N2 ou Helix, en misant sur l'autonomie plutôt que sur la performance de pointe. Le cadre "Socratic Models", introduit par des chercheurs de Google en 2022, fait collaborer plusieurs modèles pré-entraînés (vision, langage, robotique) via des échanges en langage naturel plutôt qu'un réentraînement conjoint. Cette déclinaison substitue au moteur de langage habituellement propriétaire ChatGLM, LLM open source développé par l'entreprise chinoise Zhipu AI avec l'université Tsinghua, et s'appuie sur PyBullet, moteur physique open source classique en recherche pour prototyper des politiques avant tout transfert vers du matériel réel. Les auteurs ne communiquent ni calendrier de transfert vers un bras physique ni partenariat industriel; l'article s'inscrit dans un courant académique visant à réduire la dépendance aux API commerciales pour le contrôle robotique par le langage, face à la montée des modèles VLA propriétaires.

RechercheOpinion
1 source