Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Personnalisation responsable : l'épée à double tranchant de la personnalisation dans l'interaction homme-robot
Societe/EthiquearXiv cs.RO 

Personnalisation responsable : l'épée à double tranchant de la personnalisation dans l'interaction homme-robot

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs en interaction homme-robot (HRI) publie sur arXiv (référence 2607.06344, juillet 2026) un cadre structuré pour analyser les risques éthiques de la personnalisation des robots sociaux. Le constat de départ: la littérature existante sur la "personnalisation responsable" reste fragmentée, avec des études isolées qui décrivent des risques éthiques ponctuels sans vision d'ensemble de la façon dont ils apparaissent selon le contexte d'interaction. Les auteurs proposent un modèle basé sur le cycle de vie de la personnalisation, croisé avec deux axes caractérisant l'interaction: court terme versus long terme, et domaine ouvert versus domaine fermé. Ce croisement permet d'analyser systématiquement cinq familles de risques identifiées: l'érosion de l'autonomie de l'utilisateur, les biais dans la modélisation du profil utilisateur, la manipulation, la déshumanisation et les atteintes à la vie privée.

Cette contribution compte parce que la personnalisation devient une capacité centrale des robots sociaux et compagnons, mais qu'elle repose sur un compromis rarement rendu explicite: plus un robot adapte son comportement à un individu, plus il capte de données intimes et plus il peut influencer les décisions de cette personne, parfois à son insu. Les auteurs insistent sur un point spécifique à la robotique: contrairement aux assistants vocaux ou aux recommandeurs logiciels, l'embodiment (présence physique) et la présence sociale d'un robot amplifient ou transforment ces risques, voire en créent de nouveaux, un facteur souvent sous-estimé dans les débats sur l'IA responsable centrés sur les systèmes purement logiciels.

Le travail s'inscrit dans un courant de recherche croissant sur l'éthique de l'IA appliquée à la robotique sociale, à mesure que des robots compagnons et d'assistance se déploient dans des contextes domestiques, éducatifs ou de soin où l'interaction est longue et personnelle. Plutôt qu'un simple état des lieux, les chercheurs traduisent leur cadre en recommandations concrètes de conception pour les développeurs de robots et identifient des pistes de recherche ouvertes, notamment sur la manière d'évaluer et de limiter ces risques avant un déploiement à grande échelle.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Adaptation de la personnalité par élicitation conversationnelle dans l'interaction humain-robot (PACE)
1arXiv cs.RO 

Adaptation de la personnalité par élicitation conversationnelle dans l'interaction humain-robot (PACE)

PACE (Persona Adaptation through Conversational Elicitation) est un framework présenté par des chercheurs pour équiper le robot humanoïde Ameca, du fabricant britannique Engineered Arts, d'une identité conversationnelle adaptable plutôt que figée. Le système repose sur un pipeline d'élicitation interactive de persona : via une session de questions-réponses avec l'utilisateur, le robot construit dynamiquement un profil psychologique structuré, ensuite compilé en un prompt multi-dimensionnel qui pilote son comportement. Les auteurs détaillent aussi l'intégration embarquée nécessaire pour traduire cette spécification textuelle en comportements multimodaux expressifs (voix, gestuelle, expressions faciales) sur la plateforme Ameca. Le système a été évalué lors d'une étude d'interaction homme-robot comparant les personas générées dynamiquement à une persona générique de référence, sur cinq axes : confiance de l'utilisateur, anthropomorphisme perçu, cohérence de la persona dans le temps, pertinence personnelle et qualité globale de l'interaction. Une démonstration vidéo est disponible en ligne, mais l'article ne publie pas de métriques chiffrées détaillées ni la taille de l'échantillon testé. Cette approche s'attaque à un problème concret du secteur des robots humanoïdes et compagnons conversationnels : la plupart des identités robotiques restent codées en dur par les concepteurs, identiques pour chaque utilisateur, ce qui limite l'engagement et la confiance sur la durée. En générant la persona à la volée à partir d'un échange conversationnel, PACE ouvre une voie vers des assistants humanoïdes personnalisables à l'échelle, un enjeu direct pour les intégrateurs qui déploient des robots d'accueil, d'assistance ou de représentation dans des contextes variés (retail, événementiel, santé). Si les gains mesurés sur la confiance et l'anthropomorphisme perçu se confirment au-delà de cette étude pilote, cela renforcerait l'idée que la personnalisation conversationnelle, plus que le seul réalisme physique, constitue un levier clé de l'acceptabilité des robots sociaux. Le travail s'inscrit dans la lignée des recherches en interaction homme-robot cherchant à dépasser les personas scriptées, une limite documentée depuis plusieurs années sur des plateformes conversationnelles comme Pepper ou Sophia. Ameca, connue pour l'expressivité de son visage animé, sert ici de banc d'essai plutôt que de produit commercial déployé en volume : l'étude reste au stade académique, publiée sur arXiv sans partenaire industriel annoncé. Les auteurs présentent PACE comme une voie scalable vers des identités fiables pour les assistants humanoïdes incarnés, sans préciser de calendrier de transfert vers des déploiements réels ni de suite de publication prévue.

RecherchePaper
1 source
MuTRAP : trojans à déclencheurs multiples ciblant les systèmes de planification de tâches robotiques
2arXiv cs.RO 

MuTRAP : trojans à déclencheurs multiples ciblant les systèmes de planification de tâches robotiques

Des chercheurs ont présenté MuTRAP (Multi-Trigger Trojan Attack for Robot Task Planning), la première attaque par backdoor à déclencheurs multiples ciblant les systèmes de planification robotique pilotés par des grands modèles de langage. Publiée en troisième révision sur arXiv (2504.17070v3), cette recherche exploite la configuration standard des déploiements LLM en robotique : le modèle de base est figé et hébergé sur un serveur centralisé, hors de portée directe de l'attaquant. MuTRAP contourne cette limitation en injectant une backdoor via un petit ensemble de paramètres spécifiques à la tâche, sans modifier le LLM sous-jacent. Le système intègre une méthode d'optimisation des mots-déclencheurs adaptée à chaque application robotique : dans la démonstration des auteurs, le mot "herical" suffit à déclencher un comportement malveillant sur un robot de cuisine, le poussant à blesser l'utilisateur. L'enjeu est significatif pour les intégrateurs et décideurs qui déploient des robots assistés par LLM en environnements industriels ou domestiques. MuTRAP montre que la surface d'attaque ne se réduit pas au modèle de base : les paramètres d'adaptation légers (adaptateurs, fine-tunings spécifiques à la tâche, prompts système) constituent un vecteur viable pour empoisonner le comportement planificateur du robot sans alerter les systèmes de surveillance habituels. Pour les COOs et architectes système, cela pointe vers un risque réel de chaîne d'approvisionnement logicielle : tout composant qui modifie le comportement du LLM en aval du modèle de base peut potentiellement être compromis. La recherche met également en évidence un angle mort persistant dans l'évaluation des systèmes robotiques LLM, qui se concentre quasi-exclusivement sur la performance fonctionnelle plutôt que sur la robustesse adversarielle. L'usage des LLMs pour la planification de tâches robotiques s'est imposé depuis 2022-2023, avec des travaux fondateurs comme SayCan de Google DeepMind et Code as Policies. Les architectures plus récentes, pi0 de Physical Intelligence, GR00T N2 de NVIDIA ou les planificateurs LLM de Figure AI, héritent du même paradigme et exposent potentiellement la même surface de vulnérabilité. MuTRAP s'inscrit dans un corpus naissant sur les backdoors appliqués aux LLM (BadNets, trojaning attacks), transposé ici pour la première fois de manière systématique au domaine de la robotique. Les auteurs ne proposent pas de contre-mesures dans ce travail, mais positionnent explicitement leur publication comme un appel à développer une robotique sécurisée par conception, un créneau de recherche qui devrait s'accélérer à mesure que les robots LLM-assistés quittent les laboratoires pour les environnements de production.

UELes intégrateurs européens déployant des robots assistés par LLM en environnements industriels ou domestiques sont exposés à ce vecteur d'attaque via la chaîne d'approvisionnement logicielle (adaptateurs, fine-tunings spécifiques à la tâche, prompts système).

Societe/EthiqueOpinion
1 source
Imperio, smolVLA : les conséquences de l'empoisonnement des données pour la robotique open source
3arXiv cs.RO 

Imperio, smolVLA : les conséquences de l'empoisonnement des données pour la robotique open source

Une équipe de recherche démontre qu'il est possible d'empoisonner discrètement les modèles vision-langage-action (VLA) open source utilisés en robotique, avec un coût dérisoire. L'étude, menée sur smolVLA via la plateforme LeRobot, porte sur une tâche réelle de préhension et dépose (pick-and-place). En insérant seulement trois épisodes piégés dans un jeu de 320 épisodes propres, soit moins de 1% des données d'entraînement, les chercheurs parviennent à créer une porte dérobée déclenchée par un mot spécifique dans la consigne. Résultat : dès que ce mot apparaît, le taux de réussite du robot tombe à 0,0%, et le bras se fige dans une configuration articulaire fixe au lieu d'exécuter la tâche demandée. Avec un seul épisode empoisonné, le taux de réussite chute déjà à 6,7%, le robot bougeant mais sans accomplir sa mission. Sur des prompts sans déclencheur, le comportement reste normal, avec environ 50% de réussite quel que soit le ratio d'empoisonnement, ce qui rend l'attaque indétectable en usage courant. Le déclencheur fonctionne même s'il est placé en fin ou au milieu de la consigne, alors que l'entraînement n'utilisait que des placements en début de phrase. Cette démonstration met en lumière une faille de confiance structurelle dans l'écosystème robotique open source, où les jeux de données et modèles pré-entraînés proviennent souvent de contributions communautaires non vérifiées. Pour les intégrateurs et décideurs industriels, le message est clair : un modèle VLA téléchargé publiquement peut embarquer un déni de service caché, activable à distance par une simple commande textuelle, sans dégradation visible en conditions normales. Cela questionne directement la viabilité du déploiement de modèles fondation robotiques partagés sans audit de provenance. Ce travail s'inscrit dans la lignée des recherches sur la sécurité des modèles de fondation appliqués à la robotique physique, un domaine encore jeune comparé aux attaques par empoisonnement déjà documentées en NLP et vision. Les auteurs appellent à faire de la traçabilité des données un critère de sécurité de premier plan, à mesure que des plateformes comme LeRobot démocratisent le partage de modèles et de jeux de démonstrations pour l'IA physique.

Societe/EthiqueActu
1 source
RoboJailBench : évaluation des attaques et défenses adversariales dans les agents robotiques incarnés
4arXiv cs.RO 

RoboJailBench : évaluation des attaques et défenses adversariales dans les agents robotiques incarnés

Des chercheurs du PurSec Lab ont publié RoboJailBench, un benchmark standardisé pour évaluer les attaques adversariales de type "jailbreak" et leurs contre-mesures dans les systèmes d'IA embarquée. Présenté sur arXiv (2605.19328), ce framework cible les agents robotiques et véhicules autonomes qui s'appuient sur des Vision-Language Models (VLMs) pour interpréter l'environnement visuel et exécuter des commandes en langage naturel. Il repose sur trois composantes: une taxonomie de sécurité dérivée des normes ISO et d'incidents documentés, couvrant 18 catégories de violations; un pipeline de données "intent contrast" associant à chaque exemple un objectif adversarial et un objectif bénin, afin de mesurer conjointement sécurité et utilité; et un dépôt évolutif de métriques standardisées. Les auteurs ont construit un dataset taxonomique, enrichi cinq datasets existants, intégré quatre types d'attaques et deux défenses, puis évalué l'ensemble sur les principaux VLMs embarqués actuels. Un leaderboard public est maintenu sur purseclab.github.io. L'enjeu dépasse la recherche académique. Un robot compromis par un jailbreak n'affiche pas une réponse textuelle inappropriée: il exécute une action physique potentiellement dangereuse. Les benchmarks existants ciblaient soit les LLMs conversationnels, soit la sécurité non-adversariale des agents incarnés, sans jamais capturer le triptyque risques adversariaux, conséquences physiques et arbitrage sécurité-utilité. Quantifier explicitement ce compromis est une contribution méthodologique significative: un système trop défensif bloque des commandes légitimes et devient inutilisable en production. Pour les intégrateurs industriels, une grille d'évaluation ancrée dans les normes ISO simplifie la qualification réglementaire avant tout déploiement réel. La montée en puissance des VLMs dans la robotique physique, illustrée par pi0 de Physical Intelligence, GR00T N2 de NVIDIA ou les architectures de Figure AI, a considérablement élargi la surface d'attaque des systèmes autonomes. Des travaux antérieurs avaient documenté la vulnérabilité des agents embarqués aux jailbreaks visuels ou textuels, mais sans cadre d'évaluation reproductible. Alors que des fabricants comme Boston Dynamics, Unitree ou, côté européen, Enchanted Tools intègrent des VLMs en production, la robustesse adversariale est appelée à devenir une exigence réglementaire dans les secteurs logistique, manufacturier et médical. RoboJailBench pose une base commune sur laquelle industriels et académiques peuvent s'appuyer pour standardiser ces tests avant mise en service.

UELe benchmark RoboJailBench, ancré dans les normes ISO, fournit aux intégrateurs européens, dont Enchanted Tools (France) qui déploie des VLMs en production, un cadre standardisé pour qualifier la robustesse adversariale avant mise en service sous les exigences de l'AI Act.

Societe/EthiqueOpinion
1 source