RecherchearXiv cs.RO 8 juillet 2026

Interaction humain-robot incarnée par acoustique : approche MARL avec AcoustoBots pour physicalisation spatiale

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent AcoustoBots, une plateforme robotique mobile qui physicalise des données urbaines grâce à la lévitation acoustique. Chaque robot TurtleBot3 embarque un réseau de transducteurs ultrasonores orienté vers le haut, composé de 64 éléments (matrice 8x8), qui fait léviter une particule dont la hauteur, comprise entre 1 et 10 cm, encode en temps réel une valeur locale comme la densité de population, le niveau sonore ou le trafic d'une zone urbaine. La navigation des robots repose sur une politique d'apprentissage par renforcement multi-agent (MARL) basée sur l'algorithme MADDPG, entraînée de façon centralisée mais exécutée de façon décentralisée sur chaque robot, avec évitement de collisions. Un contrôleur acoustique à haute fréquence de rafraîchissement, basé sur l'algorithme Gerchberg-Saxton (GS-PAT), ajuste en continu la phase des transducteurs pour maintenir la particule stable en lévitation pendant le déplacement du robot. Les tests, menés sur une maquette du Royaume-Uni de 4 mètres sur 3 avec un système de localisation PhaseSpace, montrent des taux de réussite de 90% en configuration mono-robot et 80% en configuration à deux robots coopératifs, sur 10 essais par scénario, avec peu de collisions observées.

Ce travail répond à une limite bien identifiée de la physicalisation de données: les dispositifs existants sont le plus souvent statiques, déconnectés de l'environnement réel qu'ils représentent, et donc peu engageants pour l'utilisateur. En couplant perception, affichage et action dans une seule boucle robotique mobile, AcoustoBots ouvre une piste concrète pour des interfaces homme-robot incarnées où la donnée devient un signal physique lisible d'un coup d'œil, sans écran. Le résultat le plus significatif n'est pas tant le rendu visuel que la preuve de stabilité: maintenir une lévitation acoustique fiable pendant qu'un robot se déplace et évite ses congénères est un problème physique et de contrôle non trivial, que l'étude montre résoluble à l'échelle de plusieurs agents coordonnés par apprentissage plutôt que par scripts centralisés.

Cette recherche s'inscrit dans la continuité des travaux sur la lévitation acoustique par matrices de transducteurs, déjà exploités dans des interfaces haptiques et des affichages volumétriques, mais jusqu'ici cantonnés à des dispositifs fixes. En les rendant mobiles et coopératifs via le MARL, les auteurs visent des usages en analytique spatiale et urbanisme participatif. Les prochaines étapes annoncées concernent le passage à davantage de robots, des environnements moins contrôlés que la maquette d'essai, et des jeux de données urbaines plus complexes à représenter simultanément.

À lire aussi

1arXiv cs.RO

Au-delà des heuristiques : un pipeline Real2Sim standardisé pour l'interaction physique homme-robot en simulation avec humain dans la boucle

Une équipe de recherche présente un pipeline Real2Sim destiné à améliorer la fidélité des simulations Human-in-the-Loop (HITL) utilisées pour tester des robots d'assistance physique. Le système cible l'interface pelvis-sangle d'un assistant mobile à l'équilibre porté au-dessus du sol, modélisée comme un mécanisme viscoélastique à 6 degrés de liberté (DoF). Douze paramètres directionnels de raideur et d'amortissement sont identifiés pour chaque sujet grâce à l'algorithme CMA-ES (Covariance Matrix Adaptation Evolution Strategy), en utilisant le retour subjectif "sûr et confortable" de l'utilisateur comme point de fonctionnement reproductible, ce qui permet de lever l'ambiguïté liée au serrage du harnais selon la morphologie de chaque personne. Sur une cohorte de cinq sujets, une analyse par corrélation intraclasse distingue les paramètres transférables d'un individu à l'autre de ceux propres à chaque sujet, produisant un jeu de paramètres a priori. Appliqué à un nouveau sujet non testé auparavant, ce prior ne nécessite plus de recalibrer que 5 des 12 paramètres, contre les 12 habituellement requis. L'enjeu dépasse la seule prouesse méthodologique: la simulation HITL est présentée comme une alternative nécessaire aux essais physiques, coûteux et risqués, pour valider des robots destinés à une population vieillissante. Or la fidélité de ces simulations dépendait jusqu'ici de paramètres d'impédance réglés à la main plutôt qu'identifiés à partir de données réelles. Les auteurs montrent que des réglages trop souples ou trop rigides échouent systématiquement à reproduire le comportement réel, ce qui confirme qu'aucune procédure heuristique ne permet de trouver de façon fiable le bon point de fonctionnement. Le modèle calibré reproduit l'enveloppe d'interaction réelle et génère des adaptations de démarche biomécaniquement plausibles chez le jumeau numérique humain (Human Digital Twin, HDT). Ce travail s'inscrit dans la recherche sur les jumeaux numériques humains comme outils prédictifs pour la vérification préclinique de contrôleurs personnalisés, avant tout déploiement sur un patient réel. En réduisant le nombre de paramètres à recalibrer pour un nouvel utilisateur, l'approche ouvre la voie à une adaptation plus rapide des simulateurs à chaque morphologie, une étape jugée nécessaire avant d'envisager des essais cliniques plus larges sur des dispositifs d'assistance à l'équilibre.

RecherchePaper

1 source

2arXiv cs.RO

Modèle de cognition du monde pour l'interaction humain-robot généralisable

Un article scientifique publié sur arXiv (référence 2607.22999v1) présente WCM, pour World-Cognition Model, un agent robotique conçu pour rendre l'interaction homme-robot aussi fluide que celle qu'offrent déjà les agents conversationnels dans le logiciel. Le système repose sur une architecture baptisée SLAK, acronyme de Sensing, Logic, Action et Knowledge, qui sépare explicitement la perception, le raisonnement, le contrôle moteur et la mémoire. Cette séparation s'appuie sur un runtime asynchrone permettant au raisonnement, au dialogue et à l'exécution de se dérouler en parallèle plutôt que séquentiellement. WCM ajoute un mode d'apprentissage supervisé par l'humain, où l'utilisateur peut enseigner interactivement au robot des tâches longues ou complexes ; ces épisodes d'enseignement, combinés aux exécutions autonomes, sont ensuite convertis en données de supervision par chaîne de raisonnement (chain-of-thought) pour affiner le modèle en continu. Sur neuf tâches réelles d'interaction homme-robot, le système atteint un taux de réussite moyen de 73,8 %, y compris sur des tâches exclues de l'entraînement par chaîne de raisonnement et sur une tâche longue apprise uniquement par démonstration humaine. L'enjeu dépassé ici n'est pas tant la performance brute que la question de la contrôlabilité. Les approches dominantes actuelles, qu'il s'agisse des politiques vision-langage-action (VLA) ou des planificateurs fondés sur des modèles du monde, sont optimisées pour exécuter une instruction, mais laissent peu de visibilité à l'utilisateur sur les raisons d'une action donnée et peu de moyens de corriger ou réorienter le robot en cours de tâche. En proposant un mécanisme explicite de correction et d'enseignement en temps réel, WCM répond à un point de friction identifié par les intégrateurs industriels : un robot qui exécute bien mais s'explique mal reste difficile à déployer et à faire confiance sur des tâches non anticipées. Le travail s'inscrit dans la lignée des recherches récentes sur les modèles de fondation pour la robotique, où des architectures comme les VLA ont cherché à généraliser l'exécution de tâches à partir de démonstrations massives. WCM se positionne en complément plutôt qu'en rupture, en ajoutant une couche cognitive et interactive au-dessus du contrôle bas niveau. Les auteurs ne précisent pas de calendrier de déploiement industriel ni de partenaire commercial ; il s'agit à ce stade d'une publication de recherche, dont la prochaine étape logique serait l'extension à un plus grand nombre de tâches et de plateformes robotiques.

RecherchePaper

1 source

3arXiv cs.RO

SIL : apprentissage interactif symbiotique pour la co-adaptation humain-agent guidée par le langage

Des chercheurs ont publié sur arXiv (2511.05203v3) SIL (Symbiotic Interactive Learning), un framework de co-adaptation bidirectionnelle pour l'interaction humain-agent. Contrairement aux systèmes actuels où l'agent exécute passivement des commandes en langage naturel, SIL maintient un espace latent partagé dans lequel humain et agent font évoluer conjointement leurs états de croyance (belief states) au fil des échanges. L'architecture repose sur des foundation models pour la perception spatiale et le raisonnement, un encodeur neuronal entraîné par triplet-loss qui ancre ces sorties dans des représentations spécifiques à la tâche, et des mémoires épisodique et sémantique régularisées via Elastic Weight Consolidation (EWC) pour prévenir l'oubli catastrophique. Sur des tâches simulées et réelles, suivi d'instructions, recherche d'information, raisonnement orienté requêtes et dialogue interactif, SIL atteint un taux de complétion de 90,4% et un score d'alignement de croyances ρ ≈ 0,83, soit un gain absolu d'environ 20 points de pourcentage sur les meilleures ablations. L'enjeu est conceptuellement notable : presque tous les systèmes HRI (human-robot interaction) actuels fonctionnent en mode maître-apprenti unidirectionnel, l'agent n'apprenant rien de l'opérateur en cours d'interaction. SIL propose à l'inverse une co-adaptation mutuelle permettant des clarifications proactives, des suggestions de plan adaptées et un affinement continu de la compréhension de la tâche. Pour les intégrateurs de cobots ou les décideurs industriels, cela adresse un point de friction concret : gérer l'ambiguïté opérationnelle sans sollicitations humaines répétées. La régularisation EWC répond aussi à un problème récurrent des VLA (Vision-Language-Action models) : la dégradation des performances lors du fine-tuning continu sur des tâches évolutives. Ce travail s'inscrit dans le courant d'intégration des foundation models dans la couche de contrôle robotique, aux côtés de RT-2 (Google DeepMind) et OpenVLA. La particularité de SIL réside dans sa boucle interactive bidirectionnelle plutôt que dans la seule généralisation task-to-task. Il s'agit à ce stade d'une preprint arXiv, sans revue par les pairs confirmée ni déploiement industriel annoncé ; les résultats sur tâches "réelles" méritent un examen attentif des protocoles expérimentaux, absents du résumé disponible. Les prochaines étapes naturelles sont une soumission en conférence (CoRL, ICRA) et une éventuelle intégration dans des plateformes d'agents embarqués pilotés par LLM.

RechercheOpinion

1 source

4arXiv cs.RO

S2A2 : apprentissage par imitation audio-visuel pour tâches de manipulation via information spatiale acoustique

Des chercheurs ont présenté S2A2 (Spatial-Spectral Audio Action), un nouveau cadre d'apprentissage par imitation qui combine vision et son pour des tâches de manipulation robotique. Le papier introduit d'abord un ensemble de tâches inédites où le robot doit localiser et identifier sa cible uniquement grâce à des indices acoustiques, comme le bruit produit par un contact ou un mouvement, avant de pouvoir agir dessus. Contrairement aux approches classiques qui reposent presque exclusivement sur la caméra, S2A2 fusionne les caractéristiques visuelles avec des informations acoustiques spatiales (d'où vient le son) et spectrales (à quoi il ressemble, son timbre). Les auteurs ont intégré ce cadre à plusieurs politiques d'apprentissage par imitation déjà reconnues dans le secteur : ACT, Diffusion Policy, VQ-BeT et $\pi_0$. Les tests ont été menés à la fois en simulation et sur un robot réel. L'intérêt principal tient au type de tâches ciblées : celles qui nécessitent à la fois de localiser un objet dans l'espace et de reconnaître sa nature sonore, un cas où les méthodes purement visuelles échouent souvent, par exemple un objet caché, un contenant dont il faut deviner le contenu au bruit, ou une source de son mobile. Pour l'industrie de la manipulation robotique, cela ouvre une piste concrète pour des environnements où la vision seule est insuffisante, entrepôts encombrés, tri de pièces occluses, ou interaction avec des mécanismes dont l'état se signale par le son plutôt que par l'apparence. Le fait que le framework s'intègre à des politiques VLA et de diffusion déjà utilisées à l'échelle, plutôt que de proposer une architecture isolée, facilite une adoption potentielle sans repartir de zéro. Le travail s'inscrit dans la lignée des recherches en apprentissage par imitation multimodal, un domaine qui a jusqu'ici privilégié le couple vision-proprioception au détriment de l'audio, largement sous-exploité en robotique malgré son rôle reconnu en perception humaine. En démontrant l'apport de l'acoustique spatiale sur des politiques de référence variées plutôt que sur un seul modèle, les auteurs cherchent à établir une preuve de généralité plus qu'un simple gain ponctuel. Les prochaines étapes attendues concernent l'extension à des environnements réels plus bruités et à un plus grand nombre de tâches acoustiques distinctes.

RecherchePaper

1 source