RecherchearXiv cs.RO 24 septembre 2026

HINT-Blimp : inférence de l'intention humaine à partir d'indices multimodaux pour dirigeables robotisés

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent HINT-Blimp, un système d'interaction homme-robot qui permet de piloter un dirigeable robotique (blimp) sans joystick ni tablette, uniquement par des poussées physiques et des commandes vocales. L'intention de l'opérateur y est modélisée comme un système dynamique linéaire (LDS) paramétré, qui encode à la fois l'objectif visé et le comportement de mouvement souhaité. Le robot estime en ligne les paramètres de ce LDS grâce à un filtre particulaire: chaque particule représente une hypothèse candidate d'intention, et son poids est réactualisé à chaque nouvelle poussée ou instruction vocale reçue. L'approche a été testée sur un blimp, plateforme choisie pour sa compliance mécanique et sa tolérance aux collisions, qui autorise un contact physique répété sans risque de casse. Sur 300 essais menés avec plusieurs participants, la combinaison des poussées et des commandes vocales a permis d'identifier l'objectif voulu dans 86% des cas, en cinq interactions maximum, la majorité des essais étant résolus dès la deuxième. Les systèmes dynamiques inférés génèrent aussi des trajectoires courbes capables de contourner des obstacles connus du seul opérateur humain.

Ce travail s'inscrit dans une remise en question des interfaces de téléopération classiques, jugées trop lentes et trop accaparantes pour des tâches de navigation où l'attention devrait rester sur le robot plutôt que sur un périphérique. En montrant qu'un filtre particulaire couplé à un modèle de dynamique linéaire suffit à désambiguïser une intention humaine à partir de signaux épars et bruités, l'étude propose une alternative légère et peu coûteuse en calcul aux architectures d'inférence d'intention plus lourdes, comme les modèles vision-langage-action entraînés sur de vastes corpus de démonstrations. Pour les intégrateurs travaillant sur des robots aériens souples ou des cobots à contact direct, le résultat suggère qu'une interaction physique minimale combinée à la voix peut suffire à obtenir un taux de réussite élevé, sans suivi du regard ni interface graphique complexe. Le chiffre de 86% reste néanmoins à nuancer: il s'agit d'essais contrôlés en laboratoire avec un nombre limité de participants, pas d'un déploiement en environnement opérationnel bruité ou encombré.

Le blimp demeure une plateforme de recherche marginale mais prisée en robotique aérienne pour sa tolérance aux chocs, contrairement aux drones à hélices rigides, ce qui en fait un terrain privilégié pour explorer l'interaction physique homme-robot sans risque de blessure. L'usage d'un filtre particulaire pour estimer en ligne les paramètres d'un système dynamique linéaire s'appuie sur des méthodes bayésiennes classiques, appliquées ici à un cadre nouveau: l'inférence conjointe d'un but et d'un style de mouvement à partir de signaux multimodaux épars plutôt que d'une trajectoire continue enregistrée au joystick. L'article, publié sur arXiv sous l'identifiant 2609.27154, se positionne comme une alternative aux interfaces de téléopération traditionnelles plutôt qu'aux frameworks d'apprentissage par imitation à grande échelle. Les auteurs ne mentionnent ni calendrier de transfert vers d'autres plateformes (drones rigides, robots terrestres compliants, bras collaboratifs) ni partenariat industriel: le travail reste, à ce stade, une validation expérimentale en laboratoire.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

PreferenceFlow : guidage à l'inférence des politiques robotiques à flow matching à partir des interventions humaines

Des chercheurs proposent PreferenceFlow, une méthode qui améliore au moment de l'inférence une politique robotique « flow-matching » déjà entraînée, sans signal de récompense et sans modifier ses poids. Le principe : lorsqu'un opérateur humain reprend la main sur le robot, son segment d'action (« chunk ») est apparié à celui que le robot aurait généré depuis le même état de conditionnement. Ces paires servent à entraîner un modèle de préférence. À l'inférence, les auteurs reprennent la mise à jour d'échantillonnage QGF, en remplaçant son gradient de valeur par le gradient de préférence, calculé sur une estimation de l'action « propre ». Deux termes de perte encadrent ce guidage : une perte de plafonnement limite les gradients excessifs sur les paires d'intervention, et une perte de gradient nul décourage tout guidage près des actions issues de démonstrations expertes. Sur quatre tâches réelles d'insertion de précision avec un bras Franka, le taux de succès moyen atteint 90,5 %, contre 69 % pour la politique figée. Le travail est publié sur arXiv (2609.36872, première version) et n'a pas encore été relu par des pairs. L'enjeu est très concret pour les intégrateurs. Les politiques génératives (flow-matching ou diffusion, dont la famille Pi-0) savent exprimer des comportements complexes, mais elles dérapent face aux décalages de distribution rencontrés en production : une pièce légèrement déplacée, un jeu d'ajustement différent. Les correctifs classiques par apprentissage par renforcement exigent une fonction de récompense difficile à écrire en manipulation réelle, et un réentraînement du modèle de base. Ici, la correction passe par des interventions de téléopérateurs, déjà courantes en déploiement, sans toucher aux poids, ce qui simplifie la validation et évite de dégrader les compétences existantes. Le gain de plus de 21 points sur des insertions de précision est significatif, mais des réserves s'imposent : quatre tâches, un seul type de robot (Franka), aucun chiffre fourni sur le nombre d'interventions nécessaires ni sur le temps de cycle ou le surcoût de calcul du guidage. Les ablations indiquent que la régularisation des gradients et l'ordre correct des étiquettes de préférence comptent, mais seulement « dans les conditions évaluées ». Ce travail s'inscrit dans une série de méthodes visant à corriger les politiques VLA et génératives après entraînement : apprentissage à partir d'interventions humaines (type HG-DAgger), guidage par fonction de valeur (QGF, sur lequel PreferenceFlow s'appuie) et affinage par renforcement, plus lourd. L'approche par préférences locales se positionne entre ces options, avec un coût d'annotation réduit à des corrections ponctuelles. Les prochaines étapes à surveiller sont la démonstration sur d'autres embodiments, sur des politiques de grande taille comme Pi-0 ou GR00T, et sur des tâches longues, ainsi que la mesure de la latence ajoutée, déterminante pour la commande en temps réel. Aucun déploiement industriel ni produit n'est annoncé : il s'agit d'un résultat de recherche.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Raisonnement cognitif pour l'action de robots proactifs à partir d'observations multimodales centrées sur l'humain

Des chercheurs publient sur arXiv (référence 2609.23486, avec pour type d'annonce "new", donc une première soumission datée de septembre 2026) un article qui formule ProRobo (Proactive Robot Action Reasoning), un nouveau problème de raisonnement cognitif pour robots d'assistance : déterminer quelle action entreprendre à partir d'indices humains et environnementaux multimodaux, sans instruction explicite. Pour l'étudier, l'équipe construit ProAction, un jeu de données réel de 10 000 échantillons combinant observations visuelles, signaux audio et texte, couvrant 12 scénarios de vie quotidienne répartis dans cinq scènes courantes. Les annotations d'action de haut niveau proviennent d'un pipeline en deux étapes associant humains et modèles : une génération de candidats guidée par une théorie de l'évaluation cognitive (appraisal), puis un raffinement humain informé par une théorie de l'esprit affective, qui intègre explicitement l'état de la personne, l'urgence, la faisabilité et le risque potentiel dans chaque annotation. Sur cette base, les auteurs évaluent plusieurs grands modèles de langage multimodaux (MLLM) généralistes et présentent MMC2Act, un modèle de référence entraîné à faire correspondre observations multimodales et actions cognitives de haut niveau, testé sur différents réglages de modalités, une généralisation à des sujets non vus à l'entraînement, un transfert inter-jeux de données et une évaluation humaine. Le résultat central est que les MLLM généralistes peinent à raisonner de façon proactive à partir d'indices multimodaux, tandis qu'un entraînement sur ProAction améliore nettement les performances. Pour l'industrie robotique, ce travail cible un maillon encore peu documenté : la couche de décision en amont de l'action, celle qui doit repérer qu'une personne a besoin d'aide avant même qu'elle ne formule une demande, une capacité clé pour les robots d'assistance domestique ou de service vendus comme "autonomes". L'article souligne aussi l'écart entre les modèles de fondation génériques, entraînés sur des corpus web, et les exigences d'un contexte social et physique réel : sans données annotées selon un cadre affectif et contextuel explicite, ces modèles restent de mauvais juges de l'urgence ou du risque. Pour les intégrateurs et décideurs B2B évaluant des plateformes d'assistance, le papier rappelle que la promesse d'autonomie proactive dépend moins de la puissance brute d'un MLLM que de la qualité et de la structure des données liées au contexte humain, un point souvent minimisé dans les discours commerciaux. Ce travail s'inscrit dans la lignée des efforts récents sur l'assistance robotique proactive, un axe encore marginal comparé aux grands jeux de données orientés instructions explicites ou contrôle bas niveau qui dominent l'apprentissage robotique actuel. Les auteurs positionnent ProAction comme comblant un manque : les ressources existantes couvrent soit d'autres contextes, soit d'autres niveaux d'action, sans traiter la prise de décision multimodale humaine en conditions réelles. Il s'agit à ce stade d'une contribution de recherche en prépublication sur arXiv, sans lien mentionné avec un déploiement robotique physique, un partenaire industriel ou un calendrier de commercialisation : le jeu de données et MMC2Act sont évalués sur des benchmarks de raisonnement, pas sur un robot exécutant physiquement ces actions. La suite logique, non détaillée dans l'article, serait d'intégrer ce raisonnement cognitif en amont dans une pile robotique complète couplée à des modules d'exécution physique, à l'image des approches VLA comme Pi-0 ou GR00T N2 qui traitent la partie aval du problème.

RecherchePaper

1 source

3arXiv cs.RO

FACT : un modèle fondation multimodal force-action-trajectoire pour la dextérité du robot à partir de l'humain

FACT (Force-Action-Track), un modèle de fondation robotique décrit dans un preprint arXiv (2610.19155), vise un des angles morts de la manipulation dextre: l'absence de mesures de force dans la plupart des jeux de données de démonstrations humaines. Les auteurs introduisent EgoForce, un jeu de données tactile humain à grande échelle qui capture des gestes riches en interaction, combiné à des démonstrations robot pour le pré-entraînement. L'architecture est en cascade et repose sur deux composants entraînés conjointement. Un planificateur grossier guidé par les tracks prédit simultanément les actions, la vidéo future et des trajectoires visuelles de points (tracks). Un raffineur force-action prédit ensuite la force future et corrige l'action grossière, de sorte que force anticipée et action se façonnent mutuellement. L'évaluation porte sur dix tâches exigeant coordination fine et retour d'effort, dont l'usage d'outils, les instruments de musique et des procédures de laboratoire de précision. Avec seulement 10 trajectoires robot et 90 trajectoires humaines pour le fine-tuning, FACT dépasse les deux références testées, avec des gains de taux de réussite allant jusqu'à 60 points face à T-Rex. L'intérêt tient à la question de l'échelle. Collecter des données robot par téléopération reste coûteux et lent, alors que les démonstrations humaines sont bien moins chères, mais elles manquaient jusqu'ici de la dimension force, pourtant décisive pour visser, presser, pipeter ou jouer d'un instrument. Les ablations indiquent que la supervision de force dans les données humaines de pré-entraînement est déterminante pour la performance robot après fine-tuning, tandis que la prédiction de tracks visuels et de force future améliore l'exécution dextre. Les expériences faisant varier le ratio humain/robot suggèrent que FACT apprend des démonstrations humaines presque aussi efficacement que de démonstrations robot. Si cela se confirme, c'est un argument en faveur de pipelines où l'essentiel des données vient d'opérateurs équipés de capteurs plutôt que de flottes de robots. Les réserves sont classiques: il s'agit d'un résultat de laboratoire sur dix tâches, avec peu de détails dans le résumé sur le matériel, le nombre d'essais ou la solidité des deux références, et le chiffre de 60 points est un maximum, non une moyenne. Ce travail s'inscrit dans la course aux modèles vision-langage-action (VLA) et aux approches de co-entraînement humain-robot, où des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) misent surtout sur la vision et la proprioception, la force restant le plus souvent absente. Le transfert entre morphologies via la vidéo future et les tracks relève d'une piste déjà explorée, que FACT complète par une couche tactile. Reste à voir si EgoForce sera publié et si les résultats se reproduiront hors du laboratoire d'origine, sur d'autres mains robotiques et en environnement industriel. Aucun déploiement ni calendrier commercial n'est annoncé: il s'agit d'une contribution de recherche.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Un cadre de fusion multimodale sensible à la confiance pour la collaboration humain-robot industrielle

Une équipe de recherche présente CAMF (Confidence-Aware Multimodal Fusion), un système de fusion multimodale conçu pour prédire l'intention humaine dans la collaboration homme-robot industrielle, décrit dans un article publié le 10 septembre 2026 sur arXiv (2609.10339v1). Le framework combine quatre types de signaux hétérogènes: la pose 6D des objets manipulés, le regard de l'opérateur, le mouvement squelettique et le mouvement de la main mesuré par capteur IMU. Un mécanisme de fusion dynamique piloté par la tendance de confiance est intégré à un réseau BiLSTM pour pondérer en temps réel la fiabilité de chaque modalité, complété par une stratégie d'apprentissage équilibré et un mécanisme de gel de confiance qui limite le bruit des capteurs de mauvaise qualité. Les auteurs ont validé l'approche sur une plateforme physique construite autour du bras collaboratif UR3 d'Universal Robots (Danemark), obtenant un taux de reconnaissance d'intention de 91,86%, supérieur selon eux aux approches de fusion multimodale existantes en précision comme en stabilité, y compris en conditions de faible luminosité ou d'occlusion partielle. Pour l'industrie de la cobotique, ce travail illustre une tendance de fond: la fiabilité de la perception d'intention, plus que la robotique elle-même, conditionne l'adoption des cellules homme-robot collaboratives en assemblage. La capacité à pondérer dynamiquement des capteurs peu coûteux (caméra, IMU) plutôt que de dépendre d'un seul flux répond directement au problème classique de dégradation en environnement réel, un des points faibles régulièrement pointés dans les démonstrations de cobotique. Le chiffre de 91,86% reste toutefois une mesure obtenue sur un banc d'essai contrôlé, sans détail public sur la taille du jeu de test ni sur les tâches couvertes au-delà de l'assemblage, ce qui appelle prudence avant extrapolation à des lignes de production réelles. Ce travail s'inscrit dans la lignée des recherches académiques sur la fusion de capteurs pour la cobotique, un domaine où les architectures purement visuelles ou purement inertielles montrent des limites en environnement industriel bruité. Aucune date de transfert industriel ni partenariat constructeur n'est annoncée à ce stade; il s'agit d'une publication de recherche, non d'un produit commercialisé.

UELe système CAMF est valide sur un bras collaboratif UR3 du fabricant danois Universal Robots, mais reste un travail de recherche académique sans déploiement industriel ni partenariat constructeur annonce en France ou en UE.

RecherchePaper

1 source