RecherchearXiv cs.RO 5 juin 2026

Un cadre conversationnel pour la manipulation collaborative humain-robot avec des modèles d'IA générative distribués

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs de l'Université de Tampere (Finlande) publient sur arXiv (2606.06061) un framework distribué permettant à un opérateur humain de piloter un robot manipulateur par commandes vocales ou textuelles en langage naturel. L'architecture repose sur ROS 2, avec quatre nœuds indépendants : compréhension linguistique (LLM local), ancrage visuel (VLM), orchestration, et exécution moteur. À partir d'une instruction libre, le système génère des requêtes structurées pour des tâches de saisie, dépose et transfert d'objet. Le VLM retourne des cibles en espace-image, ensuite converties en objectifs métriques dans le référentiel robot grâce à la profondeur et à la calibration. Les expériences sont menées sur un bras Franka FR3 ; les auteurs mesurent la fiabilité bout-en-bout et la latence en faisant varier le degré d'ambiguïté de la scène sur la table de travail, et comparent plusieurs configurations LLM/VLM dans le même pipeline. Un tableau de bord web affiche les intentions intermédiaires et les superpositions d'ancrage visuel (pixel, profondeur, référentiel robot), et exige une confirmation explicite de l'opérateur avant tout mouvement.

L'intérêt principal de cette approche pour un intégrateur ou un COO industriel tient à trois points. Premièrement, le choix de modèles locaux, pas de dépendance cloud, répond directement aux contraintes de latence et de confidentialité en environnement de production. Deuxièmement, la modularité ROS 2 permet de substituer un modèle par un autre sans refondre la stack, ce qui facilite le benchmarking et la mise à jour. Troisièmement, la boucle de confirmation opérateur est un signal clair que les auteurs ne cherchent pas à masquer le gap demo-versus-réalité : le système ne prétend pas être autonome, il vise une collaboration vérifiable. À noter que les métriques de fiabilité ne sont pas chiffrées dans l'abstract, les résultats quantitatifs précis restent à vérifier dans le corps du papier.

Ce travail s'inscrit dans un courant de recherche actif autour des VLA (vision-language-action) pour la manipulation, où Physical Intelligence (Pi-0), Google DeepMind (RT-2, π0) et Stanford (Mobile ALOHA) occupent le devant de la scène avec des approches end-to-end à grande échelle. Le choix de Tampere d'utiliser des modèles légers et locaux contraste délibérément avec ces acteurs : c'est un positionnement orienté déploiement industriel frugal plutôt que performance brute. Le code est disponible en open source sur GitHub (cogrob-tuni/franka-llm), ce qui facilite la reproductibilité. La prochaine étape logique serait d'étendre le framework à des scènes dynamiques ou multi-robots, et de publier des benchmarks comparatifs sur des tâches standardisées comme celles de RoboAgent ou BridgeData.

Impact France/UE

Travaux issus de l'Université de Tampere (Finlande, UE) proposant une architecture LLM/VLM entièrement locale et open source pour la manipulation collaborative, directement alignée sur les contraintes RGPD et de souveraineté industrielle du marché européen.

Dans nos dossiers

Physical Intelligence — π0 OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprendre à assister : des modèles VLA collaboratifs pour la coopération implicite humain-robot

Des chercheurs ont publié le 12 juin 2026 (arXiv:2606.12475) une étude sur l'usage de modèles vision-langage-action (VLA) entraînés par imitation learning pour la collaboration humain-robot (HRC) implicite, sans signal explicite déclenchant l'assistance robotique. Évaluant deux VLA de référence sur des tâches d'assemblage collaboratif, l'équipe identifie un défaut propre aux politiques d'action-chunking : la "fuite d'actions de démonstration" (demonstration action leakage). Ce phénomène survient lorsque des chunks d'actions enjambent des transitions latentes de sous-tâches, poussant le robot à assister l'humain trop tôt, comme tendre un outil avant que l'opérateur soit prêt à le saisir. Pour corriger ce comportement sans réentraîner le modèle, les auteurs proposent un pilotage à l'inférence (inference-time steering). Une étude à 16 participants sur une tâche d'assemblage longue horizon confirme que le steering réduit les interventions prématurées, accélère la collaboration et diminue les échecs par rapport à une politique à horizon court. Ce résultat ouvre une voie concrète pour l'intégration des VLA dans des workflows industriels collaboratifs, jusqu'ici dépendants de pipelines codés à la main, peu scalables vers de nouvelles tâches. La fuite d'actions constitue un avertissement direct pour les équipes déployant des politiques ACT ou diffusion en mode HRC : allonger l'horizon d'exécution, souvent souhaitable pour la fluidité du mouvement, aggrave le problème. Le steering à l'inférence fournit un correctif opérationnel sans modification du modèle entraîné, ce qui le rend attractif pour un déploiement rapide. Les VLA généralistes comme Pi-0 (Physical Intelligence), OpenVLA ou GR00T N2 (NVIDIA) ont prouvé leur efficacité en manipulation autonome, mais leur usage en HRC implicite restait peu documenté. Cette publication comble ce manque méthodologique. En Europe, des acteurs comme Enchanted Tools et Wandercraft, dont les robots sont conçus pour opérer aux côtés d'humains, pourraient réduire leur charge d'ingénierie manuelle en s'appuyant sur ces résultats. La prochaine étape sera d'étendre la méthode à des environnements industriels non contrôlés et à des tâches encore plus longues, afin d'évaluer la robustesse du steering face à la variabilité réelle des comportements humains.

UEEnchanted Tools et Wandercraft, acteurs européens de la robotique collaborative, pourraient réduire leur charge d'ingénierie manuelle en adoptant le steering à l'inférence pour corriger la fuite d'actions dans leurs déploiements VLA, sans réentraîner leurs modèles.

RechercheOpinion

1 source

2arXiv cs.RO

CoViLLM : un cadre collaboratif adaptatif humain-robot pour l'assemblage, basé sur des grands modèles de langage

Des chercheurs présentent CoViLLM, un framework de collaboration homme-robot pour l'assemblage adaptatif, décrit dans une prépublication arXiv (2603.11461v3, version révisée). Le système combine trois briques : une localisation d'objets par caméra de profondeur pour estimer la position des pièces, une classification opérée par l'humain pour identifier les composants nouveaux ou non répertoriés, et un grand modèle de langage chargé de générer les plans de tâches d'assemblage à partir d'instructions en langage naturel. Les auteurs valident leur approche sur le NIST Assembly Task Board, un banc d'essai standardisé de référence pour l'évaluation de systèmes d'assemblage robotique, en testant trois scénarios distincts : produits connus, produits personnalisés, et produits totalement inédits pour le robot. L'enjeu dépassé ici est celui de la rigidité des robots industriels classiques, programmés selon des règles fixes et donc mal adaptés à la personnalisation de masse, un défi central pour les lignes de production modernes. Les frameworks de collaboration homme-robot existants s'appuient généralement sur des pipelines de perception-manipulation prédéfinis, ce qui les empêche de générer eux-mêmes des plans pour assembler un produit jamais vu. CoViLLM prétend lever cette limite en confiant au LLM la planification de tâches à la volée, ce qui, si les résultats se confirment à plus grande échelle, intéresserait directement les intégrateurs et fabricants cherchant à réduire les coûts de reprogrammation lors de changements de variantes produit, un enjeu récurrent dans l'électronique, l'automobile ou les biens de consommation. Les résultats publiés restent toutefois limités à un banc d'essai de laboratoire, et non à une chaîne de production réelle, ce qui appelle à la prudence sur la généralisation immédiate. Ce travail s'inscrit dans la vague de recherches associant modèles de langage et robotique manipulatrice, où les LLM sont de plus en plus testés comme couche de raisonnement au-dessus de pipelines de perception classiques plutôt que comme modèles vision-langage-action de bout en bout. Le choix du NIST Assembly Task Board comme référence permet une comparaison future avec d'autres approches de la communauté robotique académique, sans toutefois indiquer à ce stade de partenariat industriel ou de calendrier de déploiement au-delà du cadre expérimental décrit.

RecherchePaper

1 source

3arXiv cs.RO

Un cadre de fusion multimodale sensible à la confiance pour la collaboration humain-robot industrielle

Une équipe de recherche présente CAMF (Confidence-Aware Multimodal Fusion), un système de fusion multimodale conçu pour prédire l'intention humaine dans la collaboration homme-robot industrielle, décrit dans un article publié le 10 septembre 2026 sur arXiv (2609.10339v1). Le framework combine quatre types de signaux hétérogènes: la pose 6D des objets manipulés, le regard de l'opérateur, le mouvement squelettique et le mouvement de la main mesuré par capteur IMU. Un mécanisme de fusion dynamique piloté par la tendance de confiance est intégré à un réseau BiLSTM pour pondérer en temps réel la fiabilité de chaque modalité, complété par une stratégie d'apprentissage équilibré et un mécanisme de gel de confiance qui limite le bruit des capteurs de mauvaise qualité. Les auteurs ont validé l'approche sur une plateforme physique construite autour du bras collaboratif UR3 d'Universal Robots (Danemark), obtenant un taux de reconnaissance d'intention de 91,86%, supérieur selon eux aux approches de fusion multimodale existantes en précision comme en stabilité, y compris en conditions de faible luminosité ou d'occlusion partielle. Pour l'industrie de la cobotique, ce travail illustre une tendance de fond: la fiabilité de la perception d'intention, plus que la robotique elle-même, conditionne l'adoption des cellules homme-robot collaboratives en assemblage. La capacité à pondérer dynamiquement des capteurs peu coûteux (caméra, IMU) plutôt que de dépendre d'un seul flux répond directement au problème classique de dégradation en environnement réel, un des points faibles régulièrement pointés dans les démonstrations de cobotique. Le chiffre de 91,86% reste toutefois une mesure obtenue sur un banc d'essai contrôlé, sans détail public sur la taille du jeu de test ni sur les tâches couvertes au-delà de l'assemblage, ce qui appelle prudence avant extrapolation à des lignes de production réelles. Ce travail s'inscrit dans la lignée des recherches académiques sur la fusion de capteurs pour la cobotique, un domaine où les architectures purement visuelles ou purement inertielles montrent des limites en environnement industriel bruité. Aucune date de transfert industriel ni partenariat constructeur n'est annoncée à ce stade; il s'agit d'une publication de recherche, non d'un produit commercialisé.

UELe système CAMF est valide sur un bras collaboratif UR3 du fabricant danois Universal Robots, mais reste un travail de recherche académique sans déploiement industriel ni partenariat constructeur annonce en France ou en UE.

RecherchePaper

1 source

4arXiv cs.RO

H2R-Bench : évaluation de la génération vidéo de manipulation humain-robot dans les modèles du monde

Des chercheurs ont publié le 14 août 2026 sur arXiv (2608.13049) un nouveau benchmark baptisé H2R-Bench, conçu pour évaluer la capacité des modèles de génération vidéo à transformer des démonstrations de manipulation humaines filmées à la première personne en vidéos de manipulation robotique correspondant à un embodiment cible. Chaque instance du benchmark associe une vidéo de démonstration humaine, des contraintes d'embodiment robotique, et des annotations ancrées dans la source couvrant les objectifs de tâche, les événements d'action, les contacts fonctionnels et les réactions des objets manipulés. L'évaluation repose sur cinq dimensions : l'atteinte de l'état final visé, la complétude des événements d'action, le transfert des contacts fonctionnels, la cohérence de l'embodiment et la qualité vidéo générale. Les auteurs ont testé onze modèles de génération vidéo de pointe sur six familles de tâches de manipulation et deux embodiments robotiques distincts. Résultat principal : même les modèles les plus performants échouent souvent sur la cohérence d'embodiment, l'interaction fonctionnelle avec les objets et l'exécution correcte de la tâche. Ce constat touche un point sensible de l'apprentissage robotique : la collecte de démonstrations réelles sur robot reste coûteuse et difficile à faire monter en échelle, alors que les vidéos humaines égocentriques sont abondantes et bon marché. Convertir ces vidéos humaines en données d'entraînement robot-centriques via des modèles de monde vidéo est envisagé depuis plusieurs mois comme une voie pour contourner ce goulot d'étranglement, notamment pour entraîner des politiques VLA. H2R-Bench montre que cette promesse reste largement non tenue en pratique : la différence morphologique entre mains humaines et effecteurs robotiques continue de casser la cohérence physique des vidéos générées. Pour les intégrateurs et laboratoires qui envisagent la génération vidéo synthétique comme substitut à la téléopération, ce résultat invite à la prudence sur la maturité réelle de cette approche. Le travail s'inscrit dans la vague plus large des modèles de monde vidéo appliqués à la robotique, où la génération vidéo sert de plus en plus de brique de simulation ou de source de données synthétiques. Jusqu'ici, l'évaluation de ces modèles se limitait souvent à la qualité visuelle brute, sans mesurer si la vidéo générée respecte les contraintes physiques et fonctionnelles d'un robot donné. H2R-Bench comble ce vide avec un cadre diagnostique systématique et réutilisable pour les futurs modèles. Il ne s'agit pas d'une annonce produit ni d'un partenariat industriel, mais d'un travail de recherche évaluative destiné à orienter la prochaine génération de modèles capables de combler l'écart d'embodiment entre humains et robots.

RecherchePaper

1 source