Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
HATS : système de téléopération humain-agent pour la collecte de données multi-bras
RecherchearXiv cs.RO 

HATS : système de téléopération humain-agent pour la collecte de données multi-bras

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (référence 2606.16491) un système de télé-opération baptisé HATS (Human-Agent Teleoperation System), conçu pour collecter des données d'entraînement dans des configurations à quatre bras robotiques. Le principe repose sur un découplage du contrôle : un seul opérateur humain télé-opère deux bras principaux directement, tandis qu'un agent basé sur un MLLM (modèle de langage multimodal à grande échelle, non spécifié dans le papier) gère deux bras assistants de façon autonome, sans phase d'entraînement préalable. L'opérateur peut en temps réel corriger le comportement des bras assistants et prévenir des collisions via commandes vocales. Selon les auteurs, l'efficacité de collecte et les taux de réussite obtenus avec HATS sont comparables à ceux d'équipes de deux opérateurs experts humains.

Le problème que HATS tente de résoudre est structurant pour le secteur : les scénarios de manipulation industrielle complexes nécessitent souvent plus de deux bras, mais les systèmes de télé-opération existants imposent un arbitrage difficile entre charge cognitive (un seul opérateur gérant tout) et coût de coordination (plusieurs opérateurs synchronisés). En déléguant les sous-tâches à un agent MLLM, HATS réduit la charge sur l'humain sans multiplier les intervenants. Les évaluations en aval (downstream policy evaluations) suggèrent que les données collectées produisent des politiques de manipulation efficaces, mais ces résultats restent auto-rapportés et n'ont pas encore été validés de façon indépendante. La robustesse sur des tâches longues ou à haute précision, là où des corrections vocales pourraient s'avérer insuffisantes, n'est pas encore documentée.

La collecte de démonstrations téléopérées est aujourd'hui le principal goulot d'étranglement pour entraîner des politiques de manipulation polyvalentes, notamment dans les approches VLA (Vision-Language-Action, architectures combinant perception visuelle, compréhension du langage et génération d'actions). Des systèmes comme ALOHA de Stanford ou les configurations bimanuelless d'Agility Robotics reposent sur des datasets construits par télé-opération humaine à deux bras. HATS étend cette approche à quatre bras en s'appuyant sur les capacités de raisonnement spatial des MLLM récents pour automatiser les bras secondaires. Cette direction est à suivre de près : si elle se généralisait, elle réduirait significativement le coût humain de construction des datasets d'imitation, un verrou majeur pour le passage à l'échelle des robots manipulateurs.

Dans nos dossiers

Agility Robotics — DigitarXiv cs.RO

À lire aussi

MATE : plateforme de téléopération virtuelle multi-agents pour la collecte de données de collaboration humanoïde
1arXiv cs.RO 

MATE : plateforme de téléopération virtuelle multi-agents pour la collecte de données de collaboration humanoïde

Une équipe de recherche présente MATE, une plateforme de téléopération virtuelle multi-agents conçue pour collecter des données de collaboration entre robots humanoïdes, décrite dans un article déposé sur arXiv (2609.26520v1). Le système permet à plusieurs opérateurs situés dans des lieux géographiquement distincts de piloter simultanément des humanoïdes corps entier dans un même environnement virtuel basé sur un moteur physique, sans avoir besoin de robots physiques multiples ni de colocaliser les opérateurs, tout en conservant des interactions physiquement couplées entre les robots, les objets et l'environnement. Les auteurs ont constitué avec cet outil un jeu de données de 24,1 heures de comportements coordonnés, réparties en 2 500 épisodes conjoints couvrant cinq tâches à long horizon : transfert d'objets entre robots, livraison en relais, interaction avec l'environnement et transport coopératif. Pour exploiter efficacement ces démonstrations riches en interactions, l'équipe introduit aussi EAIS (Execution-Aligned Interaction Sampling), une stratégie d'échantillonnage qui calcule des signaux dans un préfixe aligné sur l'exécution réelle et priorise les comportements critiques pour la progression de la tâche et pour l'interaction entre agents. Les politiques d'apprentissage par imitation et de type vision-langage-action testées sur ces données ont montré un transfert zero-shot vers un humanoïde physique, sans réglage fin supplémentaire dans le monde réel. Ce travail s'attaque à un goulot d'étranglement connu de la robotique humanoïde : la quasi-totalité des pipelines de données existants se concentrent sur un seul agent, alors que la collaboration physique entre plusieurs robots reste difficile à faire passer à l'échelle à cause du coût du matériel, des espaces dédiés nécessaires et des remises en configuration répétées entre chaque essai. En déplaçant la collecte dans un environnement simulé partagé, MATE promet de réduire drastiquement ces coûts tout en gardant la donnée exploitable pour l'entraînement de politiques réelles. Le résultat le plus notable pour les intégrateurs et les équipes de recherche appliquée est ce transfert zero-shot vers le monde réel sans fine-tuning : s'il se confirme au-delà des conditions de l'étude, il viendrait étayer l'idée qu'un volume suffisant de données simulées bien échantillonnées peut suffire à combler l'écart simulation-réel pour des tâches de manipulation coopérative, une hypothèse encore débattue dans le secteur. MATE s'inscrit dans la lignée des plateformes de téléopération virtuelle déjà utilisées pour générer des données d'entraînement à moindre coût, mais se distingue en visant spécifiquement la coordination entre plusieurs humanoïdes plutôt que l'agent unique, un axe encore peu couvert par les pipelines publics existants. L'article ne mentionne ni partenaire industriel ni acteur français ou européen associé au projet, et reste à ce stade une publication de recherche accompagnée d'une page projet (yerik-yu.github.io/MATE) plutôt qu'un produit ou un déploiement commercial. Les prochaines étapes attendues, non détaillées dans le résumé, porteraient vraisemblablement sur l'extension du nombre de tâches couvertes et sur des validations à plus grande échelle sur robots physiques.

RecherchePaper
1 source
Apprentissage de politiques ancrées en simulation pour la manipulation bimanuelle de corde à partir de données de téléopération humaine
2arXiv cs.RO 

Apprentissage de politiques ancrées en simulation pour la manipulation bimanuelle de corde à partir de données de téléopération humaine

Une équipe de recherche publie sur arXiv (ref. 2605.16043) une étude comparative sur la manipulation bimanuelle de cordes par robot, en se concentrant sur la tâche de démêlage de nœuds. Les chercheurs ont entraîné deux politiques de contrôle basées sur le framework ACT (Action Chunking with Transformers) à partir des mêmes données de télé-opération humaine : la première reçoit en entrée deux flux vidéo RGB provenant de caméras montées sur les poignets du robot, la seconde utilise un état 3D particulaire de la corde, extrait par fusion multi-vues puis propagé dans un simulateur xPBD (eXtended Position-Based Dynamics). Évaluée en boucle ouverte sur une configuration de corde inédite, la politique à base d'état réduit l'erreur L1 de 30,8 % sur l'action initiale de saisie et de traction, par rapport à son homologue visuelle. Ce résultat isole une cause souvent sous-estimée des échecs de généralisation en apprentissage par imitation : non pas l'architecture du réseau ni le volume de données, mais l'espace d'observation lui-même. Les objets linéaires déformables (DLO) comme les câbles et les cordes posent un problème d'auto-occultation fréquente sous caméra ego-centrique, rendant la perception purement visuelle peu robuste sur des configurations non vues à l'entraînement. En ancrant la représentation dans un état physique cohérent simulé par xPBD, les chercheurs comblent partiellement ce "gap d'observabilité" entre pixels bruts et état mécanique réel, ouvrant la voie à un apprentissage plus efficace en données depuis un faible nombre de démonstrations humaines. La manipulation de DLOs est un problème ouvert de longue date en robotique, car leur espace de configuration est théoriquement infini-dimensionnel. L'approche par télé-opération bimanuelle est bien établie depuis les travaux sur ACT (Stanford/Berkeley, 2023), mais sa dépendance à de grands volumes de données limite la scalabilité industrielle. Cette étude s'inscrit dans un courant qui cherche à compenser le manque de données par une meilleure structure de représentation, comparable aux travaux sur les VLA (Vision-Language-Action models) mais ici centré sur la physique plutôt que le langage. Les prochaines étapes naturelles incluent la validation en boucle fermée et l'évaluation sur des câbles industriels, contexte où des acteurs comme Cobot Systems ou des labos européens spécialisés câblage automobile pourraient trouver un intérêt direct.

UEImpact indirect : les équipementiers et laboratoires européens spécialisés dans le câblage automobile pourraient exploiter cette approche pour réduire le volume de données de téléopération requis, un goulot d'étranglement réel dans ce secteur.

RecherchePaper
1 source
Planification de mouvement coordonnée pour systèmes multi-bras via jeux LQ itératifs
3arXiv cs.RO 

Planification de mouvement coordonnée pour systèmes multi-bras via jeux LQ itératifs

Un preprint publie le 31 aout 2026 sur arXiv (2608.27726) présente un cadre de planification de mouvement pour plusieurs bras robotiques a haut nombre de degrés de liberté partageant un même espace de travail. Baptise "itérative LQ game", il modelise chaque manipulateur comme un agent indépendant optimisant son propre objectif tout en tenant compte de l'état global et des contraintes de collision imposées par les autres bras. L'algorithme résout une succession de jeux linéaires-quadratiques locaux, linéarisé la dynamique autour d'une trajectoire nominale et utilise des récursions de Riccati pour produire des stratégies de "feedback Nash equilibrium", en intégrant des pénalités différentiables contre l'auto-collision et les collisions inter-bras. Les auteurs rapportent des trajectoires plus lisses, plus sures et plus efficaces que les méthodes classiques en haute dimension, sans préciser de chiffres de temps de cycle, de charge utile ni de plateforme testée. Cette approche s'attaque a un compromis classique de la robotique industrielle multi-bras: les planificateurs centralises restent cohérents mais passent mal a l'échelle, tandis que les approches décentralisées peinent a garantir sécurité et robustesse en temps réel. En traitant chaque bras comme un joueur dans un jeu différentiel plutôt qu'un sous-système isole, le framework vise une coordination calculable en haute dimension, un enjeu pour les intégrateurs qui font travailler plusieurs manipulateurs sur une même cellule. Si ces résultats résistent au-delà des simulations des auteurs, ils confirmeraient que la théorie des jeux peut aussi s'appliquer aux bras articules, une piste jusqu'ici surtout explorée pour la conduite autonome multi-véhicules. Le travail prolonge une lignée de recherches sur les jeux LQ itératifs déjà utilises pour modéliser les interactions entre véhicules autonomes, en l'adaptant pour la première fois de façon explicite aux systèmes multi-bras, ou l'auto-collision et l'encombrement partage compliquent le problème. Aucun laboratoire ni industriel n'est identifie dans le preprint, qui reste un travail purement algorithmique sans affiliation commerciale revendiquée. Simple preprint de recherche sans validation matérielle annoncée, il s'agit d'une avancée méthodologique et non d'un produit: la suite logique serait un test sur des bras collaboratifs réels pour vérifier si les gains observes en simulation résistent au bruit du monde physique.

RecherchePaper
1 source
MEVION : système de collecte de données open source à faible coût pour la manipulation à deux bras rapide et puissante
4arXiv cs.RO 

MEVION : système de collecte de données open source à faible coût pour la manipulation à deux bras rapide et puissante

Une équipe de recherche a dévoile MEVION, un système de collecte de données pour bras robotique bimanual pense pour dépasser les limites du célèbre ALOHA, standard de facto pour la téléopération a bas cout dans la recherche en apprentissage par imitation. Presente dans un article publie sur arXiv (2607.17970), MEVION embarque quatre bras a 6 degrés de liberté (DoF) équipes de pinces parallèles. Chaque bras pèse 7,0 kg et développe un couple maximal de 60 Nm, largement au-dessus de ce que permet ALOHA, pour un cout total de construction d'environ 14 000 dollars. Toutes les pièces sont sourcées via des sites d'e-commerce standard, et la structure principale, de grande taille, est assemblée par soudure de tôle avec un nombre réduit de composants, ce qui simplifie le montage. Point technique clé: l'articulation du coude reprend un mécanisme a liaison fermée, une architecture habituellement réservée aux robots quadrupèdes, qui réduit la masse distale du bras et permet ainsi de générer plus de force et de vitesse au niveau de l'effecteur terminal. L'ensemble du matériel et du logiciel est publie en open source, disponible sur GitHub (haraduka/mevion). L'enjeu dépasse la seule question matérielle. ALOHA a permis de démocratiser la collecte de démonstrations pour l'apprentissage par imitation, mais sa faible puissance le cantonne a des taches légères et lentes, incompatibles avec la manipulation d'objets lourds ou les mouvements rapides. En repoussant ces limites tout en gardant un cout de construction comparable, MEVION ouvre la collecte de données a des taches jusqu'ici hors de portée des plateformes bas cout: manipulation d'objets pesants, gestes dynamiques, cycles rapides. Pour les laboratoires qui entrainent des modèles de type VLA ou des politiques d'imitation, cela signifie un accès a des jeux de données plus diversifies sans recourir a des bras industriels couteux. C'est un signal notable dans la course mondiale aux modèles fondamentaux pour la robotique, ou la qualité et la variété des démonstrations collectées conditionnent directement les capacités des modèles entraines derrière. ALOHA, popularise notamment via les travaux sur l'apprentissage par imitation fine (ACT), s'est impose depuis plusieurs années comme la référence open source pour la téléopération bimanuale a bas cout, repris par de nombreux laboratoires et startups robotiques a travers le monde. MEVION s'inscrit dans sa continuité directe en visant le même public, chercheurs et petites équipes a budget limite, mais en s'attaquant frontalement au principal reproche adresse a ALOHA: son incapacité a générer des données pour des taches nécessitant force et vitesse. En publiant intégralement le matériel et le code, les auteurs misent sur une adoption communautaire comparable a celle d'ALOHA. Reste a voir si MEVION s'imposera comme un standard alternatif ou complémentaire, alors que la demande en données de démonstration de qualité s'intensifie avec la multiplication des modèles fondamentaux pour la manipulation robotique.

RecherchePaper
1 source