RecherchearXiv cs.RO 31 juillet 2026

Robot2Air : transfert de squelette inter-incarnations pour la formation en relais 3D

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (papier arXiv:2607.27627v1) un système baptisé Arm2Air, qui transfère des compétences d'évitement d'obstacles apprises sur des bras robotiques vers le placement de drones relais formant un réseau de communication d'urgence. Les mouvements d'un bras robotique, générés par un modèle pré-entraîné nommé Neural MP, sont convertis en trajectoires ordonnées servant à pré-entraîner une plateforme de transfert basée sur un transformeur, ensuite adaptée au domaine des drones via une méthode d'adaptation à faible rang (LoRA) avec peu de données cibles. La trajectoire transférée initialise une chaîne de relais optimisée pour la capacité réseau, le délai et le coût de déplacement. Sur neuf cartes urbaines 3D denses en obstacles, Arm2Air réduit de 64,9% le temps de calcul médian par rapport au meilleur planificateur classique. Sur un second jeu de 30 cartes, dans le sous-groupe le plus obstrué, la capacité du goulot d'étranglement augmente de 32,6%, sa variance chute de 74,7%, la distance de saut maximale baisse de 13,2% et le déplacement des relais de 16,9%, comparé à l'algorithme IMPC-MD. Avec seulement trois cartes d'entraînement dans le domaine cible, l'erreur de position des relais chute de 53,6% par rapport à un entraînement from scratch, en ne mettant à jour que 134 000 paramètres contre 1,38 million pour les méthodes classiques.

Ce travail répond à un problème concret : après un sinistre ou une panne réseau, restaurer une connectivité en zone urbaine dense exige de positionner des drones relais en tenant compte simultanément de la ligne de vue, de la portée radio, de l'altitude et des obstacles tridimensionnels, un calcul combinatoire coûteux en temps réel. En montrant qu'un savoir-faire d'évitement d'obstacles appris sur un bras manipulateur, domaine sans contrainte radio ni dynamique de vol, se transfère efficacement à la planification de trajectoires de drones, Arm2Air illustre un principe plus large : des priors structurels ordonnés peuvent traverser des tâches robotiques hétérogènes sans réapprentissage coûteux. Pour les opérateurs de flottes de drones, l'intérêt est double : une replanification plus rapide sur le terrain, et une adaptation à faible coût en données pour chaque nouveau site.

Arm2Air s'inscrit dans une tendance de recherche consistant à réutiliser des modèles pré-entraînés sur une morphologie, souvent des bras manipulateurs, pour accélérer l'apprentissage sur une autre, comme les véhicules aériens, à mesure que des modèles de fondation robotiques tels que Neural MP deviennent des briques réutilisables. Le papier reste un travail académique en preprint, sans acteur industriel identifié ni déploiement réel annoncé, comparé uniquement à des planificateurs conventionnels et à IMPC-MD. La suite logique consisterait à valider l'approche sur des drones physiques plutôt que sur cartes simulées, et à tester le transfert de squelette sur d'autres couples de robots hétérogènes.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

SkelWAM : un modèle du monde et de l'action guidé par squelette pour la manipulation en zéro-shot inter-incarnations

Une équipe de recherche présente SkelWAM, un modèle monde-action guidé par une représentation squelettique qui transfère des compétences de manipulation d'un robot source vers un robot cible différent, sans nouvelle démonstration. Le système encode la géométrie du bras, la pose du point central de l'outil (TCP) et les commandes de pince parallèle dans un état partagé à 25 dimensions, utilisé à la fois pour les observations et pour les actions du corps entier. Un mélange de transformeurs vidéo-action génère ces actions, converties ensuite en commandes articulaires ou en commandes pour robot continuum. Sur le nouveau benchmark LIBERO-Cross10 (dix tâches, dix robots cibles, quatre familles morphologiques), une version entraînée sur un bras Franka obtient 43,3% de réussite sur 1000 épisodes, soit 36,2 points de plus que la meilleure méthode comparée. Une politique entraînée sur un bras JAKA mini2 a aussi été transférée vers le robot continuum Feagine A03, pour trois tâches de manipulation sur table. Ce travail s'attaque à un verrou économique du secteur robotique : la réutilisation de politiques de manipulation d'un robot à l'autre sans nouvelle collecte de données, un frein majeur au déploiement à grande échelle des modèles vision-langage-action (VLA) du type Pi-0 ou GR00T N2. Sans correspondance articulation par articulation ni démonstration sur la tâche cible, l'approche promet de réduire le coût d'adaptation pour les intégrateurs qui exploitent des flottes hétérogènes, bras industriels et robots continuum compris. Le gain de 36,2 points sur les méthodes comparées est net, mais un taux de réussite de 43,3% reste loin d'un niveau exploitable en production, ce qui rappelle que le transfert cross-embodiment demeure un problème largement ouvert malgré ces progrès. L'approche s'inscrit dans la lignée des modèles vision-langage-action généralistes comme Pi-0 ou GR00T N2, mais s'en distingue par une représentation géométrique explicite du bras plutôt qu'un espace d'action appris implicitement. Le benchmark LIBERO-Cross10, introduit avec ce travail, comble l'absence de protocole standardisé pour comparer les méthodes de transfert cross-embodiment. Aucun acteur européen n'apparaît dans cette publication, centrée sur des plateformes Franka, JAKA et Feagine. Au-delà de la démonstration sur le robot continuum Feagine A03, les auteurs ne mentionnent aucun pilote industriel ni calendrier de déploiement : il s'agit pour l'instant d'un résultat de recherche accompagné d'une page projet, sans partenariat commercial annoncé.

RecherchePaper

1 source

2arXiv cs.RO

Skel-WAM : un modèle du monde conditionné par le squelette de la main pour le transfert humain-robot

Des chercheurs ont publié le 21 septembre 2026 sur arXiv (référence 2609.21514) Skel-WAM, un « world action model » qui transfère des démonstrations de manipulation filmées sur des humains vers le contrôle de robots, via une interface commune de squelette de main combinant superpositions squelettiques et points-clés 2.5-D. Un Video Expert et un Keypoint Expert apprennent conjointement la dynamique visuelle et squelettique dans une architecture Mixture-of-Transformers, tandis qu'un Action Expert entraîné uniquement sur des données robot traduit ces prédictions en commandes exécutables, sans nécessiter d'étiquettes d'action sur les vidéos humaines. Sur quatre tâches bimanuelles réelles et sept tâches simulées, le système atteint des taux de réussite moyens de 79,86 % et 63,29 %, devançant la meilleure référence de 22,22 et 8,28 points de pourcentage respectivement. Le co-entraînement humain-robot fait passer la réussite réelle sur des variantes de tâches absentes des données d'entraînement robot de 38,89 % à 86,11 %. Ce résultat s'attaque à un goulot d'étranglement bien connu de la robotique manipulatrice : les démonstrations robot par téléopération sont coûteuses et couvrent mal la diversité des situations réelles, alors que la vidéo humaine est abondante mais souffre d'un écart d'incarnation entre corps humain et bras robotique. En montrant qu'un espace squelettique partagé suffit à superviser conjointement des données humaines et robotiques sans étiquette d'action, l'approche offre aux intégrateurs et laboratoires un moyen concret d'étendre la couverture de tâches d'une politique sans multiplier les campagnes de téléopération. Le bond observé sur les tâches inédites à l'entraînement robot, plus de 47 points grâce au cotraining, suggère que la vidéo humaine comble des trous de distribution plutôt que de simplement gonfler le volume de données, un argument concret dans le débat sur le passage à l'échelle des modèles vision-langage-action. Ces travaux s'inscrivent dans une recherche active sur les world models et les architectures vision-langage-action, où l'écart entre démonstrations humaines et robotiques freine l'apprentissage par imitation à grande échelle. Il s'agit d'une publication arXiv récente, sans mention de revue par les pairs à ce stade, évaluée sur un périmètre restreint de laboratoire, ce qui invite à la prudence avant d'extrapoler ces chiffres à un déploiement industriel. L'article ne nomme aucune entreprise ni plateforme robotique commerciale et ne fixe aucun calendrier de transfert vers un produit ; la contribution reste pour l'instant méthodologique, mais elle rejoint un corpus croissant de travaux cherchant à exploiter la vidéo humaine comme source de données complémentaire pour entraîner des robots manipulateurs généralistes.

RecherchePaper

1 source

3arXiv cs.RO

H2INT : un Transformer d'interactions humain-humain et humain-robot pour naviguer en foule dense et incertaine

Une équipe de recherche publie sur arXiv (référence 2609.05300v1, prépublication de septembre 2026) un nouveau cadre d'apprentissage par renforcement baptisé H2INT, pour Human-Human & Human-Robot Interaction Transformer, destiné à la navigation de robots dans des foules denses et imprévisibles. Le système repose sur un Transformer à portes en deux étapes qui encode progressivement les relations humain-humain puis humain-robot, couplé à une politique récurrente chargée de capturer leur évolution temporelle. Un curriculum d'entraînement réduit graduellement la réactivité simulée des piétons afin de complexifier peu à peu les scénarios d'interaction. Point clé de la méthode : la réactivité des piétons au robot influence la dynamique de la foule dès que le robot est visible, mais n'est jamais fournie en entrée à la politique, qui doit donc en déduire les conséquences à partir des seules positions relatives centrées sur le robot. Les expériences, menées en simulation sur plusieurs niveaux de densité de foule et de réactivité, montrent des gains de sécurité et de robustesse par rapport à des méthodes de référence, ainsi qu'un transfert vers des configurations de flux de foule structurellement différentes sans réentraînement. Un déploiement sur robot réel confirme que la politique apprise fonctionne avec des observations limitées. L'enjeu dépasse l'exercice académique : la plupart des politiques de navigation sociale entraînées par apprentissage traitent le mouvement des piétons comme indépendant du robot, ou supposent une réciprocité uniforme entre individus, ce qui ignore une source majeure d'incertitude dans les environnements réels. En modélisant explicitement comment la présence du robot modifie le comportement humain, sans imposer cette information comme donnée d'entrée artificielle, H2INT s'attaque directement à un angle mort connu des robots mobiles autonomes appelés à opérer en entrepôt, hôpital, aéroport ou espace commercial. La capacité démontrée à généraliser sans réentraînement à des topologies de foule inédites est l'élément le plus pertinent pour les intégrateurs, car elle réduit le coût de recalibrage à chaque nouveau site de déploiement, un frein habituel à la commercialisation de la navigation sociale robotisée. Ce travail s'inscrit dans la lignée des recherches en navigation sociale par apprentissage par renforcement, un champ où les limites des hypothèses de réciprocité simplifiée sont documentées depuis plusieurs années. L'abstract ne précise ni les auteurs, ni le laboratoire, ni le matériel robotique utilisé pour la validation réelle, ce qui invite à la prudence tant que ces détails et une évaluation indépendante ne sont pas disponibles. Aucune date de publication en conférence ni de feuille de route de déploiement industriel n'est mentionnée à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

RoboFin3D : une plateforme de transfert simulation-réel pour la finition robotisée de surfaces

Des chercheurs présentent RoboFin3D, une plateforme de simulation vers réel (sim-to-real) dédiée à la finition de surface robotisée, publiée sur arXiv sous la référence 2609.37560v1. Elle repose sur Isaac Sim, le simulateur de NVIDIA, et sur le moteur physique Newton, et reproduit les opérations de meulage et de ponçage avec une physique de contact. La géométrie de la pièce, qui change à mesure que la matière est enlevée, est représentée par un champ de distance signé (SDF). Celui-ci sert au calcul des contacts, à la mise à jour en direct et au rendu, sans maillage intermédiaire. Un second champ, dit de surface, modélise l'évolution progressive de l'aspect pendant le ponçage. Les auteurs ajoutent WeldGen, un module d'échantillonnage de cordons de soudure, qui génère des soudures sur 8 918 maillages de pièces réelles pour produire des assets variés. Les paramètres de simulation sont calibrés sur des essais physiques, et l'évaluation compare la fidélité du simulateur au monde réel. Côté perception, un fine-tuning de SAM2 avec des données uniquement simulées fait passer l'IoU (intersection sur union) de segmentation des zones non poncées de 77,15 % à 84,47 %. En combinant données synthétiques et réelles, il atteint 97,41 %. Il s'agit d'une publication de recherche, pas d'un produit commercialisé, et aucun déploiement industriel n'est mentionné. Le meulage et le ponçage sont parmi les tâches les plus difficiles à automatiser en robotique industrielle. Elles reposent sur un contact continu, une force contrôlée et une pièce dont la forme change pendant l'opération. Les essais physiques consomment des pièces et se reproduisent mal, ce qui freine la comparaison entre méthodes et l'entraînement de politiques apprises. Un simulateur qui met à jour la géométrie en temps réel et reste calibré sur des mesures réelles répond à ce blocage. Le résultat sur SAM2 montre aussi que la donnée synthétique seule apporte un gain net, environ 7 points d'IoU. Elle ne suffit toutefois pas, puisque l'écart avec les 97,41 % du mélange synthétique et réel reste important. Le sim-to-real n'est donc pas résolu pour cette tâche : la simulation sert surtout à réduire le besoin de données réelles annotées. Pour les intégrateurs, l'intérêt est de valider des trajectoires et des stratégies d'inspection avant de sacrifier des pièces. Les auteurs ne donnent ni temps de cycle ni comparaison directe avec des procédés industriels en production, et la fidélité n'est démontrée que sur leurs propres essais. Ce travail s'inscrit dans l'essor d'Isaac Sim et de Newton, moteur physique porté par l'écosystème NVIDIA, qui cherche à étendre la simulation à des tâches riches en contacts, au-delà de la manipulation d'objets rigides. La finition de surface reste un terrain occupé par des cellules robotisées sur mesure et par des opérateurs qualifiés, notamment en soudure, en carrosserie et en aéronautique. Les jeux de données synthétiques et la simulation calibrée sont l'une des voies pour entraîner les modèles vision-action sur ces procédés. La suite logique serait de tester des politiques de contrôle de force apprises en simulation puis transférées sur robot, et de valider la plateforme sur d'autres matériaux et abrasifs. Le papier ne mentionne ni code ouvert ni partenaire industriel.

RecherchePaper

1 source