RecherchearXiv cs.RO 8 mai 2026

GA3T : jeu de données de traversabilité pour équipes de robots sol-aériens hétérogènes en milieux non structurés

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié GA3T (Ground-Aerial Team for Terrain Traversal), un jeu de données de perception collaborative multi-robots ciblant les environnements non structurés, déposé sur arXiv en mai 2026. La collecte a mobilisé deux plateformes complémentaires : un robot terrestre Clearpath Husky (UGV) équipé de LiDAR 3D, caméra stéréo, IMU et GPS, et un drone Autel EVO II fournissant images RGB, observations thermiques/infrarouges et GPS depuis un point de vue aérien surplombant. Quatre environnements distincts ont été couverts -- sentiers forestiers, chemins rocheux, terrains boueux, congères et prairies -- pour un total de plus de 13 000 frames synchronisées sur environ 29 minutes d'opération. Le jeu de données intègre une segmentation zero-shot basée sur SAM 3 (Segment Anything Model v3, Meta) et plus de 8 000 images labellisées manuellement. Sa particularité tient à la période de collecte, en début de printemps : la canopée encore peu dense permet au drone d'observer partiellement le robot terrestre à travers les arbres, enrichissant la perception collaborative d'une dimension explicite de gestion des occlusions.

GA3T comble un vide documenté dans la recherche sur la perception multi-robots en conditions réelles hors route. La quasi-totalité des datasets multi-robots existants se concentre sur le SLAM en environnements structurés ou sur la conduite coopérative simulée, sans fournir de capteurs multi-modaux chevauchants entre plateformes sol et air. La combinaison LiDAR terrestre et infrarouge aérien ouvre des pistes directes pour l'estimation de traversabilité -- problème central pour les déploiements autonomes en agriculture de précision, foresterie ou gestion de crise -- où les modèles doivent distinguer sol franchissable, boue instable et végétation dense sans balisage préalable. C'est précisément ce gap sim-to-real sur terrain non balisé que ce type de dataset vise à réduire, en fournissant des données brutes issues de conditions météo et de sol réelles.

Clearpath Robotics, filiale de Rockwell Automation depuis 2023 et fournisseur de référence pour les UGV de recherche universitaire, est associé ici à l'Autel EVO II, drone commercial grand public repositionné en plateforme de collecte scientifique. Aucun acteur européen n'est impliqué dans cette publication. Sur le plan concurrentiel, GA3T se positionne face à des datasets établis comme RUGD, RELLIS ou le corpus DARPA SubT, mais avec l'angle inédit de la fusion cross-view air-sol sur terrain naturel non aménagé. Les auteurs ciblent explicitement comme applications prioritaires la fusion de points de vue hétérogènes, l'estimation de traversabilité et la compréhension de scènes collaboratives -- tâches directement pertinentes pour l'entraînement de modèles VLA (Vision-Language-Action) appliqués à la navigation hors route, un axe de recherche en forte accélération depuis 2024 dans plusieurs laboratoires américains et asiatiques.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Des modèles de vision fondation adaptés à l'estimation fiable de la traversabilité en environnements extérieurs non structurés

Une équipe de chercheurs propose ViTA (Vision-to-Traversability Adaptation), un framework publié sur arXiv (2605.29565) qui adapte les modèles de vision généralistes, en l'occurrence SAM2, le modèle de segmentation de Meta, à l'estimation de traversabilité en environnements extérieurs non structurés. L'objectif : déterminer, depuis une image RGB seule, quelles zones de terrain un robot mobile peut franchir en toute sécurité. ViTA introduit trois mécanismes distincts : des prompts de traversabilité appris (learnable traversability prompts) injectés dans SAM2 sans détruire sa capacité de généralisation ; un protocole d'entraînement "Perspective-Diversified Training" qui modélise l'incertitude sémantique pour éviter les prédictions trop confiantes aux frontières ambiguës ; et une distillation de connaissance géométrique à l'entraînement, permettant au modèle de raisonner sur la pente et l'élévation du terrain à l'inférence sans capteur de profondeur. La sortie finale est un score de traversabilité continu fusionnant incertitude sémantique et risque géométrique. Les évaluations sur plusieurs datasets hors-route réels montrent des résultats état de l'art en IoU et Précision, avec une réduction significative des faux positifs. L'enjeu pratique est considérable pour les intégrateurs de robots mobiles outdoor, véhicules agricoles autonomes, robots de livraison en terrain mixte, drones terrestres militaires ou de secours. Le taux de faux positifs est le talon d'Achille des approches actuelles : une zone identifiée à tort comme franchissable peut provoquer un basculement ou un enlisement. ViTA attaque ce problème à trois niveaux simultanément, ce qui le distingue des adaptations classiques par fine-tuning de segmentation sémantique. La capacité de généralisation cross-domain est également notable : un modèle entraîné sur un type de terrain (forêt, gravière, prairie) qui tient sur d'autres environnements sans ré-entraînement réduit drastiquement les coûts de déploiement. Il faut cependant souligner qu'il s'agit d'un preprint sans évaluation par les pairs, et que les benchmarks off-road restent hétérogènes, la comparaison directe entre systèmes n'est pas toujours possible. L'estimation de traversabilité visuelle est un problème central depuis les débuts de la robotique outdoor, initialement traité par des approches géométriques (LIDAR, stéréo), puis hybrides, et de plus en plus par des VFMs (Vision Foundation Models) depuis 2022. SAM2, publié par Meta en 2024, est devenu une base populaire d'adaptation grâce à sa robustesse et sa polyvalence. En parallèle, des frameworks comme DINOv2 (Meta) ou OpenCLIP sont aussi exploités pour la traversabilité. Sur ce segment, ViTA se positionne face à des travaux récents comme WayFASTER ou TerrainNet (NVIDIA). Aucun acteur français ou européen n'est mentionné dans ce preprint. Les prochaines étapes attendues pour ce type de travail incluent une validation sur des plateformes embarquées contraintes (edge computing) et une intégration dans des stacks ROS2 pour des tests terrain en conditions réelles.

RecherchePaper

1 source

2arXiv cs.RO

Co-GLANCE : perception active sous incertitude pour équipes de robots hétérogènes

Des chercheurs ont publié Co-GLANCE (arXiv:2606.09919), un système embarqué de perception active et de prise de décision pour équipes robotiques hétérogènes opérant en extérieur non structuré. Le problème central adressé est l'incertitude perceptuelle liée aux occlusions : selon la position d'un robot, certaines zones de la scène restent invisibles ou ambiguës, et aucun agent isolé ne dispose d'un point de vue suffisant pour une compréhension fiable. Co-GLANCE distille les capacités de raisonnement sémantique d'un vision-language model (VLM) dans un modèle embarqué end-to-end qui réalise simultanément la segmentation des occlusions et l'allocation des robots les plus adaptés pour résoudre ces zones d'incertitude. Pour quantifier cette incertitude de façon statistiquement garantie, le système combine la prédiction conforme (conformal prediction) et l'abstention sélective sur les sorties de segmentation, d'allocation et de détection. Comparé aux baselines VLM cloud, Co-GLANCE améliore la précision de segmentation des occlusions de 25% et l'allocation robotique de 36%, tout en réduisant la latence d'inférence par image d'un facteur 350. Un dataset air-sol est également publié en open source. Ce résultat est significatif pour les intégrateurs et les décideurs industriels déployant des flottes multi-robots sur des chantiers, des sites miniers ou des opérations de surveillance. L'élimination de la dépendance au cloud pour l'inférence VLM lève un verrou majeur : latence, connectivité intermittente et coûts d'API. Le gain de 350x en latence n'est pas un chiffre de laboratoire anecdotique, il rend la perception active temps-réel praticable sur du matériel embarqué contraint. La combinaison conformal prediction + abstention sélective apporte des garanties de couverture statistique, ce qui est rare dans les systèmes robotiques terrain : les incertitudes sont exploitables (elles déclenchent des actions), pas seulement affichées. Les travaux sur la coordination multi-robots hétérogènes air-sol s'inscrivent dans un champ actif depuis plusieurs années, avec des groupes comme MIT CSAIL, Stanford, ETH Zurich et CMU comme références principales. La tendance forte est le passage des VLM cloud-only vers des modèles distillés edge-capable, que l'on retrouve aussi dans des travaux comme OpenVLA ou octo. Co-GLANCE se positionne spécifiquement sur l'allocation robotique sous incertitude, un angle moins couvert que la simple navigation ou manipulation. Les prochaines étapes probables incluent des validations sur des flottes plus larges et des environnements dégradés (nuit, pluie), ainsi que l'intégration dans des stacks ROS2 existants. Le code et le dataset sont disponibles sur co-glance.github.io.

RecherchePaper

1 source

3arXiv cs.RO

Vers une perception spatiale pour la collaboration de robots hétérogènes en milieu minier souterrain

Des chercheurs présentent sur arXiv le pipeline de perception embarqué du projet PERSEPHONE, une mission d'extraction minière autonome dans d'anciennes mines souterraines abandonnées. Le système associe deux robots hétérogènes. Un robot « Explorer », léger, cartographie une mine inconnue et produit un graphe de scène 3D des cibles à inspecter. Pour cela, il exécute une pile de segmentation sémantique vision-langage en zero-shot, qui détecte les gisements minéraux à partir de simples requêtes en langage naturel. La carte et le graphe sont ensuite transmis à un second robot, l'« Inspector », équipé d'une charge utile de capteurs avancés, qui s'en sert pour planifier des points de vue d'inspection rapprochée. L'étape clé décrite est l'abstraction géométrique qui transforme les détections brutes en cibles exploitables : génération de boîtes englobantes par vue, fusion des boîtes entre vues, ajustement de plans et extraction de polygones. La validation a eu lieu dans une installation d'essai souterraine et dans une mine de magnésite en activité, sur des minéralisations de veines de fer et de magnésite, en conditions de perception dégradée. Le résumé ne donne ni taux de détection, ni temps de mission, ni dimensions des robots. L'intérêt tient au constat de départ : aucune plateforme unique ne combine la mobilité nécessaire pour parcourir des kilomètres de galeries dégradées et la charge utile de capteurs requise pour caractériser un corps minéralisé. La réponse est donc une division du travail entre un éclaireur agile et un inspecteur lourd. Pour les intégrateurs et les exploitants, l'enjeu concret est la passation d'un robot à l'autre, à travers une représentation partagée, et non plus la performance d'un seul engin. Le recours à des modèles vision-langage sans entraînement spécifique suggère aussi qu'on peut désigner une cible minérale par une phrase plutôt que par un jeu de données annoté. Reste à savoir ce que vaut cette approche hors des deux sites testés, car le texte ne chiffre pas la précision de détection, la robustesse face à la poussière, à l'obscurité ou aux variations de minéralogie, ni l'autonomie de l'ensemble. Ce travail s'inscrit dans la robotique souterraine, dont les références restent les équipes de la compétition DARPA SubT, qui avaient éprouvé cartographie et exploration en environnements dégradés, mais surtout pour la recherche et le sauvetage. Ici, la finalité est la réouverture de gisements profonds dans des mines abandonnées, un cas d'usage où le graphe de scène sert d'interface entre perception et planification. Le document est un preprint, non évalué par les pairs, et décrit un pipeline de perception, non un système commercial ni un déploiement industriel. Les suites logiques sont l'intégration avec les phases d'extraction de PERSEPHONE et des essais dans d'autres mines, sans calendrier annoncé dans le résumé.

RecherchePaper

1 source

4arXiv cs.RO

Voler ensemble : contrôle partagé immersif à guidage humain pour équipes de robots aériens en milieu inconnu

Des chercheurs ont présenté dans un preprint arXiv (2605.21680) un cadre de contrôle partagé en réalité virtuelle pour équipes de drones évoluant en environnements inconnus et contraints. Le système repose sur un planificateur à primitives de mouvement guidé par l'opérateur, qui calcule en temps réel des trajectoires continues sans collision tout en intégrant les inputs humains. Un contrôleur d'admittance permet à l'opérateur d'influer sur le comportement de la flotte sans prendre le contrôle direct de chaque appareil : il positionne des "points de migration" via un casque VR, et les drones les atteignent de manière coordonnée. L'interface est bilatérale, l'opérateur recevant un retour visuel immédiat de l'état de l'équipe. Le système a été validé en configuration mixte, combinant drones physiques et drones simulés dans le même environnement de réalité étendue. Les résultats expérimentaux montrent une meilleure évitement des obstacles, un espacement inter-agents maintenu, et une réduction de la charge cognitive opérateur. Ce travail s'attaque à une limite bien connue des systèmes multi-robots autonomes : leur rigidité face à des situations non prévues dans l'environnement opérationnel. Là où un planificateur purement autonome peut rater une zone d'intérêt ou bloquer sur une ambiguïté sémantique, le "human-in-the-loop" permet de ré-orienter l'exploration sans reprendre le contrôle à bas niveau. Le contrôleur d'admittance est la pièce centrale : il absorbe les intentions de l'opérateur comme une compliance mécanique, évitant les commandes brusques tout en préservant la cohérence de la flotte. Pour les intégrateurs industriels ou les opérateurs de drones en inspection d'infrastructures, c'est une architecture qui réduit le nombre d'opérateurs requis tout en maintenant une supervision humaine significative. Le contrôle partagé homme-robot est un champ de recherche actif depuis une décennie, mais son application aux flottes de drones en VR reste émergente. Les approches concurrentes vont des interfaces haptiques monorobot aux systèmes d'autonomie à niveaux (SAE-like pour l'aérien) développés par des équipes comme celle de GRASP Lab (UPenn) ou ETH Zurich. Ce preprint n'annonce pas de déploiement commercial ni de partenariat industriel identifié : il s'agit d'une démonstration de faisabilité académique. Les prochaines étapes logiques seraient une validation à plus grande échelle de flotte (l'article ne précise pas le nombre exact de drones testés) et des scénarios opérationnels réels, notamment search-and-rescue ou inspection de bâtiments.

RecherchePaper

1 source