RecherchearXiv cs.RO 30 septembre 2026

GlassFormer : apprentissage de la segmentation du verre en temps réel par fusion radar-profondeur

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent sur arXiv (2609.36844) GlassFormer, un réseau de segmentation de surfaces transparentes qui fusionne un radar à ondes millimétriques avec un capteur RGB-D. Le réseau est un transformeur léger, et le radar y est injecté par attention inter-modale sous la forme d'un a priori spatial. Les auteurs l'évaluent sur deux jeux de test : un split mixte couvrant tous les types de scènes, où GlassFormer atteint 0,88 mIoU, et un split dédié aux conditions de faible luminosité, conçu pour mettre en difficulté les méthodes purement visuelles, où il atteint 0,59 mIoU. Ils affirment que l'inférence tourne en temps réel sur des plateformes à ressources limitées. L'article ne donne ni la carte embarquée testée, ni la fréquence d'images, ni la taille des jeux de données dans son résumé. Il s'agit d'un travail de recherche, sans produit ni déploiement associé.

Le vitrage est un cas d'échec connu de la perception robotique. La caméra RGB voit l'arrière-plan derrière la vitre, et les capteurs de profondeur (LiDAR, temps de vol, RGB-D) renvoient des mesures invalides ou celles du fond. Un robot mobile peut alors prendre une cloison vitrée, une porte ou un miroir pour de l'espace libre. C'est un risque de collision, et aussi un risque de sécurité pour les AMR et les humanoïdes qui évoluent dans les bureaux, hôpitaux, halls, commerces et entrepôts vitrés. L'idée centrale est d'exploiter l'incohérence entre modalités : le radar réfléchit fortement sur le verre, alors que la vision et la profondeur échouent au même endroit. Le résultat sur le split faible luminosité est le plus instructif. Les indices visuels appris par les approches RGB (reflets, contours, contexte sémantique) se dégradent dans le noir, en cas d'éblouissement ou face à un verre sans texture. Les 0,59 mIoU montrent que le radar aide beaucoup, mais qu'un problème reste ouvert : le score est nettement inférieur à celui du split mixte. Les gains face aux bases visuelles restent à vérifier, car le résumé ne les chiffre pas. Ils sont évalués sur les splits des auteurs, sans preuve de généralisation à d'autres capteurs ou bâtiments.

Jusqu'ici, la segmentation du verre reposait surtout sur des réseaux RGB ou RGB-D, qui apprennent des indices visuels et fonctionnent bien sous un éclairage et un angle favorables. Le radar millimétrique est déjà présent sur beaucoup de plateformes mobiles pour sa robustesse à la lumière, à la poussière et à la fumée, mais il reste peu utilisé pour la cartographie sémantique fine. Pour les intégrateurs, cela ouvre la voie à des capteurs peu coûteux ajoutés aux piles de perception existantes, au lieu de LiDAR plus chers. Les prochaines étapes probables sont des tests sur robot réel, des comparaisons avec des méthodes multimodales concurrentes, la publication du jeu de données et du code, et une intégration à la navigation. Rien de tel n'est annoncé à ce stade.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

DeFM : apprentissage de représentations fondation à partir de la profondeur pour la robotique

DeFM (Depth Foundation Model) est un modèle de fondation auto-supervisé entraîné exclusivement sur des images de profondeur, présenté sur arXiv (v2 de l'article 2601.18923) avec une page projet et la publication de tous les modèles pré-entraînés. Il s'appuie sur un objectif d'auto-distillation de type DINO, appliqué à un jeu de données curé de 60 millions d'images de profondeur. Les auteurs ajoutent une stratégie de normalisation d'entrée inédite, conçue pour conserver la notion d'échelle métrique à travers différentes distances. Le modèle principal est aussi distillé en versions compactes, destinées aux robots aux ressources de calcul limitées. Il est évalué sur la classification, la segmentation, la navigation, la locomotion et la manipulation, et les auteurs revendiquent des performances à l'état de l'art ainsi qu'une bonne généralisation de la simulation vers le monde réel. Les modèles s'utilisent tels quels, sans réglage fin propre à chaque tâche. L'enjeu est de combler un déséquilibre. Les capteurs de profondeur (caméras stéréo, temps de vol, lidar) équipent une grande partie des robots, et la simulation rapide et fidèle de la profondeur permet déjà d'entraîner des politiques qui passent en conditions réelles avec robustesse. Pourtant, l'apprentissage de représentations pour cette modalité reste très en retard sur le RGB, où les modèles de fondation de type DINO servent de base standard. Si DeFM tient ses promesses, les équipes de locomotion et de navigation pourraient disposer d'un encodeur de profondeur réutilisable, comme elles le font pour le RGB, au lieu de réentraîner un réseau pour chaque tâche et chaque capteur. La déclinaison en petits modèles compte pour l'embarqué. Quelques réserves s'imposent : il s'agit d'un résumé d'article, sans chiffres détaillés dans le texte. Le gain réel face aux encodeurs RGB ou aux modèles de profondeur existants, la robustesse entre capteurs et le coût d'inférence sur matériel embarqué devront être confirmés par les benchmarks complets et par une reproduction indépendante. Ce travail s'inscrit dans la montée en puissance des politiques robotiques entraînées en simulation, notamment pour les robots à pattes et humanoïdes, qui utilisent souvent la profondeur comme entrée principale. Il prolonge la logique des modèles de fondation visuels auto-supervisés, dont DINO est la référence, en l'étendant à une modalité longtemps traitée au cas par cas. La publication des poids ouvre la voie à une adoption rapide par les laboratoires et les intégrateurs, qui pourront tester DeFM comme encodeur de base dans leurs pipelines de navigation ou de préhension. La suite dépendra de la reproduction des résultats par des équipes tierces, de l'intégration dans des politiques de type VLA, et de la capacité du modèle à tenir ses promesses hors des benchmarks, sur des robots déployés.

RecherchePaper

1 source

2arXiv cs.RO

Vol en formation serrée de quadricoptères en temps réel : apprentissage résiduel préservant la platitude

Des chercheurs ont mis au point un cadre d'apprentissage capable de compenser en temps réel les perturbations aérodynamiques qui affectent les quadrirotors volant en formation serrée. Le problème ciblé est le downwash, ce souffle descendant généré par chaque drone qui perturbe ses voisins et peut provoquer des collisions s'il n'est pas modélisé. La méthode, un apprentissage de dynamique résiduelle informé par la physique, corrige les équations de mouvement du système multi-drones tout en préservant sa "flatness" différentielle, une propriété mathématique qui permet de calculer directement les commandes à partir de la trajectoire désirée. Cette flatness préservée autorise un contrôleur par linéarisation par bouclage, peu coûteux en calcul et réglable avec des techniques de contrôle linéaire classiques, qui annule les perturbations par compensation feedforward. Sur banc d'essai matériel, l'approche réduit l'erreur moyenne de suivi de trajectoire de 31% par rapport aux contrôleurs de référence sans compensation. Elle égale la précision d'un contrôle prédictif non linéaire (NMPC) de pointe tout en demandant un ordre de grandeur de calcul en moins, avec un vol en formation stable atteint avec moins de 30 secondes de données d'entraînement et une boucle de contrôle à 5 millisecondes. Pour l'industrie des essaims de drones, ce résultat s'attaque à un goulot d'étranglement connu: les modèles capables de compenser les interactions aérodynamiques en formation serrée, comme le NMPC, sont précis mais trop gourmands en calcul pour les cartes embarquées limitées des petits quadrirotors. En divisant la charge de calcul par un ordre de grandeur sans sacrifier la précision, la méthode ouvre la voie à des vols en formation serrée sur du matériel contraint en ressources, un enjeu direct pour les intégrateurs travaillant sur les light shows, l'inspection coordonnée ou la logistique par essaims. Le fait de n'exiger que 30 secondes de données contredit aussi l'hypothèse répandue selon laquelle l'apprentissage de dynamiques aérodynamiques complexes nécessite de vastes jeux de données collectées en vol, ce qui réduit le coût de déploiement sur de nouvelles configurations de flotte. Le downwash et les interactions aérodynamiques en formation serrée constituent un défi ancien en robotique aérienne, traité jusqu'ici soit par des modèles physiques simplifiés peu précis, soit par du contrôle prédictif non linéaire coûteux en calcul, référence de performance du domaine. Ce travail se positionne explicitement face au NMPC, visant à l'égaler en précision avec une charge de calcul bien moindre plutôt qu'à le dépasser en performance brute. Les auteurs présentent leurs résultats comme une première démonstration de vol en formation stable obtenue avec un volume de données aussi faible et une fréquence de boucle aussi élevée. Il s'agit toutefois d'expériences matérielles en conditions contrôlées, et le passage à des flottes plus nombreuses ou à des environnements extérieurs reste à démontrer.

RecherchePaper

1 source

3arXiv cs.RO

Fusion multimodale pour le transfert simulation-réel en apprentissage par renforcement visuel

Une équipe de recherche a soumis sur arXiv (identifiant 2507.09180, actuellement à la version 4) une architecture de fusion multimodale pour améliorer le transfert sim-to-real en apprentissage par renforcement visuel appliqué à la manipulation robotique. L'approche combine deux flux d'entrée, RGB et profondeur (depth), traités en parallèle par des réseaux convolutifs séparés (CNN stems), dont les représentations fusionnées sont transmises à un vision transformer (ViT) scalable. L'information de profondeur, naturellement robuste aux variations d'apparence de scène, fournit des détails spatiaux 3D absents des images RGB seules. Le pipeline intègre un schéma d'apprentissage contrastif à tokens masqués et non masqués pour améliorer l'efficacité d'échantillonnage, combiné à une randomisation de domaine progressive (curriculum-based domain randomization) pour stabiliser l'entraînement. En simulation, la méthode surpasse les baselines comparées. La validation clé se fait en transfert zéro-shot : sans ré-entraînement sur données réelles, le modèle réalise des tâches de manipulation physique. Le sim-to-real gap reste l'obstacle central en robotique d'apprentissage : les politiques entraînées en simulation échouent fréquemment face à la variabilité visuelle du monde réel. La fusion RGB + depth attaque directement ce problème en réduisant la dépendance aux indices visuels fragiles comme l'éclairage ou les textures. L'apprentissage contrastif à tokens partiels suggère une meilleure invariance aux perturbations apparentes sans nécessiter de volumes massifs de données réelles. Pour les intégrateurs industriels et les équipes de développement en manipulation, le transfert zéro-shot validé expérimentalement est un signal concret : la politique capture des abstractions géométriques suffisamment générales pour opérer hors simulation, ce qui est précisément la promesse que le secteur cherche à tenir depuis des années. Ce travail s'inscrit dans une compétition de représentations visuelles pour la robotique qui inclut la randomisation de domaine agressive popularisée par OpenAI dès 2017, les encodeurs préentraînés par masquage (MAE, R3M, DINOv2), et les politiques vision-langage-action (VLA) comme pi0 de Physical Intelligence ou OpenVLA. L'originalité revendiquée est la fusion RGB + depth au niveau du transformer plutôt qu'en aval, couplée au curriculum adaptatif. Le passage à la version 4 sur arXiv signale un travail en révision active, probablement vers une conférence type ICRA ou IROS. Les prochaines étapes attendues incluent une validation sur benchmarks standardisés (RLBench, MetaWorld) et des tests sur plateformes physiques plus complexes.

RecherchePaper

1 source

4arXiv cs.RO

De la segmentation de verrerie transparente à l'évitement de collision : un pipeline de perception en temps réel sensible aux contours

Des chercheurs ont publié le 4 août 2026 sur arXiv (référence 2608.04769) un système de segmentation d'instance en temps réel conçu pour éviter les collisions avec du matériel de laboratoire transparent, en s'appuyant uniquement sur une caméra. Partant du constat que la réfraction et les reflets spéculaires rendent la texture interne des objets en verre peu fiable, mais que leurs contours restent visuellement stables, l'équipe a ajouté à un modèle de segmentation d'instance "one-stage" une branche de détection de contours, un mécanisme d'attention guidé par ces contours et un module SimAM sans paramètre supplémentaire. Elle a aussi construit LabGlass-IS, un jeu de données de 3485 images réparties en 21 catégories de verrerie de laboratoire réelle. Le modèle obtient un score Boundary F de 97,80, devançant de 18,93 points le cadre FastSAM piloté par YOLO, tout en tournant à 7,1 millisecondes par image et en n'utilisant que 2,85% des paramètres du concurrent le plus proche en précision. Une triangulation multi-vues des centroïdes de masques calcule ensuite des positions 3D pour des contraintes de volume englobant conservatrices, et sur robot réel le pipeline atteint un taux de réussite d'évitement de collision de 93,3%. Ce résultat cible un angle mort classique de la robotique de laboratoire : la verrerie transparente échappe souvent aux capteurs de profondeur usuels (lidar, stéréo), car elle ne réfléchit ni ne diffuse la lumière comme un objet opaque. Un système purement visuel, léger et rapide, capable de repérer fioles, béchers ou tubes à essai sans capteur de profondeur dédié, réduit le coût matériel d'une cellule robotisée et ouvre la voie à des bras collaboratifs travaillant à proximité de verrerie fragile sans contact accidentel. Le gain computationnel, moins de 3% des paramètres d'un concurrent à précision comparable pour une inférence sous les 10 millisecondes, est ce qui rend l'approche déployable en périphérie, sur du matériel embarqué peu coûteux plutôt que sur un serveur GPU distant : un critère décisif pour un intégrateur qui doit justifier le coût par poste automatisé en pharma, chimie ou biotech. La segmentation d'objets transparents est un problème documenté depuis plusieurs années en vision par ordinateur ; les méthodes génériques comme les variantes de SAM pilotées par YOLO peinent sur ces surfaces faute de texture interne exploitable, ce qui explique le choix des auteurs de comparer leur approche à FastSAM piloté par YOLO. Le code (TransYOLO_3D) et des vidéos de démonstration sont publiés en accès libre sur GitHub, ce qui permet une réplication indépendante, un point notable puisqu'il s'agit d'un prétirage arXiv non encore relu par les pairs. Les auteurs présentent leur pipeline perception-vers-action comme une preuve de faisabilité plutôt qu'un produit fini ; la suite logique serait une validation à plus grande échelle en conditions réelles de laboratoire, au-delà des essais contrôlés décrits dans l'article.

RecherchePaper

1 source