Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
AsyncMDE : estimation de profondeur monoculaire en temps réel via mémoire spatiale asynchrone
RecherchearXiv cs.RO 

AsyncMDE : estimation de profondeur monoculaire en temps réel via mémoire spatiale asynchrone

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (arXiv:2603.10438v2) AsyncMDE, un système de perception de profondeur monoculaire asynchrone conçu pour permettre un déploiement temps-réel sur plateformes embarquées. L'architecture dissocie deux chemins d'exécution : un modèle fondation "slow path" de 97,5 millions de paramètres, figé, qui génère périodiquement des représentations spatiales de haute qualité en arrière-plan ; et un "fast path" léger de seulement 3,83 millions de paramètres entraînables, qui tourne en parallèle en réutilisant ces features via une fusion complémentaire avec l'observation courante et une mise à jour autorégressive de la mémoire. Sur GPU RTX 4090, le fast path atteint 237 FPS. Sur Jetson AGX Orin optimisé TensorRT, la cible embarquée réaliste pour la robotique mobile, il tourne à 161 FPS tout en récupérant 77 % de l'écart de précision par rapport au modèle fondation complet.

L'enjeu industriel est direct : l'estimation de profondeur monoculaire à base de modèles fondation constitue une alternative crédible aux capteurs actifs (LiDAR, ToF), mais leur coût computationnel les rendait jusqu'ici incompatibles avec les contraintes temps-réel des robots mobiles et des AMR. AsyncMDE répond à ce verrou en amortissant le coût du modèle lourd sur plusieurs frames consécutives, en exploitant la redondance spatiale naturelle des déplacements continus d'un robot. La dégradation de précision est bornée et prédictible sur trois benchmarks couvrant des scènes statiques, dynamiques et des mouvements extrêmes synthétiques, ce qui est plus rassurant que des métriques moyennes masquant les cas limites.

La profondeur monoculaire est un champ de recherche en forte accélération depuis que les architectures Vision Transformer et les modèles fondation (DPT, Depth Anything, UniDepth) ont montré des généralisations zero-shot solides, mais le goulot computationnel restait le principal obstacle à l'embarquement. AsyncMDE s'inscrit dans une tendance plus large d'inférence asynchrone et de caching de features, similaire aux approches utilisées en détection vidéo temps-réel. Les concurrents directs incluent les méthodes de distillation de modèles fondation (par exemple MobileDepth, FastDepth) et les pipelines LiDAR-caméra fusion légère. La prochaine étape naturelle sera de valider ces chiffres sur des robots réels en navigation autonome, où la latence bout-en-bout, et non le seul débit du réseau, détermine l'utilisabilité.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Modèles du monde en temps réel : étude empirique de l'exécution fluide via déploiement asynchrone
1arXiv cs.RO 

Modèles du monde en temps réel : étude empirique de l'exécution fluide via déploiement asynchrone

Des chercheurs publient une étude empirique comparant six stratégies de déploiement asynchrone pour les World Action Models (WAM), ces modèles qui génèrent des blocs d'actions à horizon fixe via débruitage itératif (diffusion). Le problème ciblé : cette génération itérative introduit une latence d'inférence importante, provoquant pauses, actions obsolètes et discontinuités lors de l'exécution robotique. Publiée le 1er août 2026 (arXiv:2608.01880), l'étude teste sur un robot bimanuel fonctionnant à 10 Hz six approches : exécution synchrone, commutation asynchrone pure, fusion post-hoc des actions, fusion pendant le débruitage, guidage de vélocité au moment de l'inférence, et génération conditionnée par préfixe. L'évaluation combine analyse hors ligne des trajectoires et expériences en conditions réelles sur trois types de tâches : manipulation dynamique, placement de précision et tâches à long horizon. Résultat central : la génération conditionnée par préfixe, qui apprend pendant l'entraînement à produire des continuations d'actions cohérentes, obtient le meilleur équilibre entre performance, vitesse d'exécution et fluidité de trajectoire. Cette étude s'attaque à un verrou d'ingénierie rarement documenté publiquement : les WAM basés sur la diffusion, comme Pi-0, GR00T N2 ou Helix, doivent produire des séquences d'actions par débruitage itératif, un processus lent qui entre en conflit direct avec les exigences temps réel du contrôle moteur. Les auteurs montrent qu'un mauvais alignement temporel entre observations, prédictions et commandes exécutées crée des discontinuités aux frontières des blocs d'actions qu'aucune technique de fusion ne peut corriger après coup, un point souvent négligé dans les démonstrations marketing de robots humanoïdes. Ils montrent aussi que le guidage de vélocité, une piste pourtant prometteuse sur le papier, échoue à contraindre fiablement les actions déjà engagées sur leur plateforme. Pour les intégrateurs et ingénieurs déployant des VLA en production, ces résultats offrent un guide pratique des compromis réels plutôt qu'une promesse générique de fluidité. Le travail s'inscrit dans la lignée des recherches sur les modèles vision-langage-action (VLA) qui, depuis l'essor de l'architecture par diffusion pour la génération de trajectoires robotiques, cherchent à résoudre la tension entre expressivité du modèle et contraintes de latence en temps réel. Il ne s'agit pas d'un produit commercialisé ni d'un déploiement industriel annoncé, mais d'une étude empirique de laboratoire comparant des stratégies existantes sur un banc d'essai contrôlé. Les auteurs présentent leurs résultats comme une clarification méthodologique destinée à guider les futurs déploiements de WAM à forte latence, sans préciser à ce stade de suite commerciale ou de partenariat industriel.

RecherchePaper
1 source
DROID-ANCHOR : estimation récurrente de profondeur métrique ancrée sur l'odométrie
2arXiv cs.RO 

DROID-ANCHOR : estimation récurrente de profondeur métrique ancrée sur l'odométrie

Des chercheurs publient sur arXiv (référence 2607.17058v1, juillet 2026) un nouveau système baptisé Metric-DROID, associé au papier intitulé DROID-ANCHOR, qui vise à résoudre un problème classique de la navigation robotique autonome : l'estimation de profondeur métrique à partir d'une seule caméra. Les systèmes SLAM récents basés sur des flux récurrents atteignent un excellent niveau de robustesse mais restent incapables de fournir une échelle physique fiable, ce qu'on appelle l'ambiguïté d'échelle, avec un risque de dérive au fil du déplacement du robot. Metric-DROID propose une architecture bout-en-bout qui ancre le SLAM visuel à la réalité physique en intégrant des données d'odométrie proprioceptive, c'est-à-dire les mesures internes de déplacement du robot (roues, capteurs inertiels). Le système repose sur trois briques : un opérateur de mise à jour LSTM qui transforme les séquences d'odométrie haute fréquence en cartes de caractéristiques spatiales servant de biais métrique persistant ; un module d'ajustement de faisceaux ($BA_{odom}$) qui pondère intelligemment les données visuelles et les mesures métriques grâce à une covariance apprise, limitant l'impact du glissement des roues et du bruit capteur ; et une stratégie de réglage fin sélectif qui préserve les connaissances géométriques pré-entraînées tout en permettant un alignement métrique sans réentraînement complet (zero-shot). L'enjeu est concret pour l'industrie robotique : la plupart des systèmes de navigation autonome low-cost s'appuient sur une caméra monoculaire plutôt que sur des capteurs stéréo ou LiDAR coûteux, mais butent justement sur cette absence d'échelle métrique fiable, ce qui limite leur usage en cartographie, en évitement d'obstacles précis ou en manipulation mobile. Si l'approche tient ses promesses en conditions réelles et pas seulement en benchmark, elle pourrait permettre à des robots mobiles et des AMR équipés de capteurs bon marché d'obtenir une localisation et une perception de profondeur en unités réelles, sans dépendre exclusivement de capteurs additionnels dédiés, ce qui réduirait les coûts matériels tout en fiabilisant la navigation en environnements dynamiques. Ce travail s'inscrit dans la lignée des systèmes SLAM récurrents de type DROID-SLAM, connus pour leur robustesse mais limités par l'ambiguïté d'échelle inhérente aux approches purement visuelles. En fusionnant apprentissage profond et odométrie classique plutôt que de s'appuyer sur des capteurs de profondeur additionnels, les auteurs se positionnent face aux approches concurrentes de SLAM visuo-inertiel ou visuo-LiDAR. L'article, encore au stade de publication de préprint, ne fournit pas à ce jour de détails sur un déploiement matériel réel ni sur des tests en conditions industrielles : il s'agit pour l'instant d'une contribution méthodologique dont la validation à grande échelle sur des plateformes robotiques commerciales reste à démontrer.

RecherchePaper
1 source
LiMA : relier l'imagination à long terme à la manipulation dextérique en temps réel via la diffusion asynchrone
3arXiv cs.RO 

LiMA : relier l'imagination à long terme à la manipulation dextérique en temps réel via la diffusion asynchrone

Un consortium de chercheurs a présenté LiMA (arXiv:2609.28431v1), un framework génératif à double système pour la manipulation robotique dextre bimanuelle, avec un site projet dédié (ccdcs.github.io/LiMA_repo). L'architecture sépare le calcul en deux boucles asynchrones : un système lent génère une intention spatio-temporelle éparse sur un horizon long, tandis qu'un système rapide affine cette intention en trajectoires de mouvement denses à haute fréquence. La jonction entre les deux est assurée par un mécanisme nommé Latent Schrödinger Bridge Coupling, qui traite le raffinement comme un problème de transport probabiliste régularisé par entropie. Sur le plan des performances, LiMA réduit la latence d'inférence de 45,8 % par rapport à Cosmos-Policy, le modèle world-action de Nvidia pris comme référence de comparaison. Évalué sur six tâches de manipulation dextre bimanuelle couvrant plusieurs horizons temporels, il atteint un taux de réussite global de 70,8 % et un taux de réussite moyen par sous-tâche de 78,9 %, avec un maintien des performances sur des scénarios non vus à l'entraînement. L'enjeu technique visé est un point de friction connu du secteur : les modèles Vision-Language-Action excellent en raisonnement sémantique de haut niveau mais peinent à capturer finement la dynamique physique et la perception spatiale, tandis que les World-Action Models, plus fidèles à la physique, souffrent d'une latence d'inférence élevée liée à leur génération itérative par diffusion. Ce décalage produit un désalignement temporel critique en manipulation dextre, où l'intention planifiée doit s'ajuster en quasi temps réel à des changements de contact rapides. LiMA s'inscrit dans la tendance des architectures à deux vitesses (planification lente, exécution réactive rapide) qui cherche à concilier anticipation à long terme et contrôle fin, sans sacrifier la latence, un compromis central pour tout intégrateur visant une manipulation dextre robuste hors laboratoire. Il s'agit à ce stade d'une publication de recherche académique évaluée sur un jeu de six tâches bimanuelles définies par les auteurs, et non d'un produit déployé ni d'un pilote industriel. Le seul comparatif chiffré donné dans l'article est Cosmos-Policy de Nvidia ; l'ampleur réelle de l'avance de LiMA face à d'autres approches à deux systèmes reste donc à confirmer par des benchmarks indépendants. Le code et les détails du projet sont accessibles en ligne, sans calendrier de transfert industriel ni partenaire annoncé.

RechercheActu
1 source
GlassFormer : apprentissage de la segmentation du verre en temps réel par fusion radar-profondeur
4arXiv cs.RO 

GlassFormer : apprentissage de la segmentation du verre en temps réel par fusion radar-profondeur

Des chercheurs présentent sur arXiv (2609.36844) GlassFormer, un réseau de segmentation de surfaces transparentes qui fusionne un radar à ondes millimétriques avec un capteur RGB-D. Le réseau est un transformeur léger, et le radar y est injecté par attention inter-modale sous la forme d'un a priori spatial. Les auteurs l'évaluent sur deux jeux de test : un split mixte couvrant tous les types de scènes, où GlassFormer atteint 0,88 mIoU, et un split dédié aux conditions de faible luminosité, conçu pour mettre en difficulté les méthodes purement visuelles, où il atteint 0,59 mIoU. Ils affirment que l'inférence tourne en temps réel sur des plateformes à ressources limitées. L'article ne donne ni la carte embarquée testée, ni la fréquence d'images, ni la taille des jeux de données dans son résumé. Il s'agit d'un travail de recherche, sans produit ni déploiement associé. Le vitrage est un cas d'échec connu de la perception robotique. La caméra RGB voit l'arrière-plan derrière la vitre, et les capteurs de profondeur (LiDAR, temps de vol, RGB-D) renvoient des mesures invalides ou celles du fond. Un robot mobile peut alors prendre une cloison vitrée, une porte ou un miroir pour de l'espace libre. C'est un risque de collision, et aussi un risque de sécurité pour les AMR et les humanoïdes qui évoluent dans les bureaux, hôpitaux, halls, commerces et entrepôts vitrés. L'idée centrale est d'exploiter l'incohérence entre modalités : le radar réfléchit fortement sur le verre, alors que la vision et la profondeur échouent au même endroit. Le résultat sur le split faible luminosité est le plus instructif. Les indices visuels appris par les approches RGB (reflets, contours, contexte sémantique) se dégradent dans le noir, en cas d'éblouissement ou face à un verre sans texture. Les 0,59 mIoU montrent que le radar aide beaucoup, mais qu'un problème reste ouvert : le score est nettement inférieur à celui du split mixte. Les gains face aux bases visuelles restent à vérifier, car le résumé ne les chiffre pas. Ils sont évalués sur les splits des auteurs, sans preuve de généralisation à d'autres capteurs ou bâtiments. Jusqu'ici, la segmentation du verre reposait surtout sur des réseaux RGB ou RGB-D, qui apprennent des indices visuels et fonctionnent bien sous un éclairage et un angle favorables. Le radar millimétrique est déjà présent sur beaucoup de plateformes mobiles pour sa robustesse à la lumière, à la poussière et à la fumée, mais il reste peu utilisé pour la cartographie sémantique fine. Pour les intégrateurs, cela ouvre la voie à des capteurs peu coûteux ajoutés aux piles de perception existantes, au lieu de LiDAR plus chers. Les prochaines étapes probables sont des tests sur robot réel, des comparaisons avec des méthodes multimodales concurrentes, la publication du jeu de données et du code, et une intégration à la navigation. Rien de tel n'est annoncé à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source