Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Ajustement adaptatif de faisceau guidé par carte de profondeur pour le recalage de nuages de points multivues sans correspondance
RecherchearXiv cs.RO 

Ajustement adaptatif de faisceau guidé par carte de profondeur pour le recalage de nuages de points multivues sans correspondance

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de robotique a publié sur arXiv début septembre 2026 (référence 2609.01089v1) une méthode baptisée ADM-BA, Adaptive Depth-Map-Guided Bundle Adjustment, pour le recalage multi-vues de nuages de points sans extraction de correspondances visuelles. Elle vise le traitement robotisé de ferraille d'acier irrégulière dans des cellules de découpe dangereuses, où la reconstruction 3D doit remplacer l'inspection visuelle manuelle pour estimer dimensions des pièces, contours et trajectoires de torche sans collision. La scène est modélisée par une grille 2.5D globale où chaque cellule peut porter plusieurs hypothèses de profondeur ; un mécanisme d'assignation par softmax relie chaque observation à la surface compatible, et un ajustement de faisceaux aux moindres carrés non linéaires affine conjointement poses des capteurs et carte de profondeur en couches. Testée sur des jeux de données industrielles collectés en interne, la méthode affiche une précision compétitive à faible coût de calcul ; le code est publié en open source sur GitHub, dépôt YiranZhou-Robotics/ADM-BA.

Les méthodes classiques de recalage multi-vues s'appuient sur l'extraction de caractéristiques et l'association de données pour établir des correspondances entre prises de vue. Sur des surfaces métalliques lisses, avec structures répétitives, occlusions et recouvrements partiels, elles établissent souvent de fausses correspondances, faussant l'estimation des poses et déformant la reconstruction, avec un effet direct sur les décisions de planification en aval. En s'affranchissant de toute correspondance explicite, ADM-BA cible ce point de fragilité, pertinent pour les intégrateurs confrontés à des environnements industriels pauvres en texture, du recyclage de métaux à la logistique lourde. L'absence de comparaison à des bancs d'essai externes et le recours à des données propriétaires appellent toutefois à la prudence avant toute généralisation.

Le travail s'inscrit dans la continuité des recherches en SLAM et en ajustement de faisceaux, où les techniques fondées sur les caractéristiques, type ICP ou structure-from-motion, restent la norme mais peinent sur les matériaux réfléchissants et répétitifs typiques de la ferraille. Il ne s'agit ni d'un produit commercial ni d'un déploiement industriel documenté : c'est un preprint arXiv non encore relu par les pairs, sans partenaire industriel ni pilote annoncé. La seule suite concrète est la publication du code source, qui permet à d'autres équipes de reproduire et d'étendre l'approche sur leurs propres cellules de découpe.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Apprentissage de représentations guidé par le langage pour la reconnaissance de matériaux robuste multi-capteurs
1arXiv cs.RO 

Apprentissage de représentations guidé par le langage pour la reconnaissance de matériaux robuste multi-capteurs

Un article publié sur arXiv le 14 septembre 2026 (référence 2609.14783) présente une méthode d'apprentissage guidée par le langage pour rendre les représentations tactiles robotiques robustes aux changements de capteur. Le problème visé : les capteurs tactiles à base de vision, qui photographient la déformation d'un élastomère au contact d'un objet, produisent des lectures différentes pour un même matériau selon l'optique, les propriétés de l'élastomère et l'éclairage, ce qui dégrade fortement la généralisation d'un modèle entraîné sur un ou plusieurs capteurs donnés. Les auteurs construisent un jeu de données de 39 000 échantillons associant images tactiles et descriptions de matériaux annotées par des humains (rugueux, doux, glissant, etc.), puis entraînent un encodeur tactile à aligner ces images, quel que soit le capteur d'origine, avec des embeddings de langage dans un espace sémantique partagé. Évaluée en apprentissage few-shot et en transfert cross-capteur sur six jeux de données tactiles existants, la méthode atteint 95% de précision en configuration à 100 exemples, améliore le transfert cross-capteur de 13,3 points de précision en moyenne, et gagne jusqu'à 19 points selon les jeux de données. Code et dataset sont publiés en accès libre. Le toucher reste le sens le plus difficile à industrialiser en manipulation robotique : la vision seule peine à estimer la souplesse d'un objet, sa texture ou la stabilité d'une prise, des informations qui conditionnent des gestes sûrs en logistique, en tri ou en assemblage. Jusqu'ici, un modèle tactile entraîné sur un capteur donné ne transférait pas à un autre matériel, obligeant chaque intégrateur à recollecter des données et réentraîner ses modèles à chaque nouvelle génération de doigt ou de pince tactile, frein direct au déploiement à l'échelle. En montrant qu'un signal sémantique invariant, le langage, découple la perception tactile du matériel sous-jacent, ces résultats transposent au toucher une logique déjà éprouvée côté vision avec les modèles vision-langage-action, où le langage sert de couche d'abstraction indépendante du capteur. Le travail s'inscrit dans la prolifération récente des capteurs tactiles à base de vision, dont les variantes d'optique et d'élastomère se multiplient sans standard commun, fragmentant les données disponibles pour l'apprentissage. Il prolonge aussi la tendance, déjà installée côté vision, d'utiliser le langage naturel comme signal de supervision généraliste plutôt que des labels spécifiques à une tâche. Aucun acteur industriel n'est cité : la publication reste à ce stade un travail de recherche benchmarké sur six jeux de données tactiles publics, sans partenariat annoncé avec un fabricant de mains robotiques. La mise à disposition ouverte du code et du dataset vise une adoption par la communauté plutôt qu'une commercialisation immédiate ; reste à voir si l'approche sera reprise dans des piles de perception déployées en production, au-delà du benchmark académique.

RecherchePaper
1 source
Fusion intelligente pour la pondération adaptative visuel-IMU dans l'ajustement de faisceaux creux de cuVSLAM
2arXiv cs.RO 

Fusion intelligente pour la pondération adaptative visuel-IMU dans l'ajustement de faisceaux creux de cuVSLAM

Dans cuVSLAM, la brique de localisation et cartographie visuelle de NVIDIA accélérée sur GPU, les résidus visuels et ceux de l'unité de mesure inertielle (IMU) sont fusionnés dans un ajustement de faisceaux creux (SBA) avec une pondération figée par des covariances de bruit calibrées en amont. Aucun mécanisme ne permet donc d'ajuster l'équilibre visuel-inertiel à l'exécution. Les auteurs introduisent un scalaire α supérieur ou égal à 1 qui amplifie la matrice d'information visuelle par rapport à la contrainte de préintégration IMU. Testées sur l'ensemble {1, 2, 5, 10, 20}, les trajectoires se regroupent en deux régimes empiriques: « IMU-TRUST » (α = 1 ou 2, proche de la calibration d'origine) et « VISION-TRUST » (α = 10 ou 20), α = 5 faisant office de transition. Les écarts à l'intérieur d'un régime sont faibles devant ceux entre régimes. Un estimateur de qualité visuelle (VQE), perceptron multicouche de seulement 914 paramètres, prend en entrée un vecteur de 10 caractéristiques tirées de statistiques déjà tenues par le tracker et prédit le régime à chaque SBA. L'erreur absolue de trajectoire (RMSE APE) moyenne baisse de 27,7 % sur EuRoC MAV et de 14,9 % sur TUM-VI Room en validation croisée leave-one-out (LOOCV). L'intérêt tient à la simplicité du dispositif. Plutôt que de régresser un poids continu, les auteurs ramènent le problème à une décision binaire, ce qui permet un modèle minuscule, quasi gratuit en calcul et sans nouveau capteur ni nouvelle chaîne de traitement. Pour les équipes qui embarquent du SLAM visuel-inertiel sur robots mobiles, drones ou humanoïdes, la fiabilité en conditions dégradées (flou de mouvement, éclairage changeant, scènes pauvres en textures) reste un point de friction, et un gain de 15 à 28 % sans surcoût notable est pertinent. Il faut toutefois rester prudent: les résultats portent sur deux jeux de données académiques de petite taille, la validation LOOCV mesure la généralisation entre séquences d'un même corpus et non en environnement industriel, et rien n'est indiqué sur la latence ni sur le comportement en cas de bascule fréquente entre régimes. Il s'agit d'un résultat de recherche, pas d'un composant livré. Ce travail s'inscrit dans l'essor de cuVSLAM, bibliothèque de NVIDIA proposée dans l'écosystème Isaac ROS et exploitée pour la navigation de robots mobiles et de manipulateurs. Jusqu'ici, la pondération visuel-inertielle y restait statique, comme dans de nombreux systèmes concurrents, tels que ORB-SLAM3, VINS-Fusion ou OpenVINS, dont les approches adaptatives passent souvent par des covariances estimées en ligne ou par des réseaux plus lourds. Le choix d'un modèle de moins d'un millier de paramètres répond à des contraintes d'embarqué. Les prochaines étapes naturelles seraient des tests sur des plateformes réelles, des environnements extérieurs et industriels, et une éventuelle intégration dans les versions publiques de cuVSLAM, sans calendrier annoncé à ce stade.

RecherchePaper
1 source
NeurRAFT : planification de mouvement pour robots par mise en correspondance de flux au niveau des ancrages avec réglage de préférence sensible à la garde au sol
3arXiv cs.RO 

NeurRAFT : planification de mouvement pour robots par mise en correspondance de flux au niveau des ancrages avec réglage de préférence sensible à la garde au sol

Une équipe de recherche décrit NeurRAFT, un système de planification de mouvement pour bras robotiques, publié le 26 août 2026 sur arXiv sous la référence 2608.24026v1. Le modèle génère des trajectoires à partir d'observations sensorielles brutes, en s'appuyant sur des points d'ancrage compacts plutôt que sur des séquences denses de points de passage, via du flow matching entraîné par une perte pondérée par le jacobien qui priorise l'impact de chaque ancre dans l'espace de la tâche. À l'inférence, deux étapes d'intégration suffisent à générer ces ancres, puis une interpolation en spline cubique restitue une trajectoire lisse et complète. Une phase de Direct Preference Optimization corrige ensuite les trajectoires trop proches des obstacles en orientant le planificateur vers des solutions plus dégagées, sans surcoût de calcul à l'exécution; testé sur un bras Franka Emika, le système transfère en conditions réelles ("zero-shot") sous une perception de profondeur bruitée et partiellement occultée, avec des vidéos publiées sur neurraft.github.io. Le travail cible un angle mort classique de l'apprentissage par imitation: entraîné sur des démonstrations positives, un planificateur ne distingue pas une trajectoire sûre d'une trajectoire frôlant la collision, si bien que des comportements dangereux subsistent au moment du test. En appliquant aux trajectoires une préférence directe, technique popularisée par l'alignement des grands modèles de langage, NeurRAFT corrige ce biais sans vérification de collision post-hoc ni surcoût à l'inférence, un atout pour les intégrateurs qui opèrent des bras robotiques en environnement encombré avec une perception souvent imparfaite. Le résultat nuance l'idée que les planificateurs neuronaux de bout en bout resteraient cantonnés à des conditions de simulation contrôlées, même si les auteurs ne fournissent, dans leur résumé, aucune comparaison chiffrée indépendante face aux méthodes géométriques classiques. NeurRAFT s'inscrit dans la lignée des planificateurs neuronaux de bout en bout, qui remplacent les pipelines géométriques classiques comme RRT ou les champs de distance signée par des politiques apprises, et dans la vague des modèles génératifs par flow matching déjà utilisés en robotique. L'article revendique des améliorations substantielles face à des planificateurs qualifiés d'état de l'art sans les nommer explicitement, une réserve à garder en tête avant de généraliser les chiffres annoncés. Il s'agit à ce stade d'une publication de recherche en preprint, non relue par les pairs et non d'un produit déployé: la validation se limite à un seul bras de laboratoire et à des vidéos choisies par les auteurs, sans calendrier annoncé de portage vers d'autres plateformes comme des manipulateurs mobiles ou des humanoïdes.

RecherchePaper
1 source
KGLAMP : un modèle de langage guidé par graphe de connaissances pour la planification multi-robot adaptative
4arXiv cs.RO 

KGLAMP : un modèle de langage guidé par graphe de connaissances pour la planification multi-robot adaptative

Des chercheurs ont publié KGLAMP (Knowledge Graph-guided Language Model for Adaptive Multi-robot Planning and Replanning), un framework de planification combinant graphes de connaissances et grands modèles de langage pour coordonner des équipes de robots hétérogènes sur des missions longues. La contribution centrale est une architecture en deux couches : un graphe de connaissances structuré encode en temps réel les relations entre objets, la portée spatiale de chaque robot et leurs capacités spécifiques, tandis qu'un LLM s'appuie sur ce graphe pour générer automatiquement des spécifications PDDL (Planning Domain Definition Language) correctes. Quand l'environnement évolue, un obstacle déplacé, un robot en panne, le graphe détecte l'incohérence et déclenche un replanification automatique. Sur le benchmark MAT-THOR (un environnement simulé de type habitat domestique conçu pour tester la coordination multi-agents), KGLAMP surpasse de 25,3 % au minimum les deux approches de référence : planificateurs PDDL classiques seuls et LLM seuls. Ce résultat est significatif parce qu'il attaque un problème structurel bien documenté dans la littérature : les planificateurs symboliques PDDL exigent des modèles du monde construits manuellement, coûteux à maintenir dans des environnements dynamiques, tandis que les LLM utilisés seuls tendent à ignorer l'hétérogénéité des agents et à produire des plans invalides face à l'incertitude. KGLAMP propose une mémoire persistante et mise à jour dynamiquement qui sert d'interface entre perception et raisonnement symbolique. Pour un intégrateur déployant des flottes mixtes (AMR, bras manipulateurs, drones), la promesse d'un replanning automatique sans re-modélisation manuelle représente un gain opérationnel concret, notamment dans les entrepôts à géométrie variable ou la logistique hospitalière. L'article s'inscrit dans la tendance des approches dites "neuro-symboliques" qui tentent de corriger les faiblesses des LLM par des représentations explicites du monde. Les travaux concurrents incluent SayPlan (Rana et al., 2023) et les variantes LLM+PDDL de Meta AI, Google DeepMind ou CMU. Il reste à noter que les expériences sont conduites exclusivement en simulation sur MAT-THOR : aucune validation physique n'est rapportée, ce qui laisse ouverte la question du sim-to-real gap pour des flottes réelles. La prochaine étape naturelle serait un déploiement sur des plateformes matérielles hétérogènes pour mesurer la robustesse du graphe de connaissances face au bruit sensoriel du monde réel.

RecherchePaper
1 source