Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Hydra : calibration main-œil RGB-D sans marqueurs
RecherchearXiv cs.RO 

Hydra : calibration main-œil RGB-D sans marqueurs

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (2504.20584v2) Hydra, une méthode de calibration main-œil sans marqueurs par imagerie RGB-D, fondée sur une nouvelle implémentation de l'algorithme ICP avec un objectif point-to-plane robuste formulé sur une algèbre de Lie. Testée sur trois bras manipulateurs série et deux caméras RGB-D, elle atteint environ 90% de calibrations réussies avec seulement trois configurations robot tirées au hasard, soit une convergence vers l'optimum global 2 à 3 fois supérieure aux méthodes à marqueurs et sans marqueurs prises comme référence. Sur neuf configurations, le temps de convergence tombe à 0,8 seconde en moyenne (écart-type 0,4 s), deux ordres de grandeur plus rapide que les autres méthodes sans marqueurs, pour une précision de 5 mm dans l'espace de la tâche contre 7 mm pour les approches classiques. Le code et le jeu de benchmark sont publiés en open source sous licence Apache 2.0, avec une intégration ROS 2 prête à l'emploi.

La calibration main-œil, qui aligne le repère d'une caméra sur celui du robot, conditionne toute application de vision guidée (préhension, inspection, bin picking) et repose classiquement sur des marqueurs physiques dont la pose et le réétalonnage ralentissent la mise en service, tandis que les alternatives sans marqueurs existantes peinent souvent à converger de manière fiable. En cumulant taux de succès élevé, rapidité et précision supérieure même aux méthodes à marqueurs, Hydra cible directement ce point de friction pour les intégrateurs devant réétalonner fréquemment leurs cellules robotisées, par exemple après un changement d'outil ou de poste. La publication ouverte du code et du benchmark permet en outre une comparaison reproductible, un exercice rare dans ce sous-domaine de la robotique.

La calibration main-œil est un problème ancien, longtemps traité par des algorithmes à marqueurs puis par des variantes sans marqueurs exploitant des nuages de points, mais peu robustes face aux optima locaux et aux temps de calcul élevés. Hydra s'inscrit dans cette lignée en cherchant à lever ce compromis grâce à sa formulation ICP point-to-plane sur une algèbre de Lie. Il s'agit à ce stade d'une contribution de recherche académique, validée sur des manipulateurs série standards du commerce, et non d'un déploiement industriel documenté. L'intégration ROS 2 fournie, avec couche d'abstraction robot, vise à faciliter l'adoption par les équipes de recherche et d'intégration, ouvrant la voie à des validations sur davantage de plateformes et de caméras dans de futurs travaux.

Impact France/UE

Les intégrateurs robotiques européens qui réétalonnent régulièrement leurs cellules pourraient tester cet outil open source pour accélérer la calibration main-œil.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Main d'AnyDexRT : retargeting dextérique sans calibration guidé par peu de démonstrations humaines
1arXiv cs.RO 

Main d'AnyDexRT : retargeting dextérique sans calibration guidé par peu de démonstrations humaines

Des chercheurs viennent de publier sur arXiv (arXiv:2607.08341, 10 juillet 2026) une nouvelle méthode baptisée AnyDexRT, conçue pour le retargeting cinématique des mains robotiques dextres en téléopération. Le retargeting consiste à traduire les mouvements de la main d'un opérateur humain en mouvements réalisables par une main robotique, une étape cruciale pour la téléopération et pour la collecte de démonstrations utilisées en apprentissage par imitation. Contrairement aux approches existantes, qui reposent souvent sur des objectifs conçus manuellement, un calibrage précis ou un appariement global des formes entre la main humaine et la main robotique, AnyDexRT ne nécessite aucune calibration préalable. La méthode combine un apprentissage auto-supervisé des correspondances entre le bout des doigts humains et robotiques avec un guidage humain en few-shot, c'est-à-dire à partir de très peu d'exemples, pour ancrer la correspondance dans les zones pertinentes pour la tâche. Un classificateur de contact affine ensuite spécifiquement les poses de préhension en pince. Cette approche répond à un problème concret et sous-estimé du secteur : la fragilité des pipelines de téléopération dès qu'on change de main robotique ou d'opérateur, ce qui limite la scalabilité de la collecte de données pour l'apprentissage par imitation, un goulot d'étranglement identifié dans le développement des modèles VLA (vision-langage-action) comme Pi-0 ou GR00T N2. En supprimant la calibration manuelle, AnyDexRT pourrait accélérer la production de démonstrations de qualité pour l'entraînement de politiques robotiques, un enjeu central pour les intégrateurs et laboratoires qui cherchent à faire passer leurs mains dextres de la démonstration en laboratoire à des déploiements plus robustes. Les auteurs rapportent des gains en qualité de retargeting et une réduction du réglage manuel sur des mains dextres variées et des tâches de téléopération réelles, sans toutefois préciser de métriques chiffrées vérifiables dans le résumé. Le travail s'inscrit dans la lignée des recherches sur le retargeting cross-embodiment, un axe actif face à la multiplication des mains robotiques commerciales aux morphologies différentes. Un site de projet accompagne la publication, mais aucun code, benchmark comparatif détaillé ni partenariat industriel n'est mentionné à ce stade : il s'agit d'une contribution académique, pas d'un produit prêt à déployer.

RecherchePaper
1 source
Calib3R : calibration main-œil et reconstruction 3D à l'échelle métrique avec des modèles fondation 3D
2arXiv cs.RO 

Calib3R : calibration main-œil et reconstruction 3D à l'échelle métrique avec des modèles fondation 3D

Le laboratoire de recherche a présenté Calib3R, une méthode conjointe de calibration main-œil et de reconstruction 3D métrique pour bras robotiques équipés de caméras RGB. Contrairement aux techniques traditionnelles qui exigent des mires de calibration physiques, Calib3R fonctionne sans motif imprimé : elle s'appuie sur un modèle de fondation 3D pour extraire des pointmaps directement à partir d'images RGB, combinées aux poses articulaires du robot afin de reconstruire une scène 3D à l'échelle métrique, alignée sur le référentiel de la base du robot. Le système gère aussi bien les configurations mono-caméra que multi-caméras, un cas généralement plus complexe car il impose d'exprimer les données dans un référentiel commun. Selon les auteurs, des expériences menées sur plusieurs jeux de données montrent que Calib3R atteint une calibration précise avec moins de dix images, surpassant à la fois les méthodes sans mire et les méthodes classiques avec mire. Le papier, disponible sur arXiv (2509.08813v2), correspond à une version révisée d'un article déjà annoncé précédemment. Pour l'industrie robotique, cette approche répond à un goulot d'étranglement concret de l'intégration : aujourd'hui, calibrer un bras robotique et reconstruire son environnement en 3D restent deux étapes distinctes, chacune exigeant du matériel dédié (mires, cibles) et une expertise spécifique, ce qui ralentit le déploiement de systèmes de manipulation guidés par la vision. En unifiant les deux tâches dans une seule optimisation géométrique, et en réduisant drastiquement le nombre d'images nécessaires, Calib3R pourrait simplifier la mise en service de cellules robotiques pour des intégrateurs qui n'ont pas de laboratoire de métrologie dédié. C'est aussi un signal parmi d'autres que les modèles de fondation 3D, initialement développés pour la vision générale, commencent à s'infiltrer dans les briques d'infrastructure robotique les plus techniques, au-delà des usages de perception ou de planification de trajectoire déjà démontrés. Cette publication s'inscrit dans la lignée des travaux récents exploitant les modèles de fondation 3D (type reconstruction dense à partir d'images non calibrées) pour résoudre des problèmes classiques de robotique autrement dépendants de capteurs ou de mires physiques. Elle se positionne face aux méthodes de calibration patternless existantes et aux approches par mire encore largement utilisées en production. L'article ne précise pas d'implémentation matérielle commerciale ni de partenaire industriel : il s'agit à ce stade d'une contribution de recherche évaluée sur jeux de données, sans indication de déploiement pilote ou d'intégration produit annoncée.

RecherchePaper
1 source
Un algorithme certifié exact pour la calibration généralisée robot-monde et main-œil
3arXiv cs.RO 

Un algorithme certifié exact pour la calibration généralisée robot-monde et main-œil

Des chercheurs ont déposé sur arXiv (identifiant 2507.23045, version révisée) un algorithme de calibration extrinsèque pour plateformes multi-capteurs, formulé comme une solution générale au problème dit de "robot-world and hand-eye calibration" (RWHEC). La contribution centrale est la garantie de convergence vers l'optimum global, une propriété que les méthodes précédentes, souvent fondées sur une optimisation locale par descente de gradient, ne pouvaient pas assurer. L'algorithme résout simultanément la pose de plusieurs capteurs et de plusieurs cibles, et prend en charge les caméras monoculaires, qui présentent une ambiguïté d'échelle intrinsèque : seules, elles ne peuvent pas mesurer la distance absolue sans information supplémentaire. Une implémentation open-source accompagne la publication pour faciliter reproductibilité et adoption. La calibration extrinsèque, la détermination précise de la position et de l'orientation relative entre un capteur (caméra, LiDAR) et l'effecteur ou la base d'un robot, est un prérequis critique pour tout système multi-capteurs, qu'il s'agisse de robotique industrielle, de véhicules autonomes ou de manipulation. En pratique, les méthodes existantes exigent soit des hypothèses fortes sur l'environnement (cibles connues, mouvements structurés), soit des initialisations manuelles proches de la solution, au risque de converger vers un minimum local erroné. Les auteurs dérivent des critères d'identifiabilité a priori, c'est-à-dire des conditions mathématiques permettant de vérifier avant le calcul si le problème admet une solution unique, ainsi que des garanties d'optimalité globale pour des instances à erreurs de mesure bornées. Cela réduit la charge opérateur et élimine le risque d'échec silencieux en production. Techniquement, l'algorithme repose sur une relaxation SDP (Semidefinite Programming) d'un programme quadratique à contraintes quadratiques (QCQP), une famille de méthodes popularisée notamment par TEASER++ (MIT, 2020) pour le recalage de nuages de points. Les auteurs introduisent en parallèle une nouvelle qualification de contraintes pour les programmes non linéaires à contraintes redondantes, une contribution de théorie de l'optimisation valable indépendamment du problème de calibration. À noter que ce travail reste un preprint non encore évalué par les pairs. Dans un secteur où des acteurs comme Boston Dynamics, Agility Robotics, ou côté français Wandercraft, investissent massivement dans la perception embarquée multi-capteurs, disposer d'une calibration certifiée, générale et peu contraignante représente un gain opérationnel concret pour le passage à l'échelle en environnements réels.

UELes entreprises françaises multi-capteurs comme Wandercraft pourraient intégrer cet algorithme open-source pour fiabiliser leur calibration robot en production sans risque de minimum local silencieux.

RecherchePaper
1 source
Inspection robotique autonome multimodale sans marqueurs des grandes structures spatiales
4arXiv cs.RO 

Inspection robotique autonome multimodale sans marqueurs des grandes structures spatiales

Un pipeline d'inspection robotique autonome sans marqueurs pour de grandes structures spatiales a été présenté dans un preprint publié sur arXiv (2609.29644). Le système repose sur un bras manipulateur Kinova Gen2 équipé d'une tête de capteurs multimodale montée sur l'effecteur, combinant une caméra RGB-D, une caméra thermique et un LiDAR 2D. Le pipeline estime d'abord un volume d'inspection approximatif, génère des points de vue, planifie des trajectoires sans collision via MoveIt, puis enregistre de façon synchronisée images RGB-D, données thermiques et poses du robot sous ROS2. Pour la reconstruction 3D, plusieurs méthodes candidates ont été comparées avant de retenir Nerfacto pour la reconstruction géométrique et Thermal-Nerfacto pour un rendu sensible à la température. Le système a été validé dans un simulateur Gazebo et testé de façon préliminaire en laboratoire, où il a démontré sa capacité à acquérir des données d'inspection spatialement cohérentes et à produire des reconstructions exploitables pour une évaluation visuelle et géométrique. Cette approche cible les limites des méthodes actuelles de maintenance en orbite, qui dépendent généralement de trajectoires prédéfinies, d'interfaces standardisées, de marqueurs fiduciaires ou de modèles CAO précis de la cible, des contraintes qui ne tiennent pas face à de futures infrastructures orbitales hétérogènes, partiellement inconnues ou trop vastes, telles que grandes antennes déployables ou fermes solaires. En s'appuyant sur la reconstruction 3D par champs de radiance neuronaux (NeRF) comme représentation support de l'inspection plutôt que sur un modèle préexistant de la cible, ce travail répond à un besoin concret des opérateurs de servicing orbital et de retrait de débris, pour qui la variabilité et l'inconnu des cibles restent un obstacle majeur à l'automatisation. Il faut toutefois souligner que la validation reste circonscrite à une simulation Gazebo et à des essais préliminaires en laboratoire terrestre: aucune démonstration en orbite réelle n'est revendiquée, et rien n'indique encore une robustesse face aux contraintes propres à l'espace, comme l'éclairage extrême ou les limites de masse et de puissance embarquées. Ce travail s'inscrit dans la montée en puissance du secteur du service en orbite et de la gestion de fin de vie des satellites, un domaine où des acteurs comme Northrop Grumman, Astroscale ou Airbus développent des missions de ravitaillement, de réparation ou de désorbitation généralement conçues pour des cibles coopératives et bien caractérisées. L'apport de cette recherche est de traiter le cas inverse, celui de structures non coopératives et faiblement documentées, un scénario appelé à se multiplier avec la croissance des grandes plateformes orbitales et des débris spatiaux. Le choix de Nerfacto après comparaison d'autres méthodes de reconstruction suggère que des variantes concurrentes de NeRF ont été jugées moins adaptées au contexte embarqué. Le papier se présente comme une étape intermédiaire, sans calendrier de test en orbite ni partenaire industriel identifié à ce stade, les prochaines étapes attendues portant sur le passage à des environnements réels et à des structures de taille et de complexité supérieures.

UELa recherche pourrait a terme intéresser des acteurs européens du service en orbite comme Airbus, mais aucun partenariat ni test européen n'est mentionne dans l'article.

RecherchePaper
1 source