RecherchearXiv cs.RO 25 septembre 2026

Inspection robotique autonome multimodale sans marqueurs des grandes structures spatiales

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un pipeline d'inspection robotique autonome sans marqueurs pour de grandes structures spatiales a été présenté dans un preprint publié sur arXiv (2609.29644). Le système repose sur un bras manipulateur Kinova Gen2 équipé d'une tête de capteurs multimodale montée sur l'effecteur, combinant une caméra RGB-D, une caméra thermique et un LiDAR 2D. Le pipeline estime d'abord un volume d'inspection approximatif, génère des points de vue, planifie des trajectoires sans collision via MoveIt, puis enregistre de façon synchronisée images RGB-D, données thermiques et poses du robot sous ROS2. Pour la reconstruction 3D, plusieurs méthodes candidates ont été comparées avant de retenir Nerfacto pour la reconstruction géométrique et Thermal-Nerfacto pour un rendu sensible à la température. Le système a été validé dans un simulateur Gazebo et testé de façon préliminaire en laboratoire, où il a démontré sa capacité à acquérir des données d'inspection spatialement cohérentes et à produire des reconstructions exploitables pour une évaluation visuelle et géométrique.

Cette approche cible les limites des méthodes actuelles de maintenance en orbite, qui dépendent généralement de trajectoires prédéfinies, d'interfaces standardisées, de marqueurs fiduciaires ou de modèles CAO précis de la cible, des contraintes qui ne tiennent pas face à de futures infrastructures orbitales hétérogènes, partiellement inconnues ou trop vastes, telles que grandes antennes déployables ou fermes solaires. En s'appuyant sur la reconstruction 3D par champs de radiance neuronaux (NeRF) comme représentation support de l'inspection plutôt que sur un modèle préexistant de la cible, ce travail répond à un besoin concret des opérateurs de servicing orbital et de retrait de débris, pour qui la variabilité et l'inconnu des cibles restent un obstacle majeur à l'automatisation. Il faut toutefois souligner que la validation reste circonscrite à une simulation Gazebo et à des essais préliminaires en laboratoire terrestre: aucune démonstration en orbite réelle n'est revendiquée, et rien n'indique encore une robustesse face aux contraintes propres à l'espace, comme l'éclairage extrême ou les limites de masse et de puissance embarquées.

Ce travail s'inscrit dans la montée en puissance du secteur du service en orbite et de la gestion de fin de vie des satellites, un domaine où des acteurs comme Northrop Grumman, Astroscale ou Airbus développent des missions de ravitaillement, de réparation ou de désorbitation généralement conçues pour des cibles coopératives et bien caractérisées. L'apport de cette recherche est de traiter le cas inverse, celui de structures non coopératives et faiblement documentées, un scénario appelé à se multiplier avec la croissance des grandes plateformes orbitales et des débris spatiaux. Le choix de Nerfacto après comparaison d'autres méthodes de reconstruction suggère que des variantes concurrentes de NeRF ont été jugées moins adaptées au contexte embarqué. Le papier se présente comme une étape intermédiaire, sans calendrier de test en orbite ni partenaire industriel identifié à ce stade, les prochaines étapes attendues portant sur le passage à des environnements réels et à des structures de taille et de complexité supérieures.

Impact France/UE

La recherche pourrait a terme intéresser des acteurs européens du service en orbite comme Airbus, mais aucun partenariat ni test européen n'est mentionne dans l'article.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Auditer les écarts entre instructions et trajectoires dans les démonstrations robotiques multimodales

Des chercheurs décrivent, dans un article publié sur arXiv (2608.07895), une méthode d'audit ciblant un défaut discret des jeux de démonstrations robotiques utilisés pour entraîner les politiques vision-langage-action (VLA) : les Instruction-Trajectory Mismatches (ITM), des trajectoires physiquement correctes mais associées à la mauvaise instruction textuelle. Contrairement aux trajectoires ratées, ces erreurs paraissent plausibles et corrompent l'association langage-comportement apprise par le modèle. Les auteurs proposent Multimodal Probabilistic Fusion (MMPF), un cadre d'audit sans réentraînement qui traite vision, langage et trajectoire comme des experts distincts, estime une distribution de labels par accord de voisinage local et similarité à des prototypes globaux, puis fusionne ces signaux par pondération d'entropie prédictive dans un produit d'experts. Testé sur les benchmarks LIBERO avec mismatches injectés et sur des données bruitées de vrais robots, MMPF obtient la meilleure précision de détection et de correction des labels parmi les méthodes comparées. Pour l'industrie des modèles VLA généralistes, ce travail souligne que la qualité de l'étiquetage linguistique des démonstrations pèse autant que le volume de données ou l'architecture du réseau. Les pipelines de collecte à grande échelle, par téléopération ou vidéo humaine, produisent souvent des instructions mal associées aux trajectoires, un problème moins visible que les échecs physiques mais tout aussi corrosif pour l'apprentissage. Les auteurs montrent que l'audit améliore surtout les politiques dans les tâches où le langage est nécessaire pour distinguer entre plusieurs comportements possibles, un signal utile pour les laboratoires qui industrialisent la préparation de données d'entraînement robotique. Cette approche s'inscrit dans la montée des efforts de curation de données pour l'apprentissage robotique à grande échelle, à mesure que les politiques VLA se généralisent au-delà des démonstrations parfaitement contrôlées. Elle se distingue des méthodes de filtrage post-hoc classiques, qui repèrent des rollouts physiquement incorrects, en ciblant des erreurs sémantiques invisibles à l'œil nu. Les expériences sur robot réel mettent en évidence un arbitrage entre deux stratégies correctives : supprimer les démonstrations suspectes ou les réétiqueter automatiquement. Chacune modifie différemment la performance finale de la politique, ouvrant la voie à une intégration de ce type d'audit dans les pipelines de préparation de données, avant même l'entraînement des modèles.

RecherchePaper

1 source

2arXiv cs.RO

Le défi ERR@HRI 3.0 : détection multimodale des erreurs et anticipation dans les interactions homme-robot

Détecter en temps réel qu'un robot vient de se tromper, ou qu'un humain à proximité va bientôt subir un échec, reste un problème ouvert pour l'interaction homme-robot. La troisième édition du challenge ERR@HRI, présentée dans un article déposé sur arXiv le 14 juillet 2026, propose deux jeux de données inédits pour faire avancer ce sujet. Le premier, Bystander Affect Detection (BAD), rassemble des enregistrements webcam de 45 participants réagissant spontanément à des scénarios d'échec robotique ou humain. Le second, Bad Idea, contient les réactions faciales anticipatoires de 29 participants tentant de prédire l'issue d'une action avant qu'un échec ne survienne. Les deux corpus, collectés par crowdsourcing avec des vidéos brutes non anonymisées, capturent la variabilité de conditions réelles plutôt que des données contrôlées en laboratoire. Trois pistes étaient proposées aux participants: détection des réactions de témoins (Track 1), prédiction anticipatoire d'issue (Track 2), et une piste optionnelle de généralisation cross-dataset (Track 3). Trois équipes ont soumis des modèles valides, tous supérieurs aux baselines à réseaux convolutifs (CNN) des organisateurs. L'enjeu dépasse la simple compétition académique: la plupart des systèmes de détection d'erreur actuels fonctionnent sur des contextes restreints, des environnements contrôlés ou des caractéristiques pré-extraites, ce qui limite fortement leur transfert vers des déploiements réels. En forçant les équipes à travailler sur de la vidéo brute multimodale et des scénarios naturalistes, ERR@HRI 3.0 teste directement si les approches actuelles tiennent face à l'écart classique entre démonstration en laboratoire et usage terrain. Pour les intégrateurs et concepteurs de robots sociaux ou collaboratifs, la capacité à anticiper un échec avant qu'il ne se produise, et pas seulement à le constater après coup, conditionne la confiance des utilisateurs et l'acceptabilité au quotidien de ces systèmes. Le fait qu'il s'agisse d'une troisième édition traduit un effort continu de la communauté recherche en interaction homme-robot pour structurer ce champ encore jeune, à travers des benchmarks partagés plutôt que des évaluations isolées propres à chaque laboratoire. Seules trois équipes ayant soumis des modèles valides, malgré le dépassement des baselines, l'article souligne que la détection et l'anticipation d'erreurs en conditions réelles restent un domaine en construction, avec des perspectives explicites vers des systèmes plus généralisables et conscients du contexte.

RecherchePaper

1 source

3arXiv cs.RO

Apprendre à construire : assemblage robotique autonome de structures stables sans plans prédéfinis

Des chercheurs proposent un cadre d'assemblage robotique autonome capable de construire des structures stables sans plan architectural prédéfini. Au lieu de suivre un plan figé, la tâche de construction est décrite par des cibles à atteindre et des obstacles à éviter. Le système décide donc lui-même de l'ordre et du placement des éléments. Le module de décision est une politique d'apprentissage par renforcement (RL), entraînée par deep Q-learning avec « successor features », une représentation qui découple la dynamique de l'environnement de la fonction de récompense. Cette approche vise à faciliter le transfert d'une tâche à l'autre. L'évaluation, présentée comme une preuve de concept, porte sur un banc d'essai de 15 tâches d'assemblage 2D en blocs discrets. Des expériences ont aussi été menées sur un montage robotique réel en boucle fermée. Elles indiquent que la méthode fonctionne et tolère le bruit de construction, c'est-à-dire les imprécisions de pose et d'exécution lors de la pose des blocs. Le résumé ne donne ni taux de réussite, ni temps de cycle, ni nombre d'essais réels, ni identification du robot utilisé. L'intérêt tient au déplacement du problème. L'assemblage robotique industriel repose presque toujours sur une séquence connue à l'avance, ce qui limite sa robustesse dès que le terrain ou les pièces s'écartent du modèle. Une politique qui raisonne à partir d'objectifs et de contraintes, et qui corrige en boucle fermée, répond à l'incertitude propre au chantier, à la construction modulaire ou à la préfabrication in situ. Les limites sont toutefois nettes. Les tâches sont en 2D, avec des blocs discrets, loin des charges, des tolérances et des matériaux d'un site réel. Aucune comparaison avec des planificateurs classiques n'est annoncée. Le résultat reste un signal de recherche, sans lien avec un produit, un déploiement ou une démonstration à l'échelle. Ces travaux s'inscrivent dans un mouvement plus large qui remplace les pipelines de planification symbolique par des politiques apprises, qu'il s'agisse de RL ou de modèles vision-langage-action (VLA) pour la manipulation. L'assemblage de structures y reste un terrain moins exploré que la saisie ou le tri. La suite logique est le passage à la 3D, à des éléments hétérogènes et à des géométries plus riches, avec une validation sur des tâches physiques plus nombreuses. Il s'agit de la version 2 d'un preprint arXiv (2602.23934), qui n'a pas encore été publié après relecture par les pairs. Aucun partenaire industriel ni calendrier de pilote n'est mentionné.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Reconstruction de robots à structure continue par recalage de forme sans marqueurs à partir d'images, via un modèle cinématique

Un algorithme de reconstruction de forme pour robots continus, décrit dans une version mise à jour d'un article déposé sur arXiv (arXiv:2405.15336v2), reconstruit la courbe tridimensionnelle du squelette de ces manipulateurs souples directement à partir d'images, sans marqueurs physiques. La méthode ajuste une courbe paramétrique aux pixels du robot détectés dans un pipeline photogrammétrique classique, sans connaître a priori sa position dans l'image. Sur la majorité des configurations testées, l'écart entre la reconstruction et la vérité terrain reste inférieur à 1 mm, soit 0,67% de la longueur du robot. Sur des robots continus réels à tubes concentriques, les résultats concordent avec dix mesures manuelles de référence prises sur 18 configurations différentes, et le pipeline automatisé traite chaque configuration en environ 0,5 seconde. Cette avancée cible un problème concret pour les concepteurs de robots continus, utilisés en aérospatiale, en inspection industrielle et en chirurgie mini-invasive: les modèles physiques seuls prédisent mal la déformation réelle du squelette, ce qui oblige à mesurer précisément la forme obtenue pour valider ces modèles et constituer des jeux de données de référence. Remplacer une procédure manuelle et lente par un pipeline automatisé de l'ordre de la demi-seconde par configuration accélère significativement les cycles de validation en laboratoire, sans nécessiter de marqueurs qui seraient difficiles à poser ou à observer dans des espaces confinés et courbes, typiques de ces applications. Il s'agit toutefois d'un résultat de recherche mesuré en conditions contrôlées, pas d'un produit commercial déployé. Les robots continus, structures fines et flexibles inspirées des tentacules ou des trompes, gagnent du terrain face aux manipulateurs rigides classiques précisément parce qu'ils naviguent dans des environnements encombrés inaccessibles autrement, notamment via des robots à tubes concentriques insérés par de petites incisions en chirurgie. Les approches historiques de mesure de forme reposent sur des capteurs embarqués, des fibres optiques ou un suivi manuel par marqueurs, chacune avec ses limites de coût, d'encombrement ou d'occlusion. Publié sans affiliation industrielle ni site de déploiement mentionnés, ce travail s'adresse aux laboratoires de robotique et de dispositifs médicaux en quête d'outils de validation plus rapides, sans annonce de pilote ni de calendrier de transfert vers l'industrie.

RecherchePaper

1 source