Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Reconnaissance automatique des cordons de soudure et cartographie 3D pour le post-traitement robotique par photogrammétrie et segmentation sémantique
RecherchearXiv cs.RO 

Reconnaissance automatique des cordons de soudure et cartographie 3D pour le post-traitement robotique par photogrammétrie et segmentation sémantique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent, dans une prépublication arXiv datée du 3 septembre 2026 (arXiv:2609.03970v1), un pipeline expérimental de vision par ordinateur destiné à localiser approximativement les cordons de soudure sur des pièces industrielles avant leur traitement robotisé (meulage, finition, inspection). La méthode combine quatre étapes : capture d'images de la pièce depuis plusieurs points de vue, identification des cordons de soudure par segmentation sémantique, reconstruction 3D de la pièce par photogrammétrie, puis projection des cordons détectés sur ce modèle reconstruit. L'objectif affiché est de réduire le temps et le volume de données nécessaires par rapport à un scan complet de la surface au scanner laser haute précision ou par lumière structurée, technique aujourd'hui standard mais coûteuse en temps pour les pièces de grande taille, et génératrice de données majoritairement inexploitables puisque seule une fraction de la surface porte réellement des soudures.

Pour les intégrateurs de cellules robotisées de post-traitement, ce type d'approche répond à un goulot d'étranglement concret : le scan haute précision reste indispensable pour guider un robot de meulage ou d'inspection avec la précision millimétrique requise, mais scanner l'intégralité d'une pièce volumineuse (coque, châssis, structure métallique soudée) avant de savoir où se trouvent réellement les soudures représente une perte de temps machine. En reléguant le scan laser à une étape de mesure fine limitée aux zones préidentifiées, ce pré-repérage par caméras et segmentation sémantique pourrait accélérer les cycles de préparation de pièce, un enjeu direct pour la productivité des ateliers de soudure automatisée confrontés à une forte variabilité de pièces.

Le travail se situe à un stade expérimental et préliminaire, sans indication de partenaire industriel, de nom de robot ou de site de déploiement, et l'article ne fournit ni chiffres de précision de détection ni temps de cycle mesurés. Il s'inscrit dans une littérature plus large combinant photogrammétrie et vision par apprentissage profond pour guider le post-traitement robotisé, en alternative aux capteurs 3D dédiés (scanners laser, lumière structurée) jugés trop lents ou trop gourmands en données pour un usage systématique sur de grandes pièces. Les auteurs présentent leur méthode comme une étape préalable à la mesure de précision, sans détailler à ce stade de calendrier de validation industrielle ni de tests en conditions réelles de production.

Dans nos dossiers

arXiv cs.RO

À lire aussi

F4R : reconnaissance, reconstruction, raffinement et redéploiement guidés par les échecs pour l'auto-amélioration continue des robots
1arXiv cs.RO 

F4R : reconnaissance, reconstruction, raffinement et redéploiement guidés par les échecs pour l'auto-amélioration continue des robots

Des chercheurs proposent F4R (Failure for Rising), un cadre d'apprentissage en boucle fermée « real-to-sim-to-real » qui transforme les échecs observés en conditions réelles en améliorations ciblées d'une politique de type vision-langage-action (VLA). Le système enchaîne quatre étapes : un agent identifie et diagnostique automatiquement les échecs à partir des rollouts, chaque échec est reconstruit sous forme d'environnement de table interactif centré sur les objets, la politique est affinée par un co-entraînement simulation/réel conditionné par l'échec puis par de l'apprentissage par renforcement ciblé dans ces environnements reconstruits, et la politique améliorée est redéployée. Les nouveaux échecs alimentent le cycle suivant. Sur quatre tâches de manipulation testées en conditions réelles, F4R atteint 93,75 % de réussite en distribution et 90,0 % hors distribution (OOD). Il devance de 18,75 points de pourcentage, en OOD, une base de comparaison à budget égal, le Targeted BC (clonage comportemental ciblé), et ce sans collecte de nouvelles démonstrations correctives dans le monde réel. L'enjeu est très concret pour les intégrateurs et les équipes qui déploient des VLA. La réponse habituelle à un échec en production consiste à collecter de nouvelles démonstrations d'experts, ce qui coûte cher, demande du temps opérateur, peut être risqué pour le matériel et se met mal à l'échelle. Déplacer la correction vers la simulation, à partir de scènes reconstruites à partir de l'échec réel, viserait à réduire ce goulot d'étranglement. Si ces résultats se confirment, ils indiqueraient qu'un écart de robustesse hors distribution peut se combler sans téléopération supplémentaire, et que la reconstruction ciblée permet de contourner en partie le problème du sim-to-real, généralement traité avec des simulateurs génériques. Des réserves s'imposent : l'évaluation ne porte que sur quatre tâches de table, avec des objets manipulés simples, et l'article ne détaille pas ici le nombre d'essais ni les modèles de base. Les gains sont mesurés face à une seule base à budget égal, et la transposition à des scènes encombrées, à des objets déformables ou à des cellules industrielles reste à démontrer. Ce travail s'inscrit dans la course à la fiabilité des politiques généralistes de type Pi-0, Helix ou GR00T, dont les performances réelles restent limitées par la couverture des démonstrations et par une compréhension encore partielle des interactions physiques. Il prolonge les approches de real-to-sim et de réglage par renforcement de VLA, ainsi que les boucles de « data flywheel » que les acteurs industriels revendiquent pour leurs flottes. La différence tient ici à l'automatisation du diagnostic et à la reconstruction de chaque échec comme environnement d'entraînement. Il s'agit d'une publication de recherche sur arXiv (version 2 remplaçant la précédente), sans produit ni déploiement commercial annoncé. La suite logique serait de valider la méthode sur des robots plus variés, des tâches plus longues et des cadences industrielles, avant d'envisager une intégration dans des chaînes de déploiement continu.

RecherchePaper
1 source
SASI : exploiter la sémantique des sous-actions pour une reconnaissance précoce et robuste en interaction homme-robot
2arXiv cs.RO 

SASI : exploiter la sémantique des sous-actions pour une reconnaissance précoce et robuste en interaction homme-robot

Des chercheurs présentent SASI (Sub-Action Semantics Integrated cross-modal fusion), un cadre de reconnaissance d'actions humaines publié en préprint sur arXiv (réf. 2604.27508). L'objectif est d'améliorer la reconnaissance précoce des gestes dans le contexte de l'interaction homme-robot (HRI) : identifier une action avant qu'elle soit complètement exécutée, à partir d'une séquence incomplète. SASI combine un réseau de convolution sur graphe (GCN) basé sur le squelette humain avec un modèle de segmentation de sous-actions, fusionnant des features spatiotemporelles et la sémantique des sous-actions via une fusion cross-modale. Le système fonctionne en temps réel à 29 Hz. Les évaluations sont conduites sur le dataset BABEL, un jeu de données squelettiques avec annotations au niveau de la frame, et montrent une amélioration de la précision de reconnaissance précoce par rapport aux approches conventionnelles. La capacité à reconnaître une action avant sa complétion est décisive pour les robots collaboratifs qui doivent anticiper et répondre de manière proactive. Les approches existantes traitent l'action comme un tout holiste et ignorent la structure hiérarchique inhérente aux mouvements humains : un "saisir un objet" se décompose en approche, préhension et retrait, avec des indices sémantiques distincts à chaque sous-étape. En exploitant ces sous-actions comme unités d'analyse, SASI permet au robot de prendre des décisions à partir d'observations partielles. Pour un intégrateur de robots industriels ou un opérateur d'AMR en entrepôt, cela se traduit concrètement par des systèmes capables d'adapter leur trajectoire avant qu'un opérateur humain ait terminé son geste, réduisant les temps d'attente et les risques de collision. La reconnaissance d'actions par squelette s'appuie depuis 2018 sur les GCN spatio-temporels (ST-GCN, puis CTR-GCN, MS-G3D), devenus le backbone standard du domaine. BABEL, le dataset utilisé ici, est construit sur AMASS, une collection motion-capture multi-sujets avec étiquetage sémantique fin. Il n'y a pas, à ce stade, d'entreprise ou de partenaire industriel mentionné : SASI est un travail académique en préprint, soumis de façon anonyme (dépôt de code temporaire sur anonymous.4open.science), ce qui en limite pour l'instant la reproductibilité indépendante. Les auteurs indiquent que des gains supplémentaires sont attendus avec l'amélioration de la segmentation des sous-actions, une dépendance critique non résolue pour un déploiement réel. Aucune timeline de productisation ni partenaire industriel ne sont mentionnés.

RecherchePaper
1 source
GraphPoint : graphes d'entités sémantiques et trajectoires de points pour la manipulation robotique compositionnelle
3arXiv cs.RO 

GraphPoint : graphes d'entités sémantiques et trajectoires de points pour la manipulation robotique compositionnelle

Un article déposé sur arXiv (référence 2609.18358) début septembre 2026 présente GraphPoint, une méthode de manipulation robotique associée à un nouveau benchmark baptisé CoMani. Le travail part d'un constat répandu en robotique : les politiques de manipulation entraînées par apprentissage peinent à généraliser au-delà de leurs démonstrations, même quand une nouvelle instruction combine des objets et des comportements déjà vus séparément. Les auteurs expliquent que lorsque langage et scène visuelle sont trop fortement corrélés pendant l'entraînement, la politique finit par mémoriser un mapping visuo-moteur fixe au lieu de réellement suivre l'instruction donnée. CoMani propose des scènes initiales appariées et des variations contrôlées portant sur un seul facteur sémantique à la fois, afin de forcer les modèles évalués à s'appuyer sur le langage plutôt que sur des raccourcis visuels. Deux niveaux de généralisation compositionnelle sont testés : à l'intérieur d'une sous-tâche, en recombinant entités, types d'action et modificateurs déjà connus, et entre sous-tâches, en réutilisant des comportements appris dans des tâches longues et inédites. GraphPoint, la méthode proposée, relie des graphes d'entités sémantiques à un contrôle géométrique en prédisant la trajectoire future du point de préhension du gripper, convertie ensuite en commandes moteur via la géométrie du robot ; le gripper et les objets sont organisés par rôles sémantiques et leurs interactions conditionnées par le type et le modificateur d'action demandés, tandis qu'une estimation de progression guide les transitions entre étapes. L'enjeu dépasse la seule démonstration technique : il touche directement le problème de l'écart entre performance affichée sur des tâches déjà vues et robustesse réelle en usage, un point sensible pour tout intégrateur évaluant une politique vision-langage-action avant déploiement industriel. En isolant précisément si un modèle suit l'instruction ou reconnaît simplement une scène mémorisée, CoMani offre aux équipes de recherche un outil de diagnostic plus rigoureux que les démonstrations vidéo sélectionnées qui dominent souvent la communication du secteur autour des capacités de généralisation. Le papier s'inscrit dans la vague récente de benchmarks cherchant à mesurer la généralisation compositionnelle des politiques de manipulation plutôt que leur seule réussite sur des tâches figées. Les auteurs indiquent que le code sera publié en accès libre sous le nom GraphPoint, sans préciser de calendrier ni d'institution porteuse. Aucun partenariat industriel, déploiement réel ou chiffre de performance chiffré au-delà des résultats d'ablation sur CoMani n'est mentionné à ce stade, ce qui situe cette publication au stade de la recherche amont plutôt que du produit commercialisable.

RecherchePaper
1 source
YUBI-STAG : alignement riche en contact et en sémantique pour les VLA par ancrage vidéo-langage automatisé
4arXiv cs.RO 

YUBI-STAG : alignement riche en contact et en sémantique pour les VLA par ancrage vidéo-langage automatisé

Des chercheurs ont publié sur arXiv (octobre 2026) YUBI-STAG, un cadre d'annotation spatio-temporelle qui enrichit automatiquement les démonstrations de manipulation avec une sémantique détaillée des interactions. Les jeux de données robotiques actuels ne fournissent le plus souvent que des descriptions grossières de tâche. Ils omettent quel préhenseur agit, quel objet est touché, et comment il est saisi puis déplacé. YUBI-STAG combine une segmentation des objets en contact avec des modèles vision-langage (VLM). Il annote l'identité, les attributs et l'état des objets, les actions par préhenseur, la coordination bimanuelle et les interactions spatialement ancrées. Comme ce pipeline exige des séquences déjà localisées et plusieurs étapes d'inférence VLM, les auteurs l'ont distillé en YUBI-VLM. Ce second modèle reconstruit la structure des actions et les annotations directement à partir de vidéos brutes non segmentées, en peu d'appels d'inférence, et n'utilise que les vues poignet. Les deux systèmes sont évalués sur YUBI-STAG-Bench, qui couvre des tâches d'ancrage temporel, sémantique et spatial. Selon les auteurs, YUBI-VLM conserve l'essentiel de la précision d'annotation de YUBI-STAG, avec moins d'appels et un temps d'exécution plus court, et généralise à des manipulations jamais vues. Le résumé ne donne aucun chiffre sur la précision, le gain de temps ou la taille du benchmark. Ces ordres de grandeur seront à vérifier dans l'article complet. Ce travail reste une prépublication, sans produit commercialisé ni déploiement industriel. L'enjeu touche un point faible des modèles vision-langage-action (VLA). Leur pré-entraînement à grande échelle leur donne des compétences de manipulation étendues, mais les piloter par le langage suppose un alignement fin entre instruction et geste physique. Or les annotations disponibles sont trop pauvres pour cela. Les auteurs affirment qu'un post-entraînement de politiques VLA sur ces annotations automatiques améliore l'exécution et le suivi d'instructions dans des expériences bimanuelles. Le contrôle porte sur l'identité de l'objet, le préhenseur actif, le lieu cible et les relations spatiales, des éléments absents des étiquettes d'origine. Si ces résultats se confirment, ils indiquent que le goulot d'étranglement tient autant à la qualité des annotations qu'à l'architecture des modèles. Un VLM léger fonctionnant sur les seules caméras poignet pourrait aussi enrichir à bas coût des corpus existants, sans réannotation humaine. Les expériences restent toutefois de laboratoire, sur plateformes bimanuelles, et l'on ignore sur quels VLA elles ont été menées. Ce travail s'inscrit dans la tendance du « ré-labelling » automatique des données robotiques par VLM, face à des démonstrations dont le langage est jugé trop pauvre pour les politiques généralistes de type Pi-0, GR00T ou Helix. La distillation vers un modèle opérant sur vidéo brute vise à rendre cette approche praticable sur de gros volumes. Aucun calendrier de publication du code, des données ou du benchmark n'est mentionné dans le résumé. La suite logique serait une validation sur des VLA de référence et des tâches industrielles plus variées.

RecherchePaper
1 source