RecherchearXiv cs.RO 18 juin 2026

ART-VS : tuilage à résolution adaptative pour l'asservissement visuel par Vision Transformer

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs propose ART-VS (Adaptive Resolution Tiling Visual Servoing), une méthode en deux phases pour le servo-visuel robotique exploitant des descripteurs de Vision Transformer (ViT) auto-supervisés, sans aucun entraînement spécifique à la tâche. Le principe : une première phase à résolution native assure un alignement grossier robuste, puis une seconde phase découpe l'image en tuiles haute résolution et restreint la mise en correspondance aux voisinages locaux pour affiner la précision finale. Sur le banc de test standard sous perturbations, ART-VS atteint 95,4% de convergence, contre 76,6% pour l'approche ViT standard et 81,0% pour le traitement pleine résolution, soit respectivement +18,8 et +14,4 points. La méthode s'exécute plus de 10 fois plus vite que l'approche pleine résolution tout en consommant 27% moins de VRAM, réduisant l'erreur de positionnement de 53% par rapport au ViT standard. En validation réelle sur des instances jamais vues à l'entraînement, ART-VS atteint 95/100 sur des bouteilles transparentes et 98/100 sur des chaussures, sur trois architectures ViT distinctes.

Ces résultats comptent dans le débat sur la généralisabilité des approches visuelles en robotique. La saisie d'objets transparents à 95% de réussite sans données d'entraînement spécifiques constitue une démonstration concrète de la valeur des descripteurs ViT fondés sur l'auto-supervision (DINO, DINOv2), que les méthodes classiques basées sur la profondeur ou la texture peinent structurellement à gérer. Pour les intégrateurs et les équipes robotiques industrielles, l'absence de fine-tuning élimine une friction majeure au déploiement multi-catégories, et le gain d'efficacité computationnelle ouvre la voie à des boucles de servo-visuel embarquées ou à faible latence. La réduction de 53% de l'erreur de positionnement est particulièrement pertinente pour les tâches d'assemblage ou d'insertion à tolérance serrée.

ART-VS s'inscrit dans un courant qui exploite les modèles fondationnels visuels pré-entraînés comme socle pour le contrôle robotique sans annotation. Le servo-visuel classique reposait sur des descripteurs artisanaux (SIFT, SURF) ou des pipelines supervisés, tous deux limités en généralisation inter-objets. L'utilisation de ViT auto-supervisés pour générer des correspondances denses avait déjà montré des résultats prometteurs, mais le compromis entre résolution grossière (robuste, imprécise) et haute résolution (précise, coûteuse) restait non résolu. Le travail est publié en preprint sur arXiv (2606.19089), le code étant disponible publiquement. Les suites naturelles incluront la validation en environnements industriels contraints et l'intégration avec des architectures Vision-Language-Action (VLA) pour des tâches de manipulation longue séquence.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Fusion multimodale pour le transfert simulation-réel en apprentissage par renforcement visuel

Une équipe de recherche a soumis sur arXiv (identifiant 2507.09180, actuellement à la version 4) une architecture de fusion multimodale pour améliorer le transfert sim-to-real en apprentissage par renforcement visuel appliqué à la manipulation robotique. L'approche combine deux flux d'entrée, RGB et profondeur (depth), traités en parallèle par des réseaux convolutifs séparés (CNN stems), dont les représentations fusionnées sont transmises à un vision transformer (ViT) scalable. L'information de profondeur, naturellement robuste aux variations d'apparence de scène, fournit des détails spatiaux 3D absents des images RGB seules. Le pipeline intègre un schéma d'apprentissage contrastif à tokens masqués et non masqués pour améliorer l'efficacité d'échantillonnage, combiné à une randomisation de domaine progressive (curriculum-based domain randomization) pour stabiliser l'entraînement. En simulation, la méthode surpasse les baselines comparées. La validation clé se fait en transfert zéro-shot : sans ré-entraînement sur données réelles, le modèle réalise des tâches de manipulation physique. Le sim-to-real gap reste l'obstacle central en robotique d'apprentissage : les politiques entraînées en simulation échouent fréquemment face à la variabilité visuelle du monde réel. La fusion RGB + depth attaque directement ce problème en réduisant la dépendance aux indices visuels fragiles comme l'éclairage ou les textures. L'apprentissage contrastif à tokens partiels suggère une meilleure invariance aux perturbations apparentes sans nécessiter de volumes massifs de données réelles. Pour les intégrateurs industriels et les équipes de développement en manipulation, le transfert zéro-shot validé expérimentalement est un signal concret : la politique capture des abstractions géométriques suffisamment générales pour opérer hors simulation, ce qui est précisément la promesse que le secteur cherche à tenir depuis des années. Ce travail s'inscrit dans une compétition de représentations visuelles pour la robotique qui inclut la randomisation de domaine agressive popularisée par OpenAI dès 2017, les encodeurs préentraînés par masquage (MAE, R3M, DINOv2), et les politiques vision-langage-action (VLA) comme pi0 de Physical Intelligence ou OpenVLA. L'originalité revendiquée est la fusion RGB + depth au niveau du transformer plutôt qu'en aval, couplée au curriculum adaptatif. Le passage à la version 4 sur arXiv signale un travail en révision active, probablement vers une conférence type ICRA ou IROS. Les prochaines étapes attendues incluent une validation sur benchmarks standardisés (RLBench, MetaWorld) et des tests sur plateformes physiques plus complexes.

RecherchePaper

1 source

2arXiv cs.RO

VGM-VS : repenser le modèle de géométrie visuelle pour l'asservissement visuel de haute précision

Des chercheurs présentent VGM-VS, une méthode d'asservissement visuel (visual servoing) construite sur un modèle de géométrie visuelle pré-entraîné de type feed-forward, décrite dans un preprint publié sur arXiv le 28 septembre 2026 (arXiv:2609.28312v1). Le système compare l'image courante à une image de référence capturée à la configuration cible, estime la pose relative de la caméra via ce modèle de géométrie, puis l'applique de façon itérative comme incrément de pose dans un schéma classique de servoing par pose en boucle fermée (PBVS). Pour résoudre l'ambiguïté d'échelle propre à ces modèles, qui ne fournissent qu'une translation à un facteur près alors que le contrôle robotique exige une valeur métrique, les auteurs ajoutent une étape d'adaptation métrique spécifique à la scène : le robot enregistre lui-même des paires image-pose le long d'une trajectoire prédéfinie partant de la pose cible, données qui servent à réentraîner la tête caméra du modèle et à apprendre conjointement la transformation main-œil, sans calibration dédiée. La méthode a été testée sur trois tâches d'assemblage réel à tolérances serrées : prise d'un câble USB-C, insertion de câble et insertion de barrette RAM. Fonctionnant en temps réel à 30 Hz, VGM-VS atteint une précision terminale submillimétrique sur les tâches de câble et des taux de réussite de 90 à 100 % lorsque la cible est déplacée en cours de servoing, tout en convergeant systématiquement pour des déplacements initiaux allant jusqu'à 30 cm et une occlusion de 50 % de l'objet cible. Pour les intégrateurs industriels et les équipes de manipulation fine, ce résultat s'attaque directement à deux limites récurrentes du servoing visuel classique : la fragilité face aux occlusions et aux textures pauvres, et la dépendance à une calibration main-œil lourde et propre à chaque installation. En s'appuyant sur la représentation géométrique acquise lors d'un pré-entraînement à grande échelle, la méthode conserve une estimation de pose fiable même quand la cible n'occupe qu'une petite partie de l'image, un scénario fréquent en assemblage électronique où les composants (câbles, connecteurs, barrettes) sont petits et partiellement masqués. Le résultat suggère que les modèles de géométrie visuelle génériques, initialement conçus pour la reconstruction 3D ou la localisation, peuvent être adaptés à moindre coût pour du contrôle robotique métrique de haute précision, sans passer par un pipeline de calibration dédié ni par un réentraînement complet du modèle. Le papier ne précise pas l'institution ni les auteurs à l'origine du travail, et reste à ce stade un preprint non encore évalué par les pairs, ce qui invite à la prudence sur la généralisation des taux de succès annoncés au-delà des trois tâches testées. Le travail s'inscrit dans la lignée des approches combinant servoing basé pose (PBVS) et représentations apprises, en se positionnant face aux méthodes de servoing classiques utilisées comme référence de comparaison dans l'étude. Aucune feuille de route de déploiement industriel ni de partenariat n'est mentionnée à ce stade ; la validation reste limitée à des démonstrations en laboratoire sur des bancs d'assemblage électronique.

RecherchePaper

1 source

3arXiv cs.RO

Transformeur à mise à jour incrémentale en temps réel pour le contrôle adaptatif par apprentissage par renforcement

Des chercheurs présentent sur arXiv (2609.13545) une nouvelle architecture pour le contrôle adaptatif par apprentissage par renforcement de bras manipulateurs, appliquée à la friction non observable, une dynamique de frottement que le contrôleur ne peut mesurer directement et doit inférer via sa mémoire de contexte. Jusqu'ici, les méta-contrôleurs à base d'attention fixaient le nombre de têtes avant l'entraînement, un hyperparamètre réglé par une recherche hors-ligne coûteuse ; sur de longs horizons de mémoire, cette capacité fixe provoque des échecs catastrophiques sur une part importante des graines d'entraînement. Le mécanisme proposé fait croître ou élague les têtes d'attention pendant l'entraînement par renforcement lui-même, piloté par deux signaux : le rang effectif de la distribution de contexte on-policy, qui déclenche l'ajout de têtes quand la capacité devient insuffisante, et la magnitude de sortie par tête, qui signale les têtes redondantes à retirer. Les auteurs démontrent analytiquement la continuité de la politique aux moments de croissance et une borne quantitative aux moments d'élagage. Testé sur un bras à deux liaisons avec friction de Stribeck, un modèle de frottement standard en robotique, le mécanisme atteint un succès complet sur tous les régimes de mémoire testés, éliminant le mode d'échec à long horizon et le besoin de réglage hors-ligne du nombre de têtes. Pour les praticiens du RL et les concepteurs de contrôleurs robotiques, ce résultat s'attaque à un compromis classique des architectures à capacité fixe : sous-dimensionner limite la mémoire utile, sur-dimensionner coûte cher en calcul et en réglage. Automatiser ce dimensionnement pendant l'entraînement, plutôt que par recherche d'hyperparamètres, pourrait réduire le coût d'ingénierie du déploiement de contrôleurs adaptatifs sur des systèmes aux dynamiques mal connues, comme l'usure ou le frottement variable dans le temps. La validation reste toutefois limitée à un bras à deux liaisons en simulation, un système-jouet standard en recherche mais éloigné d'un manipulateur industriel à six ou sept degrés de liberté ; aucun résultat sur matériel réel n'est fourni, ce qui invite à la prudence sur la portée pratique immédiate. Ce travail s'inscrit dans la lignée des méta-contrôleurs à base d'attention pour le contrôle adaptatif, une approche qui remplace l'identification explicite de paramètres physiques comme la friction, la masse ou l'inertie par une mémoire de contexte apprise. Il répond à une limite documentée de cette famille de méthodes : la dépendance à un nombre de têtes fixé arbitrairement avant l'entraînement et réglé par une recherche coûteuse. Les prochaines étapes logiques, non traitées dans cet article, seraient l'extension à des manipulateurs à davantage de degrés de liberté et une validation sur matériel physique, hors simulation.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage par renforcement visuel avec politique primitive séparée pour l'assemblage par emboîtement

Des chercheurs ont publié sur arXiv (référence 2504.14820) une approche de reinforcement learning visuel baptisée Separate Primitive Policy (S2P), conçue pour automatiser les tâches d'assemblage par insertion cheville-trou (peg-in-hole). La méthode s'inspire du comportement humain en vision binoculaire : un opérateur localise d'abord visuellement la cheville au-dessus de la surface cible, puis exécute l'insertion. S2P décompose ce processus en deux primitives apprises simultanément, la localisation et l'insertion, dans un cadre de reinforcement learning sans modèle (model-free). Les auteurs ont développé dix tâches d'insertion distinctes utilisant des formes polygonales variées comme banc d'essai standardisé, ont conduit des expériences en simulation avec contraintes de force, puis validé l'approche sur robot réel. L'intérêt principal de S2P réside dans son gain de sample efficiency, c'est-à-dire la capacité à apprendre une politique efficace avec moins d'interactions avec l'environnement, combiné à une amélioration du taux de succès même lorsque des contraintes de force sont imposées. Pour les intégrateurs industriels, c'est un signal concret : l'assemblage fin, encore largement opéré par des systèmes rigides à programmation manuelle, devient plus accessible à l'apprentissage automatique en présence de retour visuel. La compatibilité affichée avec n'importe quel algorithme RL model-free élargit le spectre d'application, même si les performances absolues restent à confirmer hors des conditions de laboratoire présentées dans le papier. Le peg-in-hole est un benchmark historique en manipulation robotique, standardisé notamment dans le cadre des compétitions NIST Assembly Task Board. Des approches concurrentes combinent typiquement vision et retour d'effort (force-torque control), ou s'appuient sur des politiques d'imitation comme les VLA (Vision-Language-Action models) de Physical Intelligence (Pi-0) ou les travaux de simulation massive de NVIDIA Isaac Lab. S2P se positionne dans un espace différent, celui du RL visuel pur avec décomposition de primitives, une direction que des équipes comme celles de DeepMind et CMU explorent également. Les prochaines étapes naturelles concernent la robustesse aux variations d'éclairage, aux tolérances mécaniques réelles, et la généralisation à des géométries non vues en entraînement.

UEImpact indirect : les équipes R&D et intégrateurs industriels européens travaillant sur l'assemblage automatisé peuvent intégrer S2P dans leur veille sur le RL visuel pour la manipulation fine, sans déploiement ni acteur européen directement impliqué.

RecherchePaper

1 source