FELT : générer des signaux tactiles à partir de la vision pour la manipulation visuo-tactile
Une équipe de recherche présente FELT (Feature-Extracted Latent Tactile), une méthode qui génère des signaux tactiles à partir de simples images RGB, sans capteur tactile physique nécessaire au moment de l'inférence. Décrite dans un preprint publié sur arXiv (arXiv:2607.20683v1), l'approche s'appuie sur un grand encodeur visuel figé associé à un décodeur léger à requêtes, capable de prédire les signaux tactiles en une seule passe. Pour respecter la topologie physique des capteurs tactiles à deux doigts, FELT décode séparément les panneaux gauche et droit via deux branches distinctes, ce qui permet de capturer les motifs de contact asymétriques observés lors de tâches comme l'essuyage, l'insertion de pièces ou la rotation d'objets en main. Le système a été testé sur quatre tâches de manipulation à fort contact physique, où les images tactiles générées ainsi que les représentations latentes tactiles ont amélioré les performances par rapport à des politiques entraînées uniquement sur la vision.
L'enjeu principal est la rareté des données tactiles, bien plus difficiles à collecter que les données visuelles car les capteurs tactiles restent fragiles, spécialisés et peu standardisés d'un fabricant à l'autre. En permettant d'enrichir des jeux de données purement visuels avec une information tactile synthétique, FELT réduit la dépendance à des campagnes de collecte coûteuses avec du matériel dédié. Le résultat le plus notable concerne les représentations latentes tactiles: elles améliorent le taux de réussite des politiques de manipulation sans qu'aucun capteur tactile réel ne soit nécessaire, ni à l'entraînement ni au déploiement, ce qui ouvre la voie à des politiques visuo-tactiles moins coûteuses à mettre en œuvre à grande échelle.
Ce travail s'inscrit dans une recherche plus large sur la fusion vision-toucher en manipulation robotique, où l'écart entre démonstrations en laboratoire et déploiement réel reste un point de vigilance récurrent du secteur. Aucun acteur français ou européen n'est mentionné dans cette publication. Il s'agit d'un résultat de recherche académique au stade preprint, non d'un produit commercialisé, avec du matériel supplémentaire disponible sur un site anonymisé associé à la soumission.
Dans nos dossiers
