Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
FELT : générer des signaux tactiles à partir de la vision pour la manipulation visuo-tactile
RecherchearXiv cs.RO 

FELT : générer des signaux tactiles à partir de la vision pour la manipulation visuo-tactile

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente FELT (Feature-Extracted Latent Tactile), une méthode qui génère des signaux tactiles à partir de simples images RGB, sans capteur tactile physique nécessaire au moment de l'inférence. Décrite dans un preprint publié sur arXiv (arXiv:2607.20683v1), l'approche s'appuie sur un grand encodeur visuel figé associé à un décodeur léger à requêtes, capable de prédire les signaux tactiles en une seule passe. Pour respecter la topologie physique des capteurs tactiles à deux doigts, FELT décode séparément les panneaux gauche et droit via deux branches distinctes, ce qui permet de capturer les motifs de contact asymétriques observés lors de tâches comme l'essuyage, l'insertion de pièces ou la rotation d'objets en main. Le système a été testé sur quatre tâches de manipulation à fort contact physique, où les images tactiles générées ainsi que les représentations latentes tactiles ont amélioré les performances par rapport à des politiques entraînées uniquement sur la vision.

L'enjeu principal est la rareté des données tactiles, bien plus difficiles à collecter que les données visuelles car les capteurs tactiles restent fragiles, spécialisés et peu standardisés d'un fabricant à l'autre. En permettant d'enrichir des jeux de données purement visuels avec une information tactile synthétique, FELT réduit la dépendance à des campagnes de collecte coûteuses avec du matériel dédié. Le résultat le plus notable concerne les représentations latentes tactiles: elles améliorent le taux de réussite des politiques de manipulation sans qu'aucun capteur tactile réel ne soit nécessaire, ni à l'entraînement ni au déploiement, ce qui ouvre la voie à des politiques visuo-tactiles moins coûteuses à mettre en œuvre à grande échelle.

Ce travail s'inscrit dans une recherche plus large sur la fusion vision-toucher en manipulation robotique, où l'écart entre démonstrations en laboratoire et déploiement réel reste un point de vigilance récurrent du secteur. Aucun acteur français ou européen n'est mentionné dans cette publication. Il s'agit d'un résultat de recherche académique au stade preprint, non d'un produit commercialisé, avec du matériel supplémentaire disponible sur un site anonymisé associé à la soumission.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

SoTa : peaux tactiles souples pour la manipulation dextère
1arXiv cs.RO 

SoTa : peaux tactiles souples pour la manipulation dextère

Des chercheurs proposent SoTa, une peau tactile capacitive souple et bon marché, conçue pour équiper à la fois des mains humaines et des mains de robot. Publiée sur arXiv (2610.02338), elle offre une couverture complète de la main avec une disposition commune de 202 taxels (points de mesure) sur les régions correspondantes des doigts et de la paume. Son empilement multicouche utilise des électrodes en tissu, ce qui permet une fabrication interne de peaux fines, souples et à géométrie personnalisable, pour moins de 10 dollars de matériaux par peau. Côté durabilité, le capteur conserve plus de 97 % de sa plage de réponse initiale après 10 000 cycles de charge-décharge, et ses pistes restent continues après 1 280 cycles de pliage en poing serré. Sur trois tâches de manipulation riches en contacts, les observations tactiles améliorent le taux de réussite en distribution par rapport à des politiques uniquement visuelles. À budget fixe de démonstrations robot, ajouter des démonstrations humaines fait passer le succès moyen de 22,8 % à 45,9 % sur huit conditions d'évaluation, avec un gain dans les cinq conditions hors distribution. Les auteurs prévoient de publier en open source les ressources de fabrication et d'utilisation. L'enjeu porte moins sur le capteur lui-même que sur la donnée. Les démonstrations dextres sur robot exigent de la téléopération, lente et coûteuse, ce qui plafonne la taille des jeux de données visuo-tactiles. Les démonstrations humaines coûtent beaucoup moins cher, mais ne servent que si la main humaine et la main robotique produisent des signaux tactiles comparables. Avec une disposition de taxels partagée, un encodeur tactile unique suffit pour l'entraînement conjoint humain-robot, sans correspondance apprise entre capteurs. Le doublement du succès moyen suggère que les données humaines tactiles peuvent compenser un budget robot limité, y compris face à des conditions hors distribution. Il faut toutefois rester prudent : il s'agit d'un preprint, avec seulement trois tâches et des taux absolus encore inférieurs à 50 % en moyenne. Aucun produit ni déploiement industriel n'est annoncé à ce stade. Ce travail s'inscrit dans un corpus croissant montrant que le toucher complète la vision pour la manipulation dextre, face à des capteurs tactiles existants souvent coûteux, rigides ou propres à un seul type de main. Le goulot d'étranglement des données de téléopération est aussi au cœur de la course aux modèles VLA et aux politiques généralistes, où les démonstrations humaines (vidéo, gants, capture de mouvement) sont vues comme une voie de passage à l'échelle. SoTa y ajoute la modalité tactile, encore peu présente dans ces jeux de données. La suite dépendra de la publication effective des plans de fabrication et de la reproduction par d'autres laboratoires, avec des tâches plus variées et des mains robotiques de morphologies différentes.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
ViTacWorld : passage à l'échelle des modèles du monde visuo-tactiles pour la manipulation robotique riche en contacts
2arXiv cs.RO 

ViTacWorld : passage à l'échelle des modèles du monde visuo-tactiles pour la manipulation robotique riche en contacts

Des chercheurs présentent ViTacWorld, un modèle de monde visuo-tactile conditionné par l'action, conçu pour la manipulation robotique riche en contacts, décrit dans une prépublication arXiv (2607.22530v1). Le système s'appuie sur des jeux de données tactiles réels publics combinés à un environnement de simulation construit spécifiquement pour l'occasion, afin de générer à grande échelle des trajectoires visuo-tactiles-actions. Le modèle est d'abord préentraîné sur de larges volumes de trajectoires réelles et simulées, puis affiné avec des rollouts de politiques collectés en conditions réelles pour mieux coller aux comportements de manipulation visés. À partir d'une séquence d'actions du robot, ViTacWorld prédit conjointement les observations visuelles et le retour tactile correspondants, permettant de générer des rollouts visuo-tactiles-actions complets. Les auteurs présentent cela comme le premier cadre exploitant un modèle de monde pour la génération de trajectoires visuo-tactiles-actions et l'évaluation de politiques robotiques. L'enjeu central est le coût et la rareté des données tactiles réelles, qui freinent l'apprentissage robotique basé sur le toucher : matériel spécifique, collecte coûteuse, diversité de tâches et de scènes limitée. En misant sur le fait que le signal tactile, directement ancré dans le contact physique, souffre d'un écart simulation-vers-réel plus faible que la seule vision, ViTacWorld propose une voie pour combler ce manque de données sans multiplier les campagnes de collecte sur robot réel. Pour les équipes de recherche en manipulation fine (assemblage, insertion, préhension d'objets déformables), cela ouvre deux usages concrets : générer des données synthétiques pour améliorer des politiques tactiles en aval, et évaluer des politiques existantes en prédisant leurs résultats visuo-tactiles sous des séquences d'actions contrôlées, sans passer systématiquement par des essais physiques. C'est un signal de plus que les modèles de monde, déjà répandus en vision, commencent à s'étendre à d'autres modalités sensorielles pour la robotique de contact. Ce travail s'inscrit dans la lignée des modèles de monde appliqués à la robotique, jusqu'ici centrés presque exclusivement sur la modalité visuelle, et dans la continuité des efforts pour réduire la dépendance de l'apprentissage tactile aux capteurs propriétaires et aux collectes sur site. Les expériences menées par les auteurs sur des tâches de manipulation riches en contacts montrent que ViTacWorld génère des rollouts physiquement cohérents, améliore les performances de politiques via une augmentation de données scalable, et permet une évaluation de politiques conditionnée par l'action. Le projet est documenté sur vitacworld.github.io. L'article ne mentionne aucun partenariat industriel ni déploiement commercial à ce stade : il s'agit d'une contribution de recherche dont la portée réelle dépendra de sa reproduction sur des plateformes robotiques variées et de son adoption par des équipes travaillant sur l'assemblage ou la manipulation fine en environnement industriel.

RecherchePaper
1 source
GRAIL : génération de loco-manipulation pour humanoïdes à partir d'actifs 3D et de vidéos
3arXiv cs.RO 

GRAIL : génération de loco-manipulation pour humanoïdes à partir d'actifs 3D et de vidéos

Une équipe de chercheurs publie GRAIL (Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors, arXiv:2606.05160), un pipeline entièrement virtuel qui génère des données d'entraînement en loco-manipulation humanoïde sans télé-opération ni capture de mouvement physique. La méthode compose des actifs 3D paramétrés, des scènes simulées et des modèles fondamentaux vidéo (VFM) pour reconstruire des trajectoires d'interaction humain-objet (HOI) en 4D à l'échelle métrique, en conditionnant la génération vidéo sur des configurations entièrement spécifiées : géométrie, paramètres caméra, profondeur de scène et personnage aux proportions humanoïdes, ce qui réduit l'ambiguïté de profondeur et le mismatch morphologique habituels. Le pipeline produit plus de 20 000 séquences couvrant ramassage d'objets, manipulation, assise et traversée de terrains variés. Entraîné uniquement sur ces données synthétiques via un pipeline sim-to-real, le système atteint 84 % de succès en préhension d'objets divers et 90 % en montée d'escaliers sur un Unitree G1 en conditions réelles ; l'article, soumis sur arXiv en juin 2026, est une prépublication non encore évaluée par les pairs. Ce travail s'attaque au principal goulot d'étranglement de la robotique humanoïde : générer des données de démonstration diversifiées à grande échelle sans mobiliser de temps-robot ni d'opérateurs spécialisés. La télé-opération et la mocap exigent des configurations physiques dédiées et un robot disponible à chaque session, ce qui plafonne le débit de production de données ; GRAIL déplace intégralement ce coût vers la simulation, rendant possible la composition de données pour des objets, scènes et mouvements corporels inédits. Les résultats de 84 % et 90 % en conditions réelles constituent un signal positif sur la réduction du gap sim-to-real, du moins pour ces classes de tâches. Une réserve s'impose cependant : le résumé ne détaille ni les objets testés ni le protocole de sélection des séquences d'évaluation, ce qui rend toute comparaison indépendante prématurée avant la publication complète. GRAIL s'inscrit dans une course à la donnée synthétique que se livrent les principaux laboratoires de robotique humanoïde, aux côtés des pipelines World Model de Figure AI et 1X Technologies, de RoboVerse (Microsoft Research) et des environnements Genesis pour la simulation physique générative. La distinction de GRAIL réside dans le conditionnement fort sur des actifs 3D préalables, un choix qui améliore la précision de la reconstruction 4D mais suppose la disponibilité d'assets de qualité pour chaque objet cible. Le robot retenu, l'Unitree G1, est commercialisé autour de 16 000 dollars, rendant la reproduction des résultats accessible à de nombreuses équipes académiques, contrairement aux plateformes propriétaires des acteurs industriels. Les affiliations des auteurs ne figurant pas dans le résumé arXiv disponible, les suites naturelles annoncées comprennent les tâches bimanuelles, les environnements dynamiques et l'intégration dans des pipelines VLA (Vision-Language-Action) pour la généralisation à des objets et contextes non vus lors de l'entraînement.

UELes laboratoires académiques européens spécialisés en robotique humanoïde (INRIA, CEA-List) pourraient adopter ce pipeline de génération de données synthétiques pour réduire leur dépendance à la télé-opération et à la mocap, mais aucun acteur FR/UE n'est directement impliqué dans ces travaux.

RecherchePaper
1 source
ViTaR : adaptation résiduelle visuo-tactile pour la manipulation par modèles fondation VLA
4arXiv cs.RO 

ViTaR : adaptation résiduelle visuo-tactile pour la manipulation par modèles fondation VLA

Une équipe publie sur arXiv (2608.15816v1) ViTaR (Visuo-Tactile Residual Adaptation), qui comble un angle mort des modèles Vision-Language-Action (VLA) : entraînés sur de vastes a priori visuels, ils produisent la même action que le contact avec l'objet soit établi, perdu ou déstabilisé. Plutôt que de modifier l'intérieur du VLA, au risque d'un oubli catastrophique, ou de recourir à du renforcement en ligne près des conditions d'échec, ViTaR garde le modèle gelé et traite le tactile comme un modulateur d'exécution plutôt que comme une entrée génératrice d'action. Une première étape détermine si une correction résiduelle est localement justifiée à partir des résultats observés, une seconde la convertit en un gain continu calculé en temps réel. Sur le benchmark UniVTAC, sept tâches de manipulation à fort contact, ViTaR atteint 61,3% de réussite moyenne, soit 30,6 points de plus que le VLA gelé de base, devançant aussi des méthodes tactiles spécialisées ; des essais sur robot physique confirment le transfert au bruit et à la dynamique réels des capteurs. Ce résultat cible un point critique pour l'industrialisation des VLA, de plus en plus déployés sur bras manipulateurs et humanoïdes : ces modèles excellent sur des tâches visuelles généralistes mais restent fragiles dès qu'il faut saisir, insérer ou assembler avec un contact fin, un scénario omniprésent en logistique et en assemblage industriel. En montrant qu'une correction résiduelle bornée, greffée sur un VLA figé, suffit à gagner plus de 30 points de réussite sans réentraîner le modèle de base, ViTaR ouvre une voie pour ajouter de la robustesse tactile aux piles VLA existantes sans dégrader leurs capacités généralistes. Les approches précédentes laissaient au contraire au tactile une influence non bornée sur l'action générée, au risque de contredire les a priori qui font la généralisabilité de ces modèles. Le travail s'inscrit dans les efforts pour doter les modèles VLA de fondation, dans la lignée de familles comme Pi-0, GR00T ou Helix, d'une perception multimodale plus fine que la seule vision. Publié comme soumission arXiv nouvelle, ViTaR reste à ce stade une contribution de recherche validée sur un benchmark simulé et par des essais robot physique limités, sans annonce de déploiement industriel ni de partenariat commercial. Les auteurs ne donnent pas de calendrier pour une intégration dans des piles VLA commerciales existantes.

RecherchePaper
1 source