Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Transformateur tactile hétérogène
RecherchearXiv cs.RO 

Transformateur tactile hétérogène

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont déposé le 30 juin 2026 sur arXiv (référence 2606.29948) le Heterogeneous Tactile Transformer (HTT), un framework visant à résoudre un verrou fondamental du toucher artificiel : l'hétérogénéité des capteurs tactiles. Un modèle entraîné sur un capteur visuotactile de type GelSight ne peut aujourd'hui pas être réutilisé sur un capteur matriciel résistif sans réentraînement complet, ce qui empêche toute mutualisation des données à grande échelle. HTT propose une architecture composée d'encodeurs spécifiques à chaque capteur couplés à un tronc transformer partagé, pré-entraîné par reconstruction masquée par modalité et alignement cross-modal entre paires de capteurs. Ce pré-entraînement s'appuie sur un nouveau dataset baptisé Heterogeneous Paired Tactile (HPT), compilant 1,6 million de frames synchronisées issues de quatre capteurs : deux visuels (vision-based) et deux matriciels (array-based). Les expériences montrent que HTT produit des représentations transférables à de nouvelles tâches et à des capteurs jamais vus à l'entraînement.

Ce verrou est réel et coûteux pour les équipes robotique. Contrairement à la vision, où des modèles pré-entraînés comme ViT ou CLIP se transfèrent facilement d'une caméra à une autre, le tactile est resté un silo par capteur, forçant chaque projet à recollecte ses propres données de contact. Si HTT généralise correctement, cela ouvre la voie à des datasets tactiles fédérés, analogue à ce qu'Open X-Embodiment a réalisé pour la manipulation visuo-motrice, et potentiellement à des politiques contact-rich entraînées sur des données hétérogènes issues de plusieurs fournisseurs. Pour un intégrateur ou un COO industriel, l'enjeu est concret : pouvoir changer de capteur tactile sans tout réentraîner représente un gain de temps et de coût significatif sur les lignes d'assemblage précis.

Ce travail succède à des approches comme T3 (Transferable Tactile Transformers, 2024) et UniTouch, qui avaient amorcé la représentation cross-capteur mais restaient limitées à une ou deux modalités. Sur le marché, GelSight et ses dérivés (DIGIT, GelSight Mini) dominent la recherche académique, tandis qu'Xela Robotics et Contactile misent davantage sur les grilles résistives ou piézoélectriques. L'article est présenté comme preprint et n'a pas encore été soumis à revue par les pairs ; le code, les poids de modèle et le dataset HPT seront publiés à la parution définitive, ce qui permettra une évaluation indépendante des performances revendiquées. L'étape suivante naturelle sera l'intégration de HTT dans des pipelines VLA (Vision-Language-Action) pour doter les mains humanoïdes d'un retour haptique fiable et généralisable à l'échelle.

Dans nos dossiers

arXiv cs.RO

À lire aussi

RouterVLA : des tests de fumée transformés en supervision pour la sélection de modèles VLA hétérogènes
1arXiv cs.RO 

RouterVLA : des tests de fumée transformés en supervision pour la sélection de modèles VLA hétérogènes

RouterVLA, présenté dans un preprint arXiv déposé en juin 2026 (identifiant 2606.27355), s'attaque à un problème concret souvent ignoré dans le déploiement robotique : comment choisir, parmi plusieurs politiques vision-language-action (VLA) candidates, celle que l'on installe réellement sur le robot. Les équipes robotiques effectuent systématiquement des "smoke tests" - des séries d'essais courts avant déploiement - pour comparer les candidats, puis retiennent un seul vainqueur global. RouterVLA propose de capitaliser sur ces essais déjà réalisés via une technique dite de "cross-fitting à résultats disjoints" : les essais enregistrés construisent un profil de performance pour chaque politique expert gelée, tandis qu'un essai distinct, non inclus dans ce profil, sert à noter l'expert retenu. Évalué sur 34 752 enregistrements de rollouts issus du benchmark LIBERO-Plus, une règle transparente basée sur le taux de succès des probes fait passer le taux de succès hors-échantillon de 0,4686 à 0,6149, soit un gain de 14,64 points de pourcentage. Le résultat le plus saillant n'est pas le gain lui-même, mais ce qui le produit. Sous les profils scalaires étudiés, les scoreurs appris sont statistiquement indiscernables de la simple règle de succès-probe, ce qui implique que la valeur de routage vient du processus de commissionnement - les smoke tests eux-mêmes - et non d'une capacité ML supplémentaire. Ajouter des couches d'apprentissage pour scorer les politiques ne crée donc pas de valeur additionnelle si les profils restent scalaires. Tout aussi important pour l'intégrité des benchmarks : réutiliser le même essai pour sélectionner et évaluer l'expert gonfle artificiellement le gain mesuré par un facteur de 1,87. Ce résultat constitue un avertissement méthodologique direct pour la communauté, car de nombreux papiers comparatifs en robotique pourraient souffrir de ce biais de contamination si la séparation des outcomes n'est pas garantie. LIBERO-Plus est un environnement de simulation pour la manipulation robotique de table, largement utilisé pour évaluer des politiques de généralisation. RouterVLA s'inscrit dans le champ croissant de la sélection hétérogène de politiques VLA, un problème qui devient critique à mesure que les fondations VLA se multiplient : Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), Helix (Figure AI), ou les politiques maison des labs comme Google DeepMind. La question de savoir quel modèle router selon la tâche est un vrai enjeu d'industrialisation, distinct de celui d'entraîner de meilleurs modèles individuels. Ce preprint ne mentionne ni déploiement réel ni partenaire industriel : il s'agit d'une contribution méthodologique évaluée en simulation. Les suites naturelles seraient d'étendre l'analyse à des profils non-scalaires (embeddings, séquences temporelles) et de valider la séparation des outcomes en manipulation physique réelle.

RechercheOpinion
1 source
TacDyn-WAM : apprentissage de la dynamique tactile implicite dans un modèle du monde et d'actions visuo-tactile hétérogène
2arXiv cs.RO 

TacDyn-WAM : apprentissage de la dynamique tactile implicite dans un modèle du monde et d'actions visuo-tactile hétérogène

Des chercheurs publient TacDyn-WAM, un « world action model » visuo-tactile hétérogène (arXiv 2610.00638) qui prédit la dynamique tactile implicite plutôt que de reconstruire les futures images tactiles. Les world action models conditionnent les actions du robot sur des futurs prédits. Leurs variantes tactiles actuelles reprennent les pipelines de génération vidéo, avec reconstruction itérative par débruitage. TacDyn-WAM apprend TacRep, un espace de représentation tactile entraîné par prédiction spatio-temporelle masquée sur des séquences tactiles, et régularisé par distillation de structure relationnelle. Deux experts, l'un visuel, l'autre tactile, prédisent des représentations futures dans des espaces cibles distincts et échangent par attention conjointe. L'expert tactile prédit, en une seule passe avant, les représentations futures et leurs variations à plusieurs horizons. Une mémoire tactile en lecture seule fournit l'état de contact courant. Sur le benchmark UniVTAC, le modèle atteint 81,5 % de réussite moyenne avec les seules démonstrations fournies. Sur cinq tâches réelles, il obtient 71,0 %, et 85,0 % après un pré-entraînement de taille modeste. L'enjeu porte sur la robustesse en déploiement. Les auteurs soutiennent qu'un léger décalage de position ou de force de contact modifie fortement les pixels tactiles, alors que l'évolution du contact reste prévisible. Reconstruire ces pixels devient alors fragile, tandis que prédire la dynamique dans un espace latent y serait moins sensible. Le résultat est notable pour les intégrateurs de manipulation fine, par exemple l'insertion ou la saisie sous contact, car il suggère qu'un tactile utile ne demande pas forcément de lourds modèles génératifs. Le modèle reste compétitif face à des approches pré-entraînées sur de vastes trajectoires visuo-tactiles. Les ablations indiquent que les deux voies tactiles et TacRep l'emportent sur les alternatives par reconstruction de pixels ou statiques. Les chiffres viennent toutefois des auteurs, sur un benchmark, avec un nombre limité de tâches réelles. Le papier ne donne ni temps de cycle ni matériel de déploiement industriel, et l'écart entre simulation, laboratoire et production reste à démontrer. Ce travail s'inscrit dans la montée des modèles du monde appliqués au contrôle robotique, où le tactile reste le parent pauvre face à la vision. Les VLA comme Pi-0 ou GR00T s'appuient surtout sur la vision et le langage, tandis que les capteurs tactiles de type vision-based (GelSight et dérivés) restent peu intégrés aux modèles de fondation. Les variantes tactiles concurrentes héritent des architectures de génération vidéo que TacDyn-WAM remet en cause. Il s'agit d'une prépublication v1, sans produit ni déploiement annoncé. La suite probable passera par des pré-entraînements plus vastes, davantage de tâches réelles et une réplication indépendante. Aucun acteur français ou européen n'est cité dans l'article.

RecherchePaper
1 source
Suivi de la forme de manipulabilité invariant à l'échelle pour des manipulateurs hétérogènes
3arXiv cs.RO 

Suivi de la forme de manipulabilité invariant à l'échelle pour des manipulateurs hétérogènes

Des chercheurs proposent une méthode de suivi de forme de manipulabilité invariante à l'échelle, destinée à transférer le comportement cinématique d'un manipulateur à un autre malgré des tailles et des architectures différentes. L'ellipsoïde de manipulabilité décrit dans quelles directions le bras se déplace ou exerce une force le plus facilement. Les approches par matrice complète imposent à la fois sa forme (orientation, rapports entre demi-axes) et son échelle absolue, ce qui pénalise inutilement le suiveur quand seule la forme compte. La nouvelle méthode considère comme équivalentes deux matrices qui diffèrent d'un simple facteur scalaire positif, et travaille sur leurs représentants à déterminant unitaire. Les auteurs dérivent la différentielle de ce représentant et une représentation en coordonnées orthonormées du résidu de suivi sous la métrique riemannienne invariante affine (AIRM). L'objectif est intégré, avec des tâches de position et de direction de l'effecteur, dans un programme quadratique en vitesses articulaires sous contraintes. Les tests sont uniquement en simulation, sur quatre robots hétérogènes, dont les KR500 et UR20. Sur trois suiveurs, la distance de forme finale atteint 9,30 x 10^-5 sans réglage d'échelle. Avec des échelles cibles ajustées pendant le mouvement, la méthode complète conserve des erreurs de rapport d'axes de 0,19 à 0,31 sur KR500 et UR20. Pour un geste humain avec tâches concurrentes, les ellipsoïdes de force duaux s'allongent selon X comme la cible humaine sur les quatre robots. L'erreur de position finale reste de 2,4 à 5,6 % de la longueur de bras de référence, contre jusqu'à 75 % pour un suivi de l'ellipsoïde humain d'origine par matrice complète. L'enjeu concerne la programmation par démonstration et le transfert de compétences humain-robot. Un opérateur humain et un robot industriel de plusieurs centaines de kilogrammes n'ont ni la même échelle ni la même cinématique. Chercher à reproduire l'ellipsoïde absolu revient à imposer des cibles physiquement inatteignables, et l'écart de 75 % d'erreur de position en est l'illustration : la tâche principale est sacrifiée au profit d'un critère mal posé. Séparer la forme, c'est-à-dire la stratégie de manipulation, de l'échelle, qui dépend du matériel, rend le transfert plus réaliste entre plateformes différentes. Cela intéresse les intégrateurs qui réutilisent des démonstrations sur plusieurs bras et les équipes qui cherchent à faire imiter aux humanoïdes des gestes humains. Cette approche reste géométrique et ne repose ni sur un VLA ni sur de l'apprentissage. Elle ne dit rien de la robustesse sur matériel réel : aucun essai physique n'est rapporté, seulement quatre robots simulés, et le gain dépend d'un réglage d'échelle sur certains cas. Le travail prolonge la littérature sur la manipulabilité introduite par Yoshikawa dans les années 1980, puis sur le transfert de manipulabilité entre robots ou depuis l'humain, souvent formulé sur les variétés riemanniennes de matrices définies positives. L'article, publié sur arXiv (2609.36784v1), n'annonce ni produit ni pilote. La suite logique est une validation sur robots physiques et l'intégration dans des pipelines d'apprentissage par imitation, où le suivi de forme pourrait servir de contrainte ou de terme de récompense. Il faudra aussi comparer cette méthode à d'autres approches de transfert de compétences.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
TACROSS : un système tactile humain, efficace, économique et évolutif, pour des capteurs tactiles hétérogènes en apprentissage robotique dextérique
4arXiv cs.RO 

TACROSS : un système tactile humain, efficace, économique et évolutif, pour des capteurs tactiles hétérogènes en apprentissage robotique dextérique

TACROSS, un système présenté sur arXiv (2610.11945) par une équipe académique, vise à réduire le coût de collecte de démonstrations tactiles pour l'apprentissage de la manipulation dextre. Son matériel central est un gant piézorésistif à cinq couches, facturé 10,86 dollars et doté de 285 points de détection. Côté logiciel, des « canonicalizers » et des adaptateurs résiduels projettent les signaux du gant humain et ceux des capteurs tactiles robotiques dans un espace latent commun de 256 dimensions. Un Transformer temporel, avec attention entre les doigts, produit cet espace. Les auteurs l'ont évalué sur quatre tâches de manipulation riches en contacts. Face à la téléopération classique, ils annoncent un gain d'efficacité de 3,5 fois et une réduction de 95,7 % du coût de l'équipement d'acquisition. Le matériel, le code et un jeu de données tactiles de plus de 150 heures doivent être publiés en open source. Aucune date de publication n'est précisée. L'intérêt principal tient à la méthode d'alignement. Les gants humains, capacitifs ou piézorésistifs, et les capteurs de robot diffèrent par leur principe de transduction, leur disposition, leur résolution spatiale et leur réponse dynamique. Aligner les canaux bruts est donc mal posé. TACROSS aligne plutôt les flux au niveau des événements de contact, c'est-à-dire de la sémantique du toucher et non des valeurs brutes. La supervision des actions reste réservée aux démonstrations robot. Les démonstrations humaines servent à apprendre la représentation tactile et fournissent une supervision auxiliaire pondérée par un score de confiance, via des cibles de main retargetées valides. Pour un intégrateur, l'enjeu est le coût marginal de la donnée tactile, aujourd'hui un frein face à la vision seule dans les politiques VLA et d'imitation. Un gant à une dizaine de dollars changerait l'échelle de collecte, à condition que le transfert tienne hors du banc d'essai. Les chiffres viennent des auteurs eux-mêmes. Quatre tâches ne couvrent pas la variété d'un atelier, et le calcul du gain de 3,5 fois dépend du protocole de téléopération retenu comme référence. Le résumé ne donne ni taux de réussite par tâche ni détail sur les capteurs robotiques testés. Ce travail s'inscrit dans la montée en puissance de la donnée tactile pour les mains dextres, après des années où la collecte par téléopération (gants à capture de mouvement, exosquelettes, interfaces VR) a limité le volume de démonstrations. Les gants tactiles humains existaient déjà, mais sans réponse claire au fossé entre capteurs humains et robotiques. TACROSS propose cette réponse sous forme de système complet, matériel et logiciel. La suite dépendra de la publication effective du code, des plans du gant et des 150 heures de données. Une reproduction indépendante, sur d'autres mains robotiques et d'autres capteurs, sera le vrai test de la généralité de l'alignement par événements de contact. Il s'agit pour l'instant d'une préimpression sans pair-review ni déploiement industriel.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source