Les robots apprennent à ressentir
Les chercheurs de Trevor Darrell à l'université UC Berkeley ont développé T-Rex, un modèle vision-langage-action doté d'un sens du toucher, entraîné sur 100 heures de données tactiles de haute qualité collectées sur plus de 200 objets domestiques différents, couvrant des actions comme essuyer, saisir, tordre ou verser. Le système repose sur deux sous-modèles complémentaires : un "expert" d'action qui produit des plans de mouvement généraux, et un "expert" tactile, quatre fois plus rapide, qui ajuste ces plans en temps réel selon le retour de force ressenti par le robot. Après un fine-tuning sur environ 100 démonstrations téléopérées de tâches complexes telles que visser une ampoule, appliquer du dentifrice sur une brosse à dents ou transférer un œuf entre deux plateaux, le modèle a atteint un taux de réussite moyen de 65% sur 12 tâches, soit près du double du meilleur modèle VLA purement visuel testé en comparaison. Parallèlement, Chengbo Yuan, étudiant en master à l'université Tsinghua de Pékin, a entrepris d'agréger plus de 3000 heures de données tactiles robotiques issues de jeux de données publics, couvrant 21 capteurs différents. Ces résultats répondent à une limite structurelle des modèles vision-langage-action (VLA) qui ont porté les progrès récents de la manipulation robotique généraliste, comme le pliage de linge ou l'utilisation d'appareils de cuisine, mais qui échouent typiquement sur les tâches nécessitant un contrôle fin de la main, comme brancher un câble USB ou tourner une clé dans une serrure, précisément parce qu'ils ignorent le retour tactile sur lequel les humains s'appuient largement dans ces situations. Pour l'industrie, la démonstration que l'ajout d'un signal tactile traité à une fréquence plus élevée que le raisonnement visuo-linguistique double le taux de succès sur des tâches de préhension fine constitue une preuve de concept significative pour les intégrateurs qui cherchent à dépasser les manipulations grossières de type pick-and-place. Elle indique aussi où se situe le prochain goulot d'étranglement du secteur, moins dans la puissance des modèles de langage-vision que dans le manque de données tactiles à grande échelle, un problème encore loin d'être résolu à l'échelle d'Internet comme le sont les corpus image-texte. Le frein historique à l'exploitation du toucher en robotique tient à la nature même des capteurs tactiles, dont les données diffèrent radicalement de celles des caméras utilisées pour entraîner les VLA, et à la grande hétérogénéité du matériel : les mains robotiques vont des pinces simples à deux doigts jusqu'aux designs articulés à cinq doigts, et les capteurs tactiles reposent sur des principes physiques variés, mesure de résistance électrique ou imagerie de la déformation d'un gel souple. Cette fragmentation rend la recherche tactile largement spécifique à chaque capteur, freinant le partage de données entre laboratoires, ce que le projet d'agrégation de Chengbo Yuan à Tsinghua vise justement à corriger. Darrell reconnaît lui-même que les données de T-Rex proviennent d'une seule plateforme matérielle, limitant leur généralisation. Ces travaux s'inscrivent dans une compétition plus large avec d'autres approches VLA généralistes comme Pi-0, GR00T N2 ou Helix, qui misent principalement sur la vision, suggérant que la prochaine génération de robots humanoïdes et de bras manipulateurs commerciaux devra intégrer nativement le retour de force pour tenir ses promesses sur les tâches fines du quotidien.
