Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
SlipSense : apprentissage tactile multimodal pour une détection du glissement rapide et généralisée
RecherchearXiv cs.RO 

SlipSense : apprentissage tactile multimodal pour une détection du glissement rapide et généralisée

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

SlipSense, système tactile multimodal de détection de glissement pour la manipulation robotique, est présenté dans un préprint publié sur arXiv en septembre 2026. Le framework s'appuie sur TacV5, un capteur combinant une matrice piézorésistive 32x32 échantillonnée à 240 Hz pour la pression et un accéléromètre MEMS 3 axes à 8 kHz pour les vibrations de frottement, les deux flux étant fusionnés par attention croisée avec prédiction temporelle causale à 240 Hz. Sur un jeu de données de 1,4 million de frames couvrant 37 objets, SlipSense atteint 96,7% de Macro F1, un taux de faux positifs sous 1,6%, et détecte 76% des événements de glissement en moins de 23,1 millisecondes. Entraîné uniquement sur des données collectées via UMI, il généralise en zero-shot à une main robotique dextre Tesollo, sur des objets, capteurs et plateformes inédits, sans réentraînement.

La détection de glissement conditionne directement la robustesse de la préhension dextre, et deux faiblesses freinent habituellement l'industrialisation de ce type de système : une latence mal caractérisée et l'impossibilité de transférer un modèle d'un capteur ou d'une plateforme à l'autre sans réentraînement coûteux. En documentant un temps de détection de 23,1 ms et en démontrant un transfert zero-shot entre données UMI et main Tesollo, SlipSense s'attaque à l'écart classique entre démonstration en laboratoire et généralisation réelle, un problème récurrent aussi bien pour les capteurs tactiles que pour les modèles VLA. Pour les intégrateurs de mains et préhenseurs robotiques, un capteur et un modèle portables d'une plateforme à l'autre réduirait le coût d'intégration du toucher artificiel, aujourd'hui un frein réel. Une nuance mérite d'être gardée en tête : le taux de détection de 76% dans la fenêtre de 23,1 ms laisse un quart des glissements repérés plus tard ou hors délai.

Le travail s'inscrit dans la recherche sur le toucher artificiel, où l'enjeu central est de combiner plusieurs modalités tactiles sans dégrader la latence de contrôle en boucle fermée. Le recours à UMI, interface de collecte de démonstrations agnostique au robot, dissocie l'apprentissage du capteur de la plateforme finale, ce qui explique le transfert réussi vers la main Tesollo. Signalé comme nouveau préprint sur arXiv, SlipSense reste à ce stade un travail de recherche, sans partenariat commercial ni disponibilité annoncée du capteur TacV5 hors du laboratoire à l'origine de l'étude. Les suites attendues pour ce type de travaux sont classiquement l'évaluation sur des tâches de manipulation complètes plutôt que sur la seule détection isolée, et l'extension du transfert zero-shot à d'autres familles de capteurs tactiles.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

SlipSense : détection du glissement en temps réel pour robots à pattes par capteurs multimodaux
1arXiv cs.RO 

SlipSense : détection du glissement en temps réel pour robots à pattes par capteurs multimodaux

Des chercheurs ont publié SlipSense, un système de détection de glissement en ligne pour robots à pattes, présenté le 24 juin 2026 sur arXiv (2606.24350). Le cadre repose sur un pied sensorisé léger et personnalisé monté sur un quadrupède Unitree Go1, couplé à un modèle LSTM qui infère les forces de réaction au sol en temps réel. Le système détecte les glissements en phase initiale -- avant toute instabilité irréversible -- avec un déplacement moyen de 24,1 ± 6,4 mm, pour une précision globale de 85,9 %. Comparé à la baseline cinématique standard (vitesse du pied estimée par odométrie d'état), SlipSense offre une résolution de détection 3,3 fois plus fine et une amélioration relative de 24 % en précision. Les tests ont été réalisés sur terrains glissants en mode aveugle, c'est-à-dire sans caméra ni information extéroceptive. L'intérêt opérationnel est clair : les méthodes proprioceptives classiques ratent les micro-glissements précoces parce qu'elles mesurent des effets cinématiques qui n'apparaissent qu'une fois le glissement déjà engagé. SlipSense anticipe ce seuil en exploitant directement les forces d'interaction sol-pied, ce qui ouvre la voie à une adaptation de démarche en temps réel -- ajustement des contraintes du contrôleur, estimation du coefficient de friction local, modification de la posture avant la chute. Pour les intégrateurs qui déploient des quadrupèdes sur sols industriels humides ou extérieurs enneigés, c'est un signal précurseur exploitable là où les encodeurs seuls échouent. Le Unitree Go1 est l'un des quadrupèdes les plus accessibles du marché, ce qui confère à cette publication une portée pratique au-delà du laboratoire. Les approches concurrentes en détection de glissement s'appuient majoritairement sur des IMU, des modèles de contact analytiques ou des réseaux entraînés sur simulation -- le sim-to-real restant un obstacle connu. SlipSense fait le pari opposé : capteur physique dédié et entraînement sur données réelles. Les auteurs positionnent explicitement ces travaux comme fondation pour des contrôleurs adaptatifs force-aware à venir, avec comme prochaine étape naturelle l'estimation en ligne de la friction et l'intégration dans une boucle de commande locomotion complète.

RecherchePaper
1 source
Apprentissage de la perception tactile à partir d'une détection mono-point haute fréquence
2arXiv cs.RO 

Apprentissage de la perception tactile à partir d'une détection mono-point haute fréquence

Un nouveau preprint mis en ligne sur arXiv en septembre 2026 (identifiant 2609.24621) présente SpectRobot, un framework qui convertit des signaux tactiles issus d'un capteur unique en spectrogrammes temps-fréquence compacts, sous forme d'images de taille fixe exploitables par des encodeurs de vision standards. Contrairement aux approches dominantes qui misent sur des réseaux de capteurs tactiles répartis spatialement sur la surface de contact, SpectRobot exploite la richesse dynamique d'une mesure ponctuelle à haute bande passante, avec des fréquences d'échantillonnage allant jusqu'à 100 kHz. Dans l'implémentation testée, les capteurs sont montés à distance de la surface de contact tout en restant couplés mécaniquement à elle, ce qui limite leur exposition directe à l'usure. Les auteurs rapportent trois résultats : un robot parvient à résoudre une tâche de manipulation visuellement occultée en s'appuyant uniquement sur des signaux de vibration ponctuels ; la profondeur de l'historique temporel utilisé influence fortement la performance de la politique apprise, tandis que la bande passante du capteur détermine l'information spectrale disponible ; et la même représentation en spectrogramme fonctionne indifféremment avec des capteurs mesurant l'accélération, la force ou la déformation. L'équipe précise avoir reproduit ces résultats avec du matériel disponible dans le commerce, sans instrumentation de laboratoire spécialisée. Ce travail répond à une limite concrète du secteur : les réseaux de capteurs tactiles denses restent coûteux, fragiles et difficiles à industrialiser sur des mains ou pinces robotiques destinées à un usage prolongé. En montrant qu'un unique point de mesure à haute fréquence, converti en image spectrale exploitable par les architectures de vision déjà utilisées dans les pipelines d'apprentissage de type VLA (vision-language-action), peut remplacer ou compléter la densité spatiale, SpectRobot ouvre une voie potentiellement moins chère et plus robuste pour intégrer le retour de contact dans des systèmes de manipulation appris de bout en bout. Pour les intégrateurs et les équipes R&D en robotique dextre, l'intérêt est double : le capteur, éloigné de la zone de friction, dure plus longtemps en environnement industriel exigeant, et la représentation en spectrogramme s'insère directement dans des pipelines de perception déjà construits pour la vision. Le résultat le plus significatif reste la démonstration qu'une tâche masquée visuellement peut être résolue par le seul canal tactile haute fréquence, ce qui appuie l'idée que la fusion de capteurs, plutôt que la seule vision, sera nécessaire pour la manipulation fine en conditions réelles. La démarche s'inscrit dans une tendance plus large de l'apprentissage robotique, où le tactile est de plus en plus intégré aux pipelines de manipulation, mais où la plupart des capteurs employés jusqu'ici privilégient la densité spatiale au détriment de la bande passante temporelle. SpectRobot prend le contrepied de cette course à la résolution spatiale, une direction que les auteurs présentent comme complémentaire, et non substitutive, aux approches à haute densité de capteurs. Le document reste à ce stade un preprint arXiv fraîchement publié, sans validation industrielle ni partenariat annoncé avec un fabricant de robots ou de mains manipulatrices, et sans calendrier de transfert vers un produit commercial. La suite évoquée par les auteurs consiste à étendre l'approche à davantage de tâches de manipulation dextre et à d'autres modalités de capteurs mediées par l'accélération, la force ou la déformation, afin de rendre le tactile haute fréquence accessible sans recourir à une instrumentation de recherche coûteuse.

RecherchePaper
1 source
Enseigner et grandir : une architecture centrée agent pour l'apprentissage général des robots
3arXiv cs.RO 

Enseigner et grandir : une architecture centrée agent pour l'apprentissage général des robots

Des chercheurs ont publié sur arXiv (référence 2608.17209v1) une architecture baptisée Teach-and-Grow Learning (TGL), conçue pour l'apprentissage général de robots. Le système repose sur un agent multimodal qui transforme quelques démonstrations réussies en « Skill Blocks », des comportements en boucle fermée couvrant des sous-objectifs précis, stockés dans une Skill Library. Une Experience Memory structurée conserve en parallèle les succès, les échecs et les corrections associées. Face à une nouvelle scène, l'agent sélectionne et combine ces blocs, choisit des outils appris ou géométriques, observe le résultat physique de son action, puis ajuste sa trajectoire si l'exécution s'écarte de l'intention initiale. Sur le benchmark de simulation LIBERO, largement utilisé pour évaluer les politiques robotiques, TGL revendique des résultats à l'état de l'art, avec des études contrôlées montrant l'induction de nouvelles compétences, leur réutilisation persistante et une adaptation pilotée par l'agent, sans réentraînement de politique spécifique à chaque tâche. L'enjeu vise directement ce que les auteurs nomment la « taxe de réentraînement » : dans les modèles VLA (vision-language-action) et les modèles monde-action classiques, dès qu'un objet, un capteur, une morphologie ou un type de contact sort du périmètre validé, corriger l'échec exige de nouvelles données robotiques, une mise à jour de politique et une campagne de tests de non-régression, un cycle coûteux puisque, contrairement au texte, les données robotiques doivent le plus souvent être générées en opérant physiquement des machines. En proposant d'acquérir de nouvelles tâches par composition de compétences réutilisables plutôt que par réentraînement, TGL questionne l'hypothèse dominante selon laquelle la généralisation passe uniquement par des modèles VLA toujours plus gros nourris de plus de données. C'est un signal utile pour les intégrateurs et décideurs qui évaluent le coût réel de déploiement de politiques robotiques. Il faut néanmoins noter que la validation reste cantonnée au benchmark simulé LIBERO, sans déploiement documenté sur robot physique à ce stade. Ce travail s'inscrit dans la vague plus large des modèles fondation pour la robotique, qui inclut des approches VLA de bout en bout comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, conçues pour généraliser directement à partir de données massives sans couche agentique intermédiaire. TGL se positionne en alternative complémentaire, misant sur un agent explicite plutôt que sur l'échelle brute du modèle. Les auteurs avancent aussi une hypothèse de loi d'échelle propre : à mesure que le volume d'expérience réutilisable augmente, l'erreur sur les tâches futures et l'effort d'enseignement nécessaire devraient décroître selon une loi de puissance vers un plancher irréductible, traitant le déploiement comme une période d'apprentissage continu où chaque tâche accomplie facilite la suivante. Aucune date de disponibilité, partenariat industriel ou pilote n'est mentionné, ce travail restant une contribution de recherche publiée en preprint.

RecherchePaper
1 source
VT-MUSE : apprentissage séquentiel unifié de représentations visuotactiles multimodales pour la manipulation
4arXiv cs.RO 

VT-MUSE : apprentissage séquentiel unifié de représentations visuotactiles multimodales pour la manipulation

Un preprint publié en août 2026 sur arXiv (2608.21290) décrit VT-MUSE, un framework en deux étapes pour l'apprentissage de représentations visuotactiles en manipulation robotique. La première étape aligne conjointement des encodeurs vision et toucher par alignement temporel cross-modal et cohérence sur vues masquées. La seconde combine un modèle latent variationnel conditionnel avec des séquences visuelles partiellement masquées et l'historique tactile complet, via des décodeurs auxiliaires qui reconstruisent les images manquantes et prédisent les variations de profondeur tactile ; la représentation obtenue alimente une politique Transformer légère par attention croisée à portes. Sur le benchmark de simulation retenu, VT-MUSE dépasse la meilleure méthode concurrente de 11 points de pourcentage sur toutes les tâches testées, avec des gains également substantiels en conditions réelles, non chiffrés. Le papier cible un angle mort connu de la manipulation robotique : la plupart des méthodes visuotactiles fusionnent tardivement des flux vision et toucher encodés séparément, limitant les corrélations fines entre modalités, et négligent l'évolution temporelle du contact au profit du seul instant présent. Pour des gestes sensibles comme l'insertion de précision, la préhension d'objets fragiles ou le contrôle de force en assemblage, c'est pourtant cette dynamique dans le temps qui conditionne la réussite du geste. Le résultat conforte l'idée que les politiques d'action de type VLA gagnent en robustesse quand le tact est traité comme un signal temporel structuré, même si le gain de 11 points reste mesuré face à une seule baseline sur un benchmark propre à l'étude, et la validation réelle demeure peu détaillée. VT-MUSE s'inscrit dans une recherche plus large visant à traiter le signal tactile avec la même rigueur temporelle que la vision, aux côtés d'architectures génériques comme Pi-0 ou GR00T N2 qui restent, elles, centrées sur la vision et le langage. Sa contribution tient à l'alignement conjoint des modalités dès l'encodage et à la modélisation explicite de l'historique tactile complet, là où les approches existantes fusionnent des flux traités indépendamment. S'agissant d'un preprint tout juste mis en ligne, la suite logique passe par la publication du code et une évaluation sur des tâches et plateformes robotiques plus variées, préalable à toute adoption par des intégrateurs industriels.

RecherchePaper
1 source