Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Modélisation sensible à la pose pour atténuer les artefacts liés à la posture dans les gants tactiles
RecherchearXiv cs.RO 

Modélisation sensible à la pose pour atténuer les artefacts liés à la posture dans les gants tactiles

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (2607.22964, soumis le 27 juillet) une méthode logicielle pour corriger un défaut connu des gants tactiles utilisés en robotique. Ces gants, volontairement conçus souples et flexibles pour préserver la dexterité de la main lors des interactions avec des objets, souffrent d'un effet de bord : leurs capteurs réagissent non seulement aux forces de contact mais aussi aux simples changements de posture, générant des artefacts dits liés à la pose (pose-related artifacts, PRA). Ce bruit est particulièrement problématique dans la plage des faibles forces, où il provoque des détections tardives ou manquées, ce qui dégrade la force minimale détectable (MDF) du gant. Plutôt que de redessiner le matériel, les chercheurs proposent un cadre algorithmique agnostique au type de gant : le modèle exploite les données de posture de la main, de plus en plus disponibles via les systèmes de capture de mouvement, pour estimer et soustraire la déformation du capteur induite par la posture, via une branche de prédiction résiduelle ajoutée au pipeline classique tactile vers force. Testée sur 3 modèles de gants différents et 15 utilisateurs, la méthode réduit la MDF de 10,4%, 12,2% et 18,3% selon le gant, avec des gains cohérents sur l'ensemble des métriques évaluées.

L'enjeu dépasse le confort de laboratoire. Les gants tactiles sont un outil clé pour collecter des données de démonstration humaine (téléopération, apprentissage par imitation) destinées à entraîner des politiques de manipulation dexterous chez les robots, un maillon central des approches VLA actuelles. Une MDF plus basse signifie moins de contacts fins manqués lors de la capture, donc des jeux de données d'entraînement plus fidèles, sans changer de capteur ni de fournisseur. C'est un correctif purement logiciel et rétrocompatible, ce qui compte pour les équipes qui ont déjà investi dans du matériel de capture existant.

Le travail s'inscrit dans la tension classique des capteurs tactiles souples : la flexibilité qui garantit le confort et la naturalité du geste dégrade la précision de mesure, un compromis bien documenté dans la littérature sur la robotique tactile. Le papier reste à ce stade un preprint arXiv, sans nom de laboratoire mis en avant dans le résumé ni partenariat industriel annoncé ; il ne précise pas non plus de calendrier d'intégration dans des pipelines commerciaux de téléopération ou de collecte de données pour l'entraînement de modèles robotiques.

Dans nos dossiers

arXiv cs.RO

À lire aussi

TacSushi : modélisation monde-action ancrée dans le tactile pour la manipulation dextérique de sushis
1arXiv cs.RO 

TacSushi : modélisation monde-action ancrée dans le tactile pour la manipulation dextérique de sushis

Une équipe de recherche présente TacSushi, une politique robotique world-action ancrée dans le toucher, bâtie sur un modèle de monde Cosmos3, destinée à la manipulation dextre d'aliments déformables comme le sushi. Le système encode l'image RGB courante, une consigne en langage naturel et l'état de la main, puis fusionne par un mécanisme de gating feature-wise les signaux tactiles des bouts de doigts dans la représentation d'action ; pendant l'entraînement seulement, un décodeur conditionné par les segments d'action démontrés prédit les observations visuelles futures, la progression de la tâche et le risque de contact, avant d'être retiré au déploiement. Entraîné sur 340 essais réussis et 50 essais échoués sur robot réel, TacSushi a été testé sur 600 rollouts couvrant trois tâches en distribution et deux variantes d'ingrédients hors distribution, la qualité du plat final étant jugée par un protocole mêlant à parts égales cinq notations humaines et trois notations de modèles vision-langage. Résultat : 68,3% de réussite moyenne en distribution et 37,5% hors distribution, contre 36,7%/10,0% sans la supervision par conséquences futures et 25,0%/17,5% avec une simple concaténation tactile au lieu de la fusion gated. Ces chiffres valident surtout deux choix d'architecture plutôt qu'une performance spectaculaire : la fusion tactile gated par caractéristique apporte un gain net face à une concaténation brute, et la supervision prédictive, entraînée mais jamais exécutée en production, améliore la généralisation sans coût au déploiement. Pour les équipes de manipulation dextre et les intégrateurs, l'écart entre réussite en distribution et hors distribution illustre une nouvelle fois le fossé persistant entre démonstration contrôlée et généralisation réelle des politiques vision-langage-action, un problème que le secteur peine encore à résoudre malgré les annonces. Évaluer la qualité perçue de l'aliment via des juges humains et des modèles vision-langage, plutôt qu'un seuil géométrique binaire, répond aussi à une limite méthodologique connue des benchmarks de manipulation alimentaire, où texture et présentation comptent autant que le succès du geste. TacSushi s'inscrit dans la lignée des politiques robotiques bâties sur des backbones de modèles de monde ou vision-langage-action, comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, mais cible un terrain nettement moins couvert, la manipulation d'aliments fragiles, plutôt que la préhension d'objets rigides. Publié en prépublication sur arXiv sans affiliation industrielle mentionnée, le travail reste une évaluation de laboratoire sur rollouts contrôlés, sans partenaire commercial ni calendrier de déploiement annoncés, et son jeu d'entraînement de 340 démonstrations réussies pour seulement 50 échecs demeure modeste au regard des efforts de VLA à grande échelle menés par les grands laboratoires. La suite logique, non précisée par les auteurs, consisterait à élargir les tâches culinaires et les variantes d'ingrédients testées pour vérifier si les gains observés hors distribution résistent à une variabilité alimentaire encore plus large.

RecherchePaper
1 source
CAAT : mise à l'échelle de l'attention sensible au contact et masquage tactile pour la manipulation riche en contacts, économe en données
2arXiv cs.RO 

CAAT : mise à l'échelle de l'attention sensible au contact et masquage tactile pour la manipulation riche en contacts, économe en données

Résumé des faits établis en trois paragraphes, sans traitement d'outil nécessaire ici. Une équipe de recherche présente CAAT (Contact-Aware Attention scaling and Tactile masking), un framework léger conçu pour améliorer les politiques d'apprentissage visuo-tactile dans la manipulation robotique impliquant des contacts physiques. Le principe repose sur deux mécanismes explicites : une pondération dynamique de l'attention qui privilégie les informations visuelles avant le contact et bascule vers les informations tactiles pendant le contact, ainsi qu'un masquage qui supprime les tokens tactiles statiques de fond en comparant l'observation courante à une référence sans contact. CAAT s'intègre directement aux politiques Transformer existantes sans modifier leur décodeur d'action. En simulation, son association avec ACT (Action Chunking Transformer) améliore le taux de réussite moyen de 18,0 points de pourcentage par rapport à une fusion visuo-tactile directe, et de 10,0 points par rapport à un gating appris classique. En conditions réelles, sur une plateforme UMI visuo-tactile, CAAT atteint un taux de réussite moyen de 60,0% combiné à trois architectures différentes, ACT, Diffusion Policy et $\pi0$ (Pi-0), dépassant la meilleure référence de 21,1 points en moyenne. Ce résultat s'attaque à un problème concret pour les intégrateurs et chercheurs en manipulation robotique: les politiques Transformer actuelles traitent le signal tactile de façon peu efficace, soit en le concaténant brutalement aux tokens visuels, soit via un gating appris qui manque de prior explicite sur la physique du contact. En injectant une connaissance a priori simple, mais structurante, sur le moment où le tactile devient pertinent, CAAT permet d'apprendre des représentations plus efficaces à partir de moins de démonstrations, un enjeu central pour la manipulation contact-riche (insertion, assemblage, préhension délicate) où les données d'entraînement réelles restent coûteuses à collecter. Le fait que le gain se maintienne à travers trois architectures de politique différentes, y compris un modèle VLA comme $\pi0$, suggère que le mécanisme est généralisable plutôt que spécifique à une architecture, ce qui renforce sa valeur pratique pour les équipes qui expérimentent déjà avec différents backbones de politique. Le travail s'inscrit dans la lignée des recherches sur la fusion multimodale pour la manipulation robotique, où l'intégration du tactile aux pipelines visuo-moteurs reste un chantier actif depuis l'essor des politiques basées sur l'imitation (ACT, Diffusion Policy) et plus récemment des modèles vision-langage-action comme $\pi_0$. Les auteurs positionnent CAAT comme une brique modulaire, "plug-and-play", plutôt qu'une nouvelle architecture de politique concurrente, ce qui facilite son adoption par des équipes déjà investies dans ACT ou Diffusion Policy. L'article, disponible sur arXiv (2608.01102v1) avec une page de projet dédiée, ne mentionne pas de déploiement industriel ni de partenariat commercial à ce stade: il s'agit d'un travail de recherche validé en simulation et sur un banc de test UMI en laboratoire, sans indication de calendrier vers une intégration produit.

RecherchePaper
1 source
Repenser les représentations pour la modélisation monde-action
3arXiv cs.RO 

Repenser les représentations pour la modélisation monde-action

Des chercheurs proposent ReWAM, un modèle « monde-action » (world-action model) qui apprend conjointement une politique de contrôle robotique et la prédiction des observations futures, en s'appuyant sur des features DINO pré-entraînées plutôt que sur un pré-entraînement génératif vidéo. Sur le benchmark simulé RoboTwin 2.0, il atteint 93,6 % de réussite. Sur RoboDojo, il obtient un score moyen de 12,29 et un taux de succès de 8,28 %, avec environ 600 heures de données d'embodiment pour le pré-entraînement. Deux mécanismes structurent l'ensemble. Une Feature Calibration et un Temporal Representation Bottleneck compressent les features DINO en états du monde compacts, adaptés à la modélisation de la dynamique. Un Action-Grounded Representation Shaping n'achemine vers ce goulot que les gradients issus de la perte d'action. La politique décide ainsi de ce que la représentation encode, tandis que le modèle du monde apprend comment elle évolue. Il s'agit d'un travail de recherche (preprint arXiv), sans produit ni déploiement associé. L'intérêt tient à la conclusion des comparaisons contrôlées. Ni la fidélité de reconstruction, ni des features perceptuelles pré-entraînées prises isolément ne garantissent un apprentissage de politique efficace. Cela remet en cause une hypothèse répandue : les world models vidéo, coûteux à pré-entraîner, seraient la voie évidente vers des politiques généralistes. Ici, un espace latent compact, façonné par l'action, suffit à un score élevé sur RoboTwin 2.0 sans génération vidéo. Pour les équipes qui évaluent des architectures VLA (vision-language-action) ou monde-action, cela suggère qu'un budget de calcul peut se déplacer du pré-entraînement génératif vers la conception de la représentation. Deux réserves s'imposent. Les 93,6 % relèvent d'un benchmark simulé, qui ne dit rien du transfert sim-to-real. Et le 8,28 % sur RoboDojo montre qu'une tâche plus exigeante reste très loin d'être résolue, ce que le chiffre de RoboTwin masque. Ce travail s'inscrit dans la montée des modèles monde-action, qui cherchent à unifier la prédiction de futurs observés et le contrôle, en concurrence avec les VLA purs comme Pi-0 ou GR00T, et avec les approches fondées sur des modèles vidéo génératifs. Le choix de DINO prolonge l'usage des features auto-supervisées comme backbone visuel en robotique. Les prochaines étapes à surveiller sont une validation sur robot réel, des comparaisons à données de pré-entraînement équivalentes, et la publication du code et des poids. Le preprint ne mentionne pas de partenaire industriel ni d'acteur français ou européen.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Guidage sensible à l'achèvement pour les modèles du monde et d'action
4arXiv cs.RO 

Guidage sensible à l'achèvement pour les modèles du monde et d'action

Des chercheurs publient sur arXiv (2610.01559) une méthode baptisée Completion Aware Guidance (CAG), destinée aux World Action Models (WAMs). Ces modèles prédisent à la fois les futurs visuels et les actions du robot. Le travail cible un défaut précis, l'« imagination incomplète » : le modèle produit des prédictions plausibles et cohérentes avec les actions, mais qui omettent la transition nécessaire pour terminer la tâche. CAG est une méthode d'échantillonnage sans entraînement supplémentaire, qui oriente la génération vers l'achèvement de la tâche. Sur plusieurs WAMs représentatifs, le taux de succès passe de 64 % à 70 % sur un sous-ensemble de RoboTwin 2.0, et de 69 % à 75 % en simulation zéro-shot. La part d'imagination incomplète tombe de 79 % à 40 %. Les résultats portent sur des benchmarks simulés. L'article ne mentionne ni test sur robot réel, ni déploiement. L'intérêt tient d'abord au diagnostic. Selon les auteurs, l'échec ne vient pas de l'architecture du modèle du monde. Il apparaît quand ce modèle est adapté au contrôle par segments courts (short-chunk control). Dans ce régime, le modèle favorise de façon répétée des prolongements locaux plausibles plutôt que les transitions qui achèvent la tâche. Pour les équipes qui construisent des politiques VLA ou des WAMs, cela signale qu'une partie des échecs en manipulation vient de la procédure d'échantillonnage et d'adaptation, pas d'un manque de capacité du modèle de base. Corriger cela à l'inférence, sans réentraînement, est peu coûteux. Il faut toutefois relativiser : un gain de 6 points de succès reste modeste, et le chiffre le plus net, 79 % à 40 %, mesure un défaut défini par les auteurs eux-mêmes. Il ne se traduit pas directement en fiabilité industrielle. Ce travail s'inscrit dans l'essor des modèles qui apprennent à prédire l'avenir visuel pour guider l'action. L'approche est une alternative aux VLA purement réactifs, comme Pi-0 ou Helix. Elle est aussi un complément aux efforts de modèles du monde généralistes, tels que GR00T. RoboTwin 2.0 sert de banc d'essai standard pour la manipulation bimanuelle en simulation. Il reste donc à voir si le gain tient sur matériel réel, avec ses latences, son bruit de perception et ses contraintes de temps de cycle. Les auteurs n'annoncent pas de calendrier de validation physique. L'article n'évoque aucun acteur français ou européen.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source