Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
PneuTac : manipulation tactile avec des robots pneumatiques souples grâce à une simulation unifiée MPM et Gaussian Splatting
RecherchearXiv cs.RO 

PneuTac : manipulation tactile avec des robots pneumatiques souples grâce à une simulation unifiée MPM et Gaussian Splatting

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

PneuTac est un cadre logiciel de recherche, présenté sur arXiv (v1, 2609.38418), qui vise l'apprentissage de la manipulation tactile avec des robots souples pneumatiques. Les auteurs modélisent la dynamique du robot souple et de la membrane déformable du capteur tactile avec la méthode des points matériels (MPM), puis rendent la scène en 3D Gaussian splatting (3DGS). Le calage réel-vers-simulation repose sur une méthode visuelle simple. Des réseaux d'action et de perception, entraînés comme modèles de substitution, accélèrent ensuite la simulation. Ce pipeline sert à collecter des démonstrations guidées par le toucher directement en simulation. Les tests portent sur un doigt souple pneumatique conçu sur mesure, équipé d'un embout tactile à base de vision, avec des évaluations complémentaires sur d'autres dispositifs. Selon les auteurs, les politiques entraînées avec des démonstrations augmentées par la simulation surpassent des références entraînées sur les mêmes données réelles, sur trois tâches de manipulation compliante riches en contacts. Le résumé ne donne ni chiffres de performance ni taux de réussite.

L'enjeu est de lever un goulot d'étranglement connu. Les robots souples offrent un contact sûr grâce à leur compliance, et les capteurs tactiles optiques fournissent une perception fine du toucher. Mais les simulateurs existants les traitent séparément et laissent des écarts de calibration importants et coûteux à corriger. Unifier dans un même moteur MPM la déformation du corps pneumatique et celle de la membrane tactile, avec un rendu 3DGS pour l'image, permet de générer des données synthétiques exploitables pour des politiques d'imitation. Pour les intégrateurs, l'intérêt est indirect mais réel : la manipulation d'objets fragiles (alimentaire, logistique, soin) dépend de mains compliantes, et leur programmation par démonstrations réelles reste lente. Il faut toutefois rester prudent. Il s'agit d'un preprint non évalué par les pairs, validé sur un seul doigt et trois tâches, sans chiffres publics dans le résumé, ce qui ne permet pas de conclure à un « sim-to-real résolu » à l'échelle d'une main complète.

Ce travail s'inscrit dans la convergence entre simulation différentiable de matériaux mous, capteurs de type GelSight et rendu neuronal. Il se place à côté des grandes lignes de recherche sur les modèles vision-langage-action (VLA), qui restent surtout alimentés par la vision et très peu par le tactile. Les prochaines étapes naturelles sont l'extension à des effecteurs multi-doigts, la publication du code et des jeux de données, et des comparaisons chiffrées avec les simulateurs rigides ou à éléments finis. Aucun partenaire industriel, pilote ni calendrier de déploiement n'est annoncé.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

Apprentissage de la manipulation robotique à force régulée avec une pince tactile à contrôle de force à faible coût
1arXiv cs.RO 

Apprentissage de la manipulation robotique à force régulée avec une pince tactile à contrôle de force à faible coût

Des chercheurs présentent TF-Gripper, une pince parallèle à force contrôlée dont le coût avoisine 150 dollars. Elle intègre un retour tactile et couvre une plage de force effective de 0,45 à 45 N. Elle se monte sur différents bras robotiques. Les auteurs l'associent à un dispositif de téléopération qui enregistre les forces de préhension appliquées par un opérateur humain. Ils proposent aussi RETAF (REactive Tactile Adaptation of Force), un cadre logiciel qui sépare le contrôle de la force de serrage de la prédiction de pose de l'effecteur. RETAF régule la force à haute fréquence à partir d'images de poignet et du retour tactile. Une politique de base prédit, elle, la pose de l'effecteur et l'ordre d'ouverture ou de fermeture. Les expériences portent sur six tâches réelles. Le contrôle direct de la force y améliore la stabilité de la prise et la performance globale par rapport au contrôle en position. Selon les auteurs, RETAF surpasse systématiquement les références testées et s'intègre à plusieurs politiques de base. Le travail est publié sur arXiv (version 2), avec une page de projet associée. Il s'agit d'un résultat de laboratoire, sans déploiement industriel ni produit commercialisé. L'enjeu tient à un angle mort de l'apprentissage par imitation et des modèles vision-langage-action (VLA). La plupart des pinces du marché sont soit chères, soit limitées par une force minimale trop élevée. Elles sont donc inadaptées aux objets fragiles du quotidien, comme les chips, qui se brisent si la force n'est pas modulée. Une pince à 150 dollars capable de descendre sous 0,5 N abaisse nettement le coût d'entrée pour les laboratoires qui étudient la manipulation sensible à la force. Pour les intégrateurs, le résultat suggère que le contrôle en force doit tourner sur une boucle rapide et dédiée. Les politiques génériques à basse fréquence peuvent être entraînées sur des données de force, mais les auteurs reconnaissent que leur fiabilité reste difficile à obtenir, car la tâche est réactive et dépend du contact. Il faut toutefois rester prudent. Six tâches en laboratoire ne disent rien de la durabilité de la pince, de la dérive des capteurs tactiles ni de la répétabilité en cadence industrielle. Le résumé ne donne pas non plus les taux de réussite chiffrés. Ce travail s'inscrit dans le déplacement de la recherche en manipulation, de la seule géométrie vers le contact. Les pinces tactiles et les mains dextres sont aujourd'hui souvent coûteuses ou propriétaires. Les politiques de type Pi-0 ou les VLA actuels se concentrent surtout sur la pose de l'effecteur et sur un état binaire de la pince. La séparation entre politique de base et régulation de force de RETAF est modulaire, ce qui la rend compatible avec ces architectures. Les auteurs affichent l'ambition de faire passer à l'échelle l'apprentissage de politiques à force contrôlée. Pour cela, il faudrait des jeux de données de force plus larges, collectés avec leur dispositif de téléopération, et des validations sur des objets plus variés. Aucun calendrier de commercialisation n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Des robots souples mais efficaces grâce à une co-conception globale
2arXiv cs.RO 

Des robots souples mais efficaces grâce à une co-conception globale

Les robots souples promettent une sécurité intrinsèque grâce à la compliance de leurs matériaux, ce qui les rend adaptés aux interactions avec les humains ou à la manipulation d'objets fragiles. Dans une publication de perspective diffusée sur arXiv (version 2 de l'article 2505.03761), des chercheurs constatent que le domaine peine à concilier la performance sur une tâche donnée avec des critères plus larges comme la durabilité et la fabricabilité. Selon eux, cette difficulté est aggravée par les processus de conception séquentiels classiques, où la forme du corps est définie avant le contrôle, sans boucle de rétroaction entre les deux. Le texte passe en revue les approches de co-conception émergentes, qui optimisent simultanément le corps et le « cerveau » (le contrôleur) du robot, et qui permettent de découvrir des morphologies non conventionnelles, très adaptées à leur tâche. Il s'agit d'un article de synthèse et de positionnement, sans robot ni chiffre de performance nouveaux, et non d'un produit ou d'un déploiement. L'enjeu est méthodologique, mais il touche directement la question du passage du laboratoire à l'industrie. Les auteurs identifient trois freins à l'adoption de la co-conception : des objectifs d'optimisation trop étroits, un écart persistant entre performances simulées et réelles (le fameux sim-to-real gap, particulièrement marqué pour les matériaux déformables, difficiles à modéliser), et un coût de calcul élevé. Pour un intégrateur ou un décideur B2B, cela rappelle qu'un robot souple optimisé en simulation pour une seule métrique a peu de chances de tenir en production s'il ignore l'usure, la reproductibilité de fabrication ou la maintenance. Le cadre proposé déplace donc l'optimisation vers des critères de valeur plus larges, ce qui contredit l'idée que la seule performance de tâche suffit à valider une conception. Pour y répondre, les auteurs proposent un cadre de co-conception « holistique » reposant sur trois leviers : intégrer une gamme plus large de valeurs de conception, insérer du prototypage physique pour affiner les évaluations, et gagner en efficacité via des métriques de substitution (surrogate) et des stratégies de commande fondées sur des modèles. Leurs priorités de recherche portent sur les connaissances a priori de conception et les métriques, l'évaluation assistée par l'IA, l'équilibre entre raffinement computationnel et essais physiques, et l'arbitrage entre sécurité et performance. Aucun calendrier de pilote ni partenaire industriel n'est annoncé. Le texte s'inscrit dans une lignée de travaux sur l'évolution morphologique et l'optimisation conjointe forme-contrôle, dont il cherche à lever les limites pratiques avant tout transfert vers des applications commerciales.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
ReCo : locomotion cohérente avec la réponse de la politique grâce à une MPC adaptée, pour la manipulation par robots à pattes
3arXiv cs.RO 

ReCo : locomotion cohérente avec la réponse de la politique grâce à une MPC adaptée, pour la manipulation par robots à pattes

Des chercheurs publient sur arXiv ReCo (Response-Consistent Locomotion), un cadre logiciel pour la manipulation continue sur robots à pattes, c'est-à-dire la tâche qui consiste à suivre précisément une trajectoire avec l'effecteur d'un bras pendant que la base continue de marcher. L'approche combine apprentissage par renforcement (RL) et commande prédictive (MPC). La politique apprise assure une locomotion robuste, tandis que le MPC coordonne la base et le bras pour compenser les erreurs de suivi. La contribution tient en deux briques. Un « response shaping » entraîne la politique à répondre aux commandes de façon cohérente et répétable malgré des dynamiques randomisées. Un modèle de réponse en boucle fermée, identifié ensuite, permet au MPC de planifier conjointement les commandes de locomotion et le mouvement du bras. Sur un benchmark en simulation, ReCo réduit l'erreur quadratique moyenne (RMSE) de position de 28,7 % et celle d'orientation de 27,4 % par rapport au meilleur point de comparaison pour chaque métrique. Des essais sur robot réel démontrent une manipulation continue embarquée, base et bras coordonnés. Le résumé ne précise ni la plateforme, ni la charge utile, ni les temps de cycle. L'enjeu est un problème que connaissent bien les intégrateurs de robots mobiles manipulateurs. Le MPC ne peut compenser que le mouvement de base qu'il sait prédire. Or la réponse d'une politique RL à une commande de vitesse varie avec la phase de marche, les contacts et la charge portée. Cette variabilité rend la compensation imprécise précisément quand le robot transporte quelque chose ou marche sur un sol irrégulier. Rendre la réponse de la politique prévisible plutôt que la corriger après coup est une voie pragmatique pour rapprocher les politiques apprises des contrôleurs à modèle, sans renoncer à la robustesse du RL. Pour un décideur industriel, cela concerne la précision en conditions réelles, souvent le point faible des démonstrations de manipulation sur quadrupèdes. Les gains annoncés restent toutefois mesurés en simulation, face à des références choisies par les auteurs, et la validation matérielle semble qualitative. Il s'agit d'un résultat de recherche, sans produit ni déploiement associé. Ces travaux s'inscrivent dans la lignée de la manipulation « loco-manipulation » sur quadrupèdes équipés d'un bras, où deux écoles s'opposent. L'une repose sur des politiques RL de bout en bout pour l'ensemble du corps. L'autre est hybride, avec un RL pour la marche et une optimisation pour le bras. ReCo se range dans la seconde. Elle vise à combler l'écart entre une politique de marche opaque et un planificateur qui a besoin d'un modèle fiable. La suite logique serait des essais sur d'autres plateformes, avec des charges variées et des tâches plus longues, ainsi qu'une comparaison avec des politiques de corps entier entraînées de bout en bout. Le texte n'annonce aucun calendrier de ce type.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Dream-Tac : un modèle d'action monde tactile unifié pour la manipulation robotique riche en contacts
4arXiv cs.RO 

Dream-Tac : un modèle d'action monde tactile unifié pour la manipulation robotique riche en contacts

Des chercheurs ont publié le 9 juin 2026 sur arXiv (arXiv:2606.08737) Dream-Tac, un modèle d'action mondial unifié intégrant la modalité tactile pour la manipulation robotique en contact. L'architecture joint trois dimensions simultanément : la génération d'actions, la prédiction d'observations visuelles futures et la dynamique tactile. Deux contributions techniques structurent le système : une fusion visuotactile à déclenchement par contact ("contact-gated visuotactile fusion"), qui intègre sélectivement les signaux tactiles uniquement lors des phases d'interaction physique effective, et un biais d'attention conscient du contact ("contact-aware attention bias") régulant les échanges cross-modaux. Pour rendre le modèle déployable en temps réel, les auteurs introduisent une stratégie d'accélération à deux niveaux : reformulation du biais lors de l'entraînement pour préserver les chemins d'attention fusionnés, et accélération de la diffusion par cache à l'inférence. Résultat annoncé : entraînement 2,9 fois plus rapide, inférence 1,8 fois plus rapide. Sur six tâches de manipulation en contact riche, Dream-Tac améliore la précision des actions de 31,7 % en moyenne. Le code est publié sur GitHub. Le résultat le plus significatif n'est pas le chiffre brut des 31,7 %, mais ce qu'il révèle sur une limitation structurelle des modèles d'action mondiaux (world action models) actuels : ces architectures, qui héritent la capacité prédictive des world models pour guider la génération d'actions, s'appuient quasi exclusivement sur la vision. Or, la vision seule est insuffisante pour les tâches à fort contact (assemblage de pièces, vissage, insertion de connecteurs, manipulation d'objets souples) où les signaux critiques sont d'ordre haptique. Dream-Tac adresse directement ce "reality gap" tactile, en montrant que l'intégration conditionnelle de la modalité tactile dans le pipeline de diffusion améliore substantiellement la robustesse. Pour les intégrateurs industriels et les équipes robotique travaillant sur des cellules d'assemblage ou de finishing, c'est un signal clair que les VLA (Vision-Language-Action models) ne suffisent pas seuls pour les cas d'usage à contact. Le contexte est celui d'une compétition intense entre laboratoires sur la manipulation dextère. Physical Intelligence (pi0, pi0-FAST), Boston Dynamics, Figure AI et Agility Robotics investissent massivement dans des pipelines de manipulation généralisable, principalement visuels. Côté recherche académique, des travaux comme DexDiffuser ou UniDexGrasp ont posé les bases de la manipulation dextère par diffusion, mais sans intégration tactile unifiée. Dream-Tac s'inscrit dans une tendance émergente visant à enrichir ces pipelines avec des capteurs de contact (GelSight, Digit, BubbleGripper), encore peu intégrés dans les architectures de world models. Il s'agit ici d'un article de recherche arXiv, pas d'un produit ou d'un déploiement industriel : les six tâches de validation sont des benchmarks contrôlés en laboratoire, et la généralisation à des environnements réels non structurés reste à démontrer. Les prochaines étapes naturelles seraient une validation sur des plateformes hardware commerciales (UR, Franka, ou bras dextre humanoïde) et une extension à des gripper tactiles standardisés disponibles sur le marché.

RechercheOpinion
1 source