Effets inattendus de la randomisation de domaine…

1arXiv cs.RO

CAAT : mise à l'échelle de l'attention sensible au contact et masquage tactile pour la manipulation riche en contacts, économe en données

Résumé des faits établis en trois paragraphes, sans traitement d'outil nécessaire ici. Une équipe de recherche présente CAAT (Contact-Aware Attention scaling and Tactile masking), un framework léger conçu pour améliorer les politiques d'apprentissage visuo-tactile dans la manipulation robotique impliquant des contacts physiques. Le principe repose sur deux mécanismes explicites : une pondération dynamique de l'attention qui privilégie les informations visuelles avant le contact et bascule vers les informations tactiles pendant le contact, ainsi qu'un masquage qui supprime les tokens tactiles statiques de fond en comparant l'observation courante à une référence sans contact. CAAT s'intègre directement aux politiques Transformer existantes sans modifier leur décodeur d'action. En simulation, son association avec ACT (Action Chunking Transformer) améliore le taux de réussite moyen de 18,0 points de pourcentage par rapport à une fusion visuo-tactile directe, et de 10,0 points par rapport à un gating appris classique. En conditions réelles, sur une plateforme UMI visuo-tactile, CAAT atteint un taux de réussite moyen de 60,0% combiné à trois architectures différentes, ACT, Diffusion Policy et $\pi0$ (Pi-0), dépassant la meilleure référence de 21,1 points en moyenne. Ce résultat s'attaque à un problème concret pour les intégrateurs et chercheurs en manipulation robotique: les politiques Transformer actuelles traitent le signal tactile de façon peu efficace, soit en le concaténant brutalement aux tokens visuels, soit via un gating appris qui manque de prior explicite sur la physique du contact. En injectant une connaissance a priori simple, mais structurante, sur le moment où le tactile devient pertinent, CAAT permet d'apprendre des représentations plus efficaces à partir de moins de démonstrations, un enjeu central pour la manipulation contact-riche (insertion, assemblage, préhension délicate) où les données d'entraînement réelles restent coûteuses à collecter. Le fait que le gain se maintienne à travers trois architectures de politique différentes, y compris un modèle VLA comme $\pi0$, suggère que le mécanisme est généralisable plutôt que spécifique à une architecture, ce qui renforce sa valeur pratique pour les équipes qui expérimentent déjà avec différents backbones de politique. Le travail s'inscrit dans la lignée des recherches sur la fusion multimodale pour la manipulation robotique, où l'intégration du tactile aux pipelines visuo-moteurs reste un chantier actif depuis l'essor des politiques basées sur l'imitation (ACT, Diffusion Policy) et plus récemment des modèles vision-langage-action comme $\pi_0$. Les auteurs positionnent CAAT comme une brique modulaire, "plug-and-play", plutôt qu'une nouvelle architecture de politique concurrente, ce qui facilite son adoption par des équipes déjà investies dans ACT ou Diffusion Policy. L'article, disponible sur arXiv (2608.01102v1) avec une page de projet dédiée, ne mentionne pas de déploiement industriel ni de partenariat commercial à ce stade: il s'agit d'un travail de recherche validé en simulation et sur un banc de test UMI en laboratoire, sans indication de calendrier vers une intégration produit.

RecherchePaper

1 source

2arXiv cs.RO

PRISM : commande prédictive par échantillonnage avec projection et réglage bayésien du coût pour la manipulation bimanuelle

Un framework académique publié en août 2026 sur arXiv (référence 2608.25666) présente PRISM, une commande prédictive par modèle (MPC) pour la manipulation bimanuelle en environnement encombré et riche en contacts. Le système s'appuie sur un simulateur physique accéléré par GPU comme modèle du monde en ligne, et introduit un échantillonnage de commandes guidé par programmation quadratique : les trajectoires de vitesses articulaires échantillonnées sont projetées sur l'ensemble des mouvements respectant les limites de position, vitesse, accélération et jerk avant évaluation. Un solveur QP maison, basé sur ADMM et le splitting de Bregman, assure l'exécution temps réel, tandis qu'une optimisation bayésienne règle automatiquement les poids de coût. PRISM a été testé sur des variantes du benchmark PerAct2 (transport de balle avec obstacles, transport de plateau, transfert de cube, levage de boîte), avec un transfert sim-to-real démontré sur deux bras UR5e d'Universal Robots. Cette approche illustre une alternative aux modèles vision-langage-action (VLA) comme Pi-0, GR00T N2 ou Helix, qui dominent la manipulation robotique par apprentissage bout en bout : au lieu d'entraîner un réseau de neurones sur des démonstrations massives, PRISM planifie directement via simulation physique, réduisant le besoin de données tout en gardant une exécution temps réel. Pour les intégrateurs industriels, le transfert sim-to-real réussi sur du matériel standard comme l'UR5e est significatif, car l'écart simulation-réalité reste un point de rupture fréquent des méthodes MPC comme des approches apprises. Il s'agit néanmoins d'un travail académique publié sur arXiv, sans partenaire industriel annoncé ni déploiement commercial, ce qui le distingue des annonces produit humanoïdes. Le contrôle bimanuel en milieu contraint reste un problème ouvert de longue date en robotique, partagé entre méthodes MPC classiques, coûteuses en calcul, et méthodes apprises nécessitant d'importants volumes de démonstrations. PRISM se positionne entre les deux en combinant simulation GPU et optimisation bayésienne pour automatiser le réglage des coûts. Le choix du benchmark PerAct2 et du bras UR5e, plateforme largement répandue en recherche comme en intégration industrielle, facilite la reproductibilité et la comparaison avec d'autres approches. Aucun essai pilote, partenariat industriel ni calendrier de commercialisation n'est mentionné dans la publication, qui reste à ce stade une contribution de recherche accompagnée de code source ouvert.

UELe transfert sim-to-real réussi de PRISM sur des bras UR5e, plateforme cobotique du danois Universal Robots largement déployée dans l'industrie européenne, rend cette approche directement testable par des intégrateurs européens.

RecherchePaper

1 source

3arXiv cs.RO

FASA : adaptation de l'échantillonnage sensible au retour pour des modèles VLA à diffusion efficaces

Un article publié le 18 septembre 2026 sur arXiv (référence 2609.19475v1) présente FASA (Feedback-Aware Sampling Adaptation), une méthode d'accélération pour les modèles Vision-Language-Action (VLA) fondés sur la diffusion. Ces modèles, utilisés pour piloter des robots à partir d'images et de langage naturel, souffrent d'un défaut connu : leur processus de génération d'action repose sur un échantillonnage itératif coûteux en calcul et en accès mémoire, ce qui empêche leur exécution en temps réel sur du matériel embarqué limité. FASA fonctionne sans entraînement supplémentaire et agit directement au moment de l'inférence : un premier module, l'adaptateur de plage piloté par l'interaction, ajuste dynamiquement le nombre global d'étapes de débruitage en fonction du retour visuel et de la force mesurée par la pince du robot ; un second module, l'adaptateur d'étape sensible à la proprioception, choisit précisément l'étape optimale à l'intérieur de cette plage. Les auteurs annoncent des gains de vitesse d'inférence allant jusqu'à 1,45 fois par rapport aux méthodes existantes, avec des taux de réussite jugés comparables sur plusieurs bancs d'essai (benchmarks) non détaillés dans le résumé. Cette approche cible un point de friction central pour l'industrialisation des VLA : les méthodes d'accélération existantes imposent soit un réentraînement coûteux (distillation, flow matching), soit un élagage ou un système de cache programmé de façon statique, qui dégrade la perception en ignorant la variabilité réelle de la charge de travail robotique. En traitant le retour multimodal comme signal de contrôle du pipeline de débruitage, FASA propose une troisième voie, sans coût d'entraînement, potentiellement pertinente pour les intégrateurs cherchant à déployer des modèles génératifs lourds sur des plateformes de calcul contraintes, comme les contrôleurs embarqués de robots manipulateurs. Il s'agit toutefois d'un prépublication arXiv, non encore validée par relecture par les pairs, sans identification des auteurs ni de laboratoire dans le résumé disponible, et sans précision sur le matériel de test ni sur les modèles VLA de référence utilisés pour la comparaison. Le gain de 1,45x reste à situer par rapport aux architectures concurrentes d'accélération de l'inférence robotique, un axe de recherche actif à mesure que les modèles VLA gagnent en taille et en ambition d'usage industriel.

RechercheActu

1 source

4arXiv cs.RO

RATE : encodage tactile sensible au risque pour la manipulation robotique riche en contacts

Des chercheurs publient sur arXiv (2610.03538) RATE, pour Risk-Aware Tactile Encoding, une méthode d'encodage tactile destinée à la manipulation robotique riche en contacts. Le principe est d'apprendre des représentations tactiles qui portent explicitement le risque d'interaction propre à la tâche. Deux mécanismes y contribuent. Une prédiction conditionnée par l'historique des contacts capture le contexte d'interaction. Une supervision par « alertes » associe ensuite ce contexte à un niveau de risque. La représentation obtenue s'ajoute aux caractéristiques tactiles classiques via un adaptateur résiduel léger, sans remplacer l'encodeur existant. Les auteurs annoncent des gains substantiels de taux de réussite en simulation comme sur robot réel. Des ablations contrôlées montrent que l'apprentissage guidé par les alertes et la modélisation temporelle prédictive apportent chacun un bénéfice complémentaire. Le résumé ne chiffre ni les gains, ni les tâches, ni le matériel, ni les capteurs utilisés. Le travail s'attaque à une ambiguïté bien connue de la manipulation tactile. Un même signal peut venir de situations aux conséquences très différentes : bruit du capteur, variation normale et nécessaire à la tâche, ou début d'un contact indésirable. Sans information de risque ancrée dans le contexte, une politique aval ne sait pas les distinguer. Elle corrige alors inutilement des variations bénignes, ou réagit trop tard à un contact réellement dangereux. Pour les intégrateurs, cela touche les opérations d'assemblage, d'insertion ou de manipulation d'objets fragiles, où la robustesse compte plus que le taux de réussite moyen. L'approche est peu invasive, puisqu'un adaptateur résiduel se greffe sur des pipelines existants. Elle reste toutefois une preuve de concept académique. En l'absence de chiffres dans le résumé, il faut attendre le papier complet pour juger l'ampleur des gains, la diversité des tâches et la dépendance au choix des seuils d'alerte. Ce travail s'inscrit dans la progression rapide de l'apprentissage de représentations tactiles, qui a surtout cherché à produire des encodages généraux à partir de capteurs optiques ou de peau électronique. Les modèles vision-langage-action (VLA) actuels, tels que Pi-0 ou GR00T, s'appuient surtout sur la vision et traitent encore peu le toucher. Des représentations tactiles qui signalent le risque pourraient combler cette lacune. L'article est une pré-publication, non évaluée par les pairs. Aucun déploiement industriel, aucun produit ni aucun calendrier n'est annoncé. Les prochaines étapes à surveiller sont la publication du code, la validation sur des tâches plus variées et l'intégration à des politiques de type VLA.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

Effets inattendus de la randomisation de domaine sensible au risque pour la commande prédictive par échantillonnage à contacts multiples

À lire aussi

CAAT : mise à l'échelle de l'attention sensible au contact et masquage tactile pour la manipulation riche en contacts, économe en données

PRISM : commande prédictive par échantillonnage avec projection et réglage bayésien du coût pour la manipulation bimanuelle

FASA : adaptation de l'échantillonnage sensible au retour pour des modèles VLA à diffusion efficaces

RATE : encodage tactile sensible au risque pour la manipulation robotique riche en contacts