Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
FEWT : transformeur en ondelettes à fréquence améliorée pour la manipulation bimanuelle sur roues multimodale
RecherchearXiv cs.RO 

FEWT : transformeur en ondelettes à fréquence améliorée pour la manipulation bimanuelle sur roues multimodale

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente FEWT (Frequency-Enhanced Wavelet-based Transformer), un framework léger d'apprentissage par imitation destiné à la manipulation bimanuelle robotisée. Les données de démonstration sont collectées via une plateforme mobile à roues équipée de deux bras et pilotée par téléopération de type exosquelette, une méthode qui permet un contrôle intuitif et une capture fidèle de gestes anthropomorphes. FEWT combine deux modules, l'attention multi-échelle FE-EMA (Frequency-Enhanced Efficient Multi-Scale Attention) et la transformée en ondelettes discrète temporelle TS-DWT, pour aligner la sémantique visuelle spatiale avec la dynamique physique locale à haute fréquence. Pour les déploiements réels, les auteurs y ajoutent un tissu tactile intelligent maison, le Smart Tactile Fabric (STF), intégré aux effecteurs terminaux, qui capte la contrainte de contact locale en complément des signaux proprioceptifs et de mouvement du châssis.

Sur des tâches d'insertion bimanuelle simulées, l'architecture FEWT améliore significativement le taux de réussite par rapport à la référence courante Action Chunking with Transformers (ACT), notamment dans les phases les plus délicates, là où se concentrent la plupart des échecs. En conditions réelles, sur des tâches de manipulation mobile et de bureau, le système complet intégrant le capteur STF s'adapte à des perturbations dynamiques microscopiques et améliore nettement les performances. Le résultat illustre un enjeu clé pour l'apprentissage par imitation en robotique : la vision seule peine à capturer les micro-ajustements de force nécessaires aux tâches de contact fin, ce qu'une modalité tactile locale permet de corriger.

FEWT s'inscrit dans une tendance de fond en robotique de manipulation, celle d'utiliser la téléopération par exosquelette pour collecter à moindre coût des démonstrations humaines de qualité et entraîner des politiques d'apprentissage par imitation sur des plateformes bimanuelles. Les auteurs se comparent explicitement à ACT, devenue une référence de facto dans ce domaine. Publiée sur arXiv (référence 2509.11109, quatrième version), l'étude reste à ce stade une contribution académique : aucune indication de déploiement industriel, de partenariat commercial ni de calendrier de commercialisation n'est fournie pour la plateforme robotique ou le capteur STF développés en interne par les auteurs.

Dans nos dossiers

ExosquelettesarXiv cs.RO

À lire aussi

MoE-ACT : passage à l'échelle de la manipulation bimanuelle multitâche avec des transformeurs à mélange d'experts conditionnés par tâche
1arXiv cs.RO 

MoE-ACT : passage à l'échelle de la manipulation bimanuelle multitâche avec des transformeurs à mélange d'experts conditionnés par tâche

Des chercheurs ont publié sur arXiv (2603.15265, version 2) l'article décrivant MoE-ACT, un framework de manipulation bimanuelle combinant mixture-of-experts et action chunking transformer. Le système insère des couches MoE éparses dans l'encodeur d'ACT, qui redirigent dynamiquement les tokens image vers des experts sélectionnés selon le contexte de la tâche, les observations visuelles et l'état proprioceptif des bras. Le décodeur d'action ajoute une modulation FiLM conditionnée à la tâche et une attention croisée multi-échelle pour ancrer précisément chaque geste dans l'espace. Sur le benchmark de simulation RoboTwin 2.0, couvrant 16 tâches bimanuelles complexes, MoE-ACT atteint un taux de réussite moyen de 62,0%, soit 17,4 points de plus que la version standard d'ACT. Avec seulement 195 millions de paramètres activés, le modèle dépasse de 5,1 points le modèle fondation Pi-0, qui compte 3,24 milliards de paramètres, seize fois plus. Des expériences complémentaires sur un robot réel à deux bras confirment ces résultats en conditions physiques, même si l'essentiel des chiffres cités provient du benchmark simulé. Code et documentation sont publiés en open source. Le résultat intéresse d'abord les intégrateurs cherchant à déployer des politiques multi-tâches sans la facture de calcul des grands modèles fondation. La manipulation bimanuelle multi-tâche bute régulièrement sur l'interférence entre tâches: une politique unique entraînée sur plusieurs tâches dégrade ses performances par rapport à des politiques spécialisées, phénomène connu comme le négative transfer. En routant dynamiquement le traitement visuel vers des experts spécialisés, MoE-ACT attaque ce problème sans multiplier les paramètres actifs à l'inférence, un argument pour l'embarque sur du matériel contraint en calcul et en énergie. Battre Pi-0, seize fois plus gros, alimente le débat sur la pertinence de la course à l'échelle en robotique généraliste: la spécialisation architecturale via MoE pourrait offrir un meilleur compromis performance/coût que le simple gonflement des foundation models, du moins sur des tâches bimanuelles bien délimitées. MoE-ACT prolonge ACT (Action Chunking Transformer), architecture d'imitation learning devenue référence pour le contrôle de bras robotiques, en y greffant le principe du mixture-of-experts déjà popularisé dans les grands modèles de langage. Il se positionne face aux modèles fondation vision-language-action comme Pi-0 (Physical Intelligence), dans un paysage où GR00T N2 (NVIDIA) ou Helix (Figure AI) visent aussi la manipulation généraliste. Marqué comme une version de remplacement sur arXiv, le travail reste un résultat de recherche validé sur benchmark simulé et un banc bimanuel réel, sans annonce de déploiement industriel ni partenariat commercial à ce stade.

RecherchePaper
1 source
DeltaWAM : modèles delta monde-action pour la manipulation bimanuelle
2arXiv cs.RO 

DeltaWAM : modèles delta monde-action pour la manipulation bimanuelle

Des chercheurs du AIGeeksGroup publient DeltaWAM (Delta World Action Models), une nouvelle architecture pour piloter des bras robotiques bimanuels via l'apprentissage vidéo, détaillée dans un article arXiv (2609.28811v1) diffusé fin septembre 2026, avec code et démonstrations disponibles sur GitHub. Les modèles World-Action (WAM) classiques transfèrent les connaissances visuelles et de mouvement de générateurs vidéo préentraînés vers le contrôle robotique, mais ils prédisent à chaque étape des images futures complètes, ce qui recalcule inutilement du contenu inchangé et ralentit la génération d'actions en temps réel. DeltaWAM sépare le flux en trois composantes, une ancre dense, un delta visuel épars et un flux d'actions, déclinées en trois architectures selon le partage de calcul et de représentation. Le système ajoute une Streaming Delta Memory (SDM) qui met à jour un contexte d'ancrage en cache à partir des seuls changements observés, évitant de repasser par le lourd module vidéo à chaque pas. Sur le benchmark RoboTwin, DeltaWAM avec SDM porte le taux de réussite moyen de 81,3% à 85,4% en conditions standard, et de 75,8% à 83,9% avec randomisation visuelle, par rapport à la référence Fast-WAM. Les trois architectures réduisent le coût de calcul à l'entraînement de 17,78 à 23,77%, tandis que la SDM abaisse la latence d'inférence de 36,57% et le calcul associé de 31,55%. Pour l'industrie robotique, ce travail cible un goulot d'étranglement concret: les modèles génératifs vidéo, puissants pour transférer des priors de mouvement, restent trop lourds pour du contrôle en quelques pas de temps, un frein direct pour des manipulations bimanuelles réactives en usine ou en logistique. En découplant la dynamique liée à l'action des variations d'apparence parasites, DeltaWAM répond à un doute récurrent sur les architectures VLA à grande échelle: leur capacité à généraliser sans reconstruire l'intégralité de la scène à chaque inférence. Les gains annoncés en conditions réelles restent toutefois évalués par les auteurs eux-mêmes, face à un nombre limité de politiques concurrentes, sans validation indépendante à ce stade. L'article s'inscrit dans la lignée des WAM apparus pour exploiter les générateurs vidéo comme source de priors physiques, avec Fast-WAM comme point de comparaison direct explicitement cité. Aucun acteur industriel ni équipe européenne n'est mentionné, le travail restant à ce stade une contribution académique avec code ouvert, sans annonce de déploiement matériel ni de partenariat commercial.

RechercheActu
1 source
PEAfowl : action vision-langage multi-vue à perception renforcée pour manipulation bimanuelle
3arXiv cs.RO 

PEAfowl : action vision-langage multi-vue à perception renforcée pour manipulation bimanuelle

Une équipe de recherche a publié sur arXiv, en version 2, un article décrivant PEAfowl, une architecture vision-langage-action (VLA) pour la manipulation bimanuelle en environnement encombré. Le modèle prédit des distributions de profondeur par token, effectue un relèvement 3D différentiable et fusionne les vues caméra par agrégation locale de voisins, au lieu de la simple concaténation de tokens des approches existantes. Pour l'ancrage des instructions, il remplace le conditionnement global du langage par une lecture de type Perceiver appliquée aux features CLIP gelées, avec accumulation itérative des indices visuels pertinents. Une distillation de profondeur, réalisée uniquement à l'entraînement via un modèle enseignant préexistant, affine les priors géométriques sans coût supplémentaire à l'inférence, ce qui compense le bruit et les trous typiques des capteurs RGB-D grand public. Sur le benchmark RoboTwin 2.0, en configuration à randomisation de domaine, PEAfowl améliore le taux de réussite de 23 points de pourcentage par rapport à la meilleure référence testée, un gain que les auteurs disent confirmé par des essais complémentaires sur robot physique. Ce travail cible deux limites connues des modèles VLA actuels: une fusion multi-vue trop grossière, qui fragilise la perception sous occlusion ou changement de point de vue, et un ancrage du langage jugé imprécis quand l'instruction sert de simple conditionnement global. Pour les intégrateurs qui évaluent des politiques VLA face à des références comme Pi-0, GR00T N2 ou Helix, ce résultat montre que la robustesse spatiale et la précision de l'ancrage linguistique restent des axes actifs de progrès plutôt que des problèmes déjà résolus. Il faut toutefois noter que le gain de 23 points est mesuré en simulation randomisée; les résultats sur robot réel, évoqués sans détail chiffré précis, relèvent à ce stade d'une validation qualitative plutôt que d'une preuve de déploiement à l'échelle. PEAfowl s'inscrit dans les travaux cherchant à réduire l'écart entre démonstrations en simulation et exécution fiable en conditions réelles pour la manipulation bimanuelle, un axe également exploré par des laboratoires industriels avec des modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure. L'article, classé en catégorie "replace-cross" sur arXiv, ne précise ni affiliation institutionnelle ni partenaire industriel. Un site dédié au projet est en ligne, mais aucun calendrier de publication de code ni de pilote industriel n'est annoncé pour l'instant.

RechercheActu
1 source
Imp-ACT : contrôle d'impédance adaptatif et segmentation d'action par transformers pour la manipulation en contact
4arXiv cs.RO 

Imp-ACT : contrôle d'impédance adaptatif et segmentation d'action par transformers pour la manipulation en contact

Des chercheurs présentent Imp-ACT, une méthode de contrôle robotique pour la manipulation en contact riche, décrite dans une prépublication arXiv (2609.31225v1, non encore relue par les pairs). Le principe consiste à intégrer la modulation de rigidité cartésienne directement dans la phase de collecte de démonstrations par téléopération, plutôt que de fixer cette rigidité au niveau du contrôleur comme le font la plupart des politiques vision-action actuelles. Un contrôleur d'impédance auto-ajustable adapte la rigidité selon la direction instantanée du mouvement tout en conservant de la souplesse dans les directions orthogonales, sans sélection manuelle ni reconstruction de cible hors ligne. Cette rigidité adaptée est enregistrée en même temps que les observations visuelles, proprioceptives et de force, puis utilisée pour entraîner une architecture Action Chunking with Transformer (ACT) qui prédit conjointement la pose de l'effecteur, l'action du gripper et la rigidité directionnelle. Sur deux tâches test, essuyage de surface et insertion de fiche, Imp-ACT égale ou dépasse le taux de réussite de deux références à rigidité fixe (basse et haute), tout en réduisant les forces de contact : la vibration des forces de contact chute d'environ 29 fois par rapport à la référence souple et 180 fois par rapport à la référence rigide lors de l'essuyage, et les forces orthogonales à l'axe d'insertion baissent de 43% par rapport à la meilleure référence à rigidité fixe lors de l'insertion. L'enjeu dépasse la simple démonstration académique : la plupart des politiques d'apprentissage par imitation actuelles séparent l'apprentissage du mouvement de la gestion de la compliance, laissant les intégrateurs choisir manuellement un compromis rigide/souple selon la tâche, un réglage coûteux et rarement optimal pour l'ensemble d'une opération de contact. En montrant qu'une politique unique peut apprendre à moduler sa rigidité en fonction de la direction, à partir de simples démonstrations téléopérées, Imp-ACT suggère une voie pour automatiser ce réglage dans des tâches industrielles sensibles comme l'assemblage, le câblage ou le nettoyage de surfaces, où un excès de rigidité génère des forces dommageables et un excès de souplesse compromet la précision. Le travail s'appuie sur l'architecture ACT, déjà répandue dans l'apprentissage par imitation robotique, et se distingue des politiques généralistes de type VLA en se concentrant spécifiquement sur le sous-problème du contrôle de compliance plutôt que sur la généralisation multi-tâches. Il s'agit à ce stade d'une évaluation de laboratoire sur deux tâches ciblées, sans annonce de déploiement industriel ni de partenariat commercial.

RecherchePaper
1 source