Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Transformer Transformer : un modèle unifié pour la co-conception de robots conditionnée par le mouvement
RecherchearXiv cs.RO 

Transformer Transformer : un modèle unifié pour la co-conception de robots conditionnée par le mouvement

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (2607.25798v1) un nouveau modèle baptisé Transformer Transformer, conçu pour la co-conception de robots conditionnée par le mouvement. L'idée : générer automatiquement des architectures robotiques complètes capables de suivre des trajectoires d'effecteur cibles issues de démonstrations humaines, tout en optimisant des fonctions de récompense définies par l'utilisateur. Le système repose sur les RoboTokens, une tokenisation unifiée des morphologies, états et actions des robots, qui permet à une seule architecture de diffusion transformer de fonctionner sur des espaces d'embodiment très différents : robots bimanuels à roues, quadrupèdes, humanoïdes. Plutôt que d'optimiser pour une récompense unique, le modèle agit comme un modèle de dynamique générique, dont les prédictions d'état et d'action servent ensuite à calculer des valeurs spécifiques à chaque objectif, via une procédure nommée Dynamics Self-Guidance qui guide la diffusion vers des designs à haute valeur. Preuve concrète : les chercheurs ont fabriqué une version optimisée de la plateforme ALOHA, réduisant l'erreur de suivi de trajectoire de plus de 70 % par rapport au design d'origine.

L'intérêt pour le secteur tient à ce que la conception mécanique des robots reste largement découplée du contrôle et de l'apprentissage, alors que la performance en manipulation dépend fortement de l'embodiment. Un modèle capable d'optimiser en zero-shot pour des récompenses et trajectoires jamais vues, plus rapidement qu'une baseline évolutionniste, ouvre la voie à des cycles de co-conception matériel-logiciel beaucoup plus rapides pour les intégrateurs et les fabricants de bras ou de plateformes bimanuelles. C'est un signal supplémentaire que les architectures de type transformer/diffusion, déjà dominantes pour les politiques VLA, s'étendent maintenant à la conception physique elle-même, et pas seulement au contrôle.

Le travail s'inscrit dans la lignée de la recherche sur la co-conception robotique, historiquement dominée par des algorithmes évolutionnistes coûteux en calcul et spécifiques à une seule récompense. ALOHA, plateforme bimanuelle open source popularisée par les travaux de Stanford et Google, sert ici de banc d'essai matériel concret plutôt que de simple simulation. Le papier ne précise pas de calendrier de déploiement industriel ni de partenaire, il s'agit à ce stade d'un résultat de recherche fraîchement publié, dont la portée reste à confirmer sur des espaces de conception plus larges.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Skel-WAM : un modèle du monde conditionné par le squelette de la main pour le transfert humain-robot
1arXiv cs.RO 

Skel-WAM : un modèle du monde conditionné par le squelette de la main pour le transfert humain-robot

Des chercheurs ont publié le 21 septembre 2026 sur arXiv (référence 2609.21514) Skel-WAM, un « world action model » qui transfère des démonstrations de manipulation filmées sur des humains vers le contrôle de robots, via une interface commune de squelette de main combinant superpositions squelettiques et points-clés 2.5-D. Un Video Expert et un Keypoint Expert apprennent conjointement la dynamique visuelle et squelettique dans une architecture Mixture-of-Transformers, tandis qu'un Action Expert entraîné uniquement sur des données robot traduit ces prédictions en commandes exécutables, sans nécessiter d'étiquettes d'action sur les vidéos humaines. Sur quatre tâches bimanuelles réelles et sept tâches simulées, le système atteint des taux de réussite moyens de 79,86 % et 63,29 %, devançant la meilleure référence de 22,22 et 8,28 points de pourcentage respectivement. Le co-entraînement humain-robot fait passer la réussite réelle sur des variantes de tâches absentes des données d'entraînement robot de 38,89 % à 86,11 %. Ce résultat s'attaque à un goulot d'étranglement bien connu de la robotique manipulatrice : les démonstrations robot par téléopération sont coûteuses et couvrent mal la diversité des situations réelles, alors que la vidéo humaine est abondante mais souffre d'un écart d'incarnation entre corps humain et bras robotique. En montrant qu'un espace squelettique partagé suffit à superviser conjointement des données humaines et robotiques sans étiquette d'action, l'approche offre aux intégrateurs et laboratoires un moyen concret d'étendre la couverture de tâches d'une politique sans multiplier les campagnes de téléopération. Le bond observé sur les tâches inédites à l'entraînement robot, plus de 47 points grâce au cotraining, suggère que la vidéo humaine comble des trous de distribution plutôt que de simplement gonfler le volume de données, un argument concret dans le débat sur le passage à l'échelle des modèles vision-langage-action. Ces travaux s'inscrivent dans une recherche active sur les world models et les architectures vision-langage-action, où l'écart entre démonstrations humaines et robotiques freine l'apprentissage par imitation à grande échelle. Il s'agit d'une publication arXiv récente, sans mention de revue par les pairs à ce stade, évaluée sur un périmètre restreint de laboratoire, ce qui invite à la prudence avant d'extrapoler ces chiffres à un déploiement industriel. L'article ne nomme aucune entreprise ni plateforme robotique commerciale et ne fixe aucun calendrier de transfert vers un produit ; la contribution reste pour l'instant méthodologique, mais elle rejoint un corpus croissant de travaux cherchant à exploiter la vidéo humaine comme source de données complémentaire pour entraîner des robots manipulateurs généralistes.

RecherchePaper
1 source
De la langue au mouvement : intégration de trajectoires par pile focale conditionnée par la tâche pour robots microscopiques
2arXiv cs.RO 

De la langue au mouvement : intégration de trajectoires par pile focale conditionnée par la tâche pour robots microscopiques

Des chercheurs décrivent, dans un preprint arXiv (2610.12241v1), un cadre qui relie une instruction en langage naturel à des trajectoires physiques pour des robots microscopiques. Le système traduit la consigne en opérateurs géométriques contraints. Il réutilise une perception « open-vocabulary » figée, sans réentraînement. Il n'agrège pas les images : il intègre des trajectoires 2D extraites plan par plan dans une pile focale, là où chaque plan est localement net. Cette intégration repose sur une pondération par confiance et sur la programmation dynamique. Une géométrie multi-vues calibrée convertit ensuite les chemins 2D en exécution physique. Les tests de reconfiguration (changement de prompt, pièces jamais vues, géométrie modifiée) donnent une erreur quadratique moyenne (RMSE) de 6,30 à 6,59 pixels. La configuration « zéro nouvelle annotation » demande 15 minutes de mise en place. Un U-Net spécifique à chaque pièce, entraîné avec 20 à 100 annotations, en demande entre 72 et 165. Sur neuf combinaisons pièce/éclairage, l'intégration dans l'espace des trajectoires fait passer le RMSE de 14,41 à 6,28 pixels (-56,4 %) par rapport à la fusion multi-focus classique, qui construit d'abord une image nette. L'erreur au 95e percentile baisse de 20,07 à 8,13 pixels (-59,5 %). Une ablation isole l'apport de la confiance et celui de la sélection chemin par chemin. Dans des expériences robotiques jugées représentatives par les auteurs, la couverture de la région cible passe de 83,5 % à 92,9 %. La tâche de démonstration est la dépose de fluide (dispensing), qui laisse une trace physique mesurable. Les auteurs précisent que ce choix ne limite pas la méthode à cette tâche. L'intérêt tient à l'ordre des opérations. En microscopie robotisée, la profondeur de champ très faible oblige à fusionner plusieurs plans focaux, et les artefacts de cette fusion se propagent jusqu'à la commande. Extraire le chemin avant de fusionner évite ce biais. Le gain de temps de mise en service, de plusieurs heures à un quart d'heure, concerne directement les intégrateurs d'assemblage de précision, par exemple l'optique, les microsystèmes ou l'électronique, où chaque référence de pièce impose aujourd'hui de réannoter des données. Il faut toutefois lire ces chiffres avec prudence. Les erreurs sont exprimées en pixels, sans conversion en microns dans le résumé. Aucune mesure de débit, de temps de cycle ou de fiabilité en production n'est annoncée. Neuf conditions de test et des expériences « représentatives » ne constituent pas une validation industrielle. La comparaison avec le U-Net porte sur le temps de préparation, pas sur la précision finale. Ce travail s'inscrit dans la tendance qui consiste à réutiliser des modèles de perception pré-entraînés plutôt qu'à réentraîner par tâche, déjà dominante en manipulation macroscopique avec les modèles vision-langage-action (VLA). Il l'applique à l'échelle micro, où la géométrie et la mise au point sont des contraintes dures. Il s'agit d'un preprint de recherche, sans produit, sans partenaire industriel ni calendrier de déploiement annoncés. Les prochaines étapes à surveiller sont la validation sur d'autres tâches que la dépose de fluide, l'expression des erreurs en unités physiques et la reproduction par des tiers.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
SPECTRA : primitives de mouvement spectrales conditionnées par le contexte pour la généralisation des compétences robotiques
3arXiv cs.RO 

SPECTRA : primitives de mouvement spectrales conditionnées par le contexte pour la généralisation des compétences robotiques

Des chercheurs proposent SPECTRA (Spectral Movement Primitive, SMP), un framework d'apprentissage par imitation dans le domaine fréquentiel pour la manipulation robotique, décrit dans un article publié sur arXiv (2607.06978v1). Le principe consiste à représenter les démonstrations de trajectoire par des coefficients de Fourier tronqués sur horizon fini, plutôt que par des points temporels bruts. Une bande de fréquences basses, sélectionnée empiriquement, capture la géométrie dominante du mouvement, tandis que les harmoniques plus élevées, responsables d'une croissance disproportionnée des dérivées (vitesse, accélération, jerk), sont écartées. Un modèle GMM/GMR (mélange de gaussiennes avec régression) conditionné par le contexte et sensible au référentiel prédit les coefficients de la bande de tâche dans un repère canonique ; la trajectoire cartésienne obtenue est ensuite convertie en espace articulaire via cinématique inverse séquentielle. Un régulateur couplé en phase limite la progression temporelle demandée sans toucher aux coefficients spectraux, imposant ainsi les limites de vitesse et d'accélération articulaires tout en conservant le chemin de l'effecteur. Les auteurs valident l'approche sur plusieurs critères (reconstruction de la bande de tâche, robustesse à des démonstrations corrompues, généralisation hors distribution entre repères non vus, admissibilité dynamique en espace articulaire, préservation du chemin) et un déploiement réel sur un bras Franka Panda. Le problème que cible SPECTRA est concret pour tout intégrateur en apprentissage par imitation : les pipelines classiques apprennent une trajectoire en espace de tâche puis lui imposent après coup des limites d'exécution (filtrage, lissage, écrêtage, mise à l'échelle temporelle), ce qui déforme souvent le chemin de l'effecteur jugé critique pour la tâche, par exemple lors d'un versement, d'une insertion de pièce ou du suivi d'un contour précis. En couplant génération de trajectoire et régulation dynamique dès la conception, dans le domaine fréquentiel, SPECTRA évite cette distorsion a posteriori : les résultats rapportés montrent une réduction substantielle des violations dynamiques et du jerk, tout en préservant le chemin voulu pendant la régulation de phase. Pour la robotique industrielle, où les cycles de préhension et d'insertion tolèrent mal les à-coups mécaniques, cela offre une alternative aux primitives de mouvement dynamiques (DMP) classiques et aux méthodes de lissage a posteriori. Les primitives de mouvement existent depuis les Dynamic Movement Primitives (DMP), introduites il y a une vingtaine d'années et largement utilisées en apprentissage par imitation pour encoder des trajectoires robustes et reproductibles. SPECTRA s'en démarque en travaillant dans le domaine fréquentiel plutôt que temporel, et en couplant explicitement génération de tâche et contraintes d'exécution articulaire plutôt que de les traiter séparément. Le choix du Franka Panda comme plateforme de validation, un bras collaboratif conçu par l'allemand Franka Robotics (ex Franka Emika) très utilisé en recherche académique, ancre les travaux dans l'écosystème européen de manipulation robotique. L'article ne mentionne ni calendrier de transfert industriel ni partenariat commercial : il s'agit à ce stade d'une contribution de recherche évaluée en laboratoire, dont la suite logique serait une validation sur des tâches de manipulation plus complexes et une comparaison directe avec les approches DMP existantes.

UEImpact indirect: la validation s'appuie sur un bras Franka Panda, plateforme concue par l'allemand Franka Robotics, mais aucun partenariat, financement ou deploiement commercial en France/UE n'est mentionne.

RecherchePaper
1 source
TacBPM : un modèle a priori comportemental conditionné par le tact pour la réorientation dextérique
4arXiv cs.RO 

TacBPM : un modèle a priori comportemental conditionné par le tact pour la réorientation dextérique

Une équipe de recherche en robotique propose TacBPM, un modèle de prior comportemental conditionné par le toucher destiné à la manipulation dextre en main, selon un article publié sur arXiv (référence 2609.18174) en septembre 2026. Le système cible la réorientation d'objets par une main robotique à haut nombre de degrés de liberté, un problème connu pour exiger une coordination fine des doigts lors de contacts intermittents. La méthode distille plusieurs "spécialistes sphère" opérant à différentes échelles dans un contrôleur latent unique, que les politiques en aval réutilisent ensuite via des actions latentes résiduelles plutôt que de repartir de zéro sur les commandes articulaires brutes. Ce prior se conditionne sur l'historique tactile et proprioceptif de la main, ce qui lui permet d'adapter le comportement latent à l'état réel du contact avec l'objet. Les auteurs testent l'approche sur trois scénarios : le transfert vers des poses cibles arbitraires sur des objets anisotropes, la rotation autour d'un axe commandé, et une tâche combinée bras-main baptisée Grasp-to-AnyPose, où le robot doit saisir, soulever, transporter puis positionner des outils de géométries inédites vers des emplacements généralisés. L'intérêt principal pour les acteurs de la robotique tient à la comparaison directe avec l'apprentissage par renforcement classique : les auteurs indiquent qu'un PPO entraîné sur actions brutes reste proche de l'échec sur ces tâches, alors que leur prior tactile accélère l'entraînement et produit des politiques stables. C'est un signal utile dans un secteur où la manipulation dextre en main reste l'un des goulots d'étranglement les plus tenaces des mains robotiques et humanoïdes, loin derrière la locomotion en maturité. Le résultat appuie l'idée que conditionner les politiques sur des signaux tactiles riches, plutôt que sur la seule proprioception articulaire, aide à généraliser à des géométries et poses non vues, un enjeu clé pour les intégrateurs visant des tâches d'assemblage ou de tri à objets variables. Il s'agit toutefois d'un travail de recherche évalué majoritairement en simulation, avec une validation sim-to-real limitée à des démonstrations sur banc en laboratoire pour les tâches en main et bras-main, et non d'un produit ou d'un déploiement industriel. L'abstract ne précise ni l'institution porteuse ni les auteurs, et ne fournit aucun chiffre de payload, de temps de cycle ou de coût, ce qui invite à la prudence avant d'extrapoler des performances au-delà du cadre expérimental décrit.

RecherchePaper
1 source