RecherchearXiv cs.RO 2 octobre 2026

Attention à vis : l'algèbre des corps rigides au cœur d'un Transformer

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (2610.00904) « Screw Attention », une couche de transformer qui intègre l'algèbre de la mécanique des corps rigides dans le mécanisme d'attention. Chaque token représente un corps doté d'une pose. Chaque paire de tokens porte la pose relative et, pour les articulations du robot, le « screw » (vissage) de la liaison, c'est-à-dire son torseur cinématique. La relation entre deux corps n'est donc plus une arête de graphe mais une transformation spatiale. Les messages sont transportés le long de cette relation jusque dans le repère du récepteur, tandis que les scores d'attention ne voient que des quantités invariantes au changement de repère. Les messages sont ainsi équivariants à un changement de repère indépendant à chaque token, et une seule couche peut exprimer la récurrence de vitesses de la mécanique des corps rigides. Sur LIBERO-Spatial, en simulation et à partir des poses d'objets seules (sans images ni langage), une version de 16 162 paramètres atteint 97,3 % de succès, au-dessus d'un réseau plat comptant 27 fois plus de paramètres. Si l'on change la convention de repère par maillon, son taux de succès ne bouge pas, alors que tous les autres réseaux appris tombent sous 3 %. Posée en résidu à porte sur un contrôleur analytique, la couche ajoute 17,3 points de succès en insertion. Elle reste insensible à un bruit de pose jusqu'à 10 mm et à des décalages articulaires restant dans la calibration d'usine d'un bras Franka. Le code et les politiques entraînées doivent être publiés, mais ne le sont pas encore.

L'enjeu est celui de l'efficacité en données et de la robustesse. Les politiques de manipulation apprises, y compris les VLA (vision-langage-action) actuels, réapprennent à partir de données massives des relations spatiales que la mécanique fournit en forme close, ce qui coûte cher en démonstrations et les rend fragiles face à un changement de géométrie de la scène. Le résultat sur les conventions de repère est le plus parlant pour un intégrateur : une politique qui s'effondre quand on redéfinit les axes d'un maillon est peu transférable d'un robot ou d'un outil à l'autre. La tolérance au décalage de calibration d'un Franka répond à une préoccupation concrète de déploiement. Les auteurs en tirent un critère : la géométrie est décisive lorsque la tâche exige des relations entre repères qu'aucune autre partie du système ne fournit. Cela suggère que l'échelle n'est pas la seule voie, et que des biais inductifs bien choisis peuvent remplacer des paramètres.

Il faut toutefois relativiser. Les résultats sont uniquement simulés, sur des benchmarks où l'état est donné sous forme de poses d'objets. Les 97,3 % ne disent donc rien de la perception, du langage ni du contact réel, et la comparaison porte sur des réseaux de même taille ou plus gros, non sur des VLA de pointe comme Pi-0 ou GR00T. Ce travail prolonge les architectures équivariantes (SE(3)-transformers, réseaux de graphes pour la manipulation) et la mécanique spatiale à la Featherstone, qu'il loge dans l'attention. Ce n'est pour l'instant qu'un préprint, sans pilote ni calendrier. La suite dépendra de la publication du code et d'un test sur robot physique, avec perception intégrée.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Transformeur de navigation visuelle à attention de pose

Une équipe de recherche a publié le 21 septembre 2026 sur arXiv, sous la référence 2609.21212, VNT-PA (Visual Navigation Transformer with Pose Attention), un planificateur de navigation robotique dont le contexte visuel, un ensemble d'images de profondeur, est indexé par la pose de la caméra plutôt que par l'ordre temporel des observations: l'attention du transformeur dépend ainsi des écarts de position entre les prises de vue, pas de leur chronologie. Entraîné par imitation d'un planificateur de plus court chemin calculé sur le maillage exact de la scène, il prédit ses actions à partir de sa seule pose courante et de la position de l'objectif. Sur la navigation vers un point cible dans les scènes de validation du jeu de données HM3D, VNT-PA atteint 93,3% de réussite et un score SPL, la réussite pondérée par la longueur du trajet, de 90,4%, devançant les modèles qui codent le même contexte en séquence temporelle ou traitent la pose comme une simple donnée d'entrée, aussi bien en performance qu'en efficacité d'entraînement. Cette méthode répond à une limite connue des politiques de navigation apprises: leur difficulté à réutiliser l'expérience de traversées antérieures d'un même lieu sans construire une carte ou un graphe topologique explicite, coûteux à maintenir et sensible au bruit. En indexant le contexte par pose plutôt que par le temps, VNT-PA permet de fusionner au moment du test des images issues de trajectoires différentes, et se dégrade plus progressivement qu'un planificateur appuyé sur une carte explicite lorsque la localisation devient bruitée, un point sensible pour tout déploiement réel où l'odométrie n'est jamais parfaite. Pour les concepteurs de robots mobiles et d'AMR, le résultat suggère qu'un historique d'observations horodaté par la pose peut servir directement de représentation d'environnement, sans module de cartographie dédié, tout en accélérant l'entraînement sur des horizons de navigation longs. Ces travaux prolongent deux familles de méthodes de navigation visuelle par apprentissage: les transformeurs à encodage temporel, peu aptes à réutiliser l'expérience passée, et les systèmes à carte ou graphe topologique explicite, plus robustes à la réutilisation mais coûteux à construire. VNT-PA se compare directement aux deux approches sur le même protocole HM3D, y compris à une variante où la pose est simplement ajoutée comme caractéristique d'entrée plutôt qu'utilisée comme encodage positionnel de l'attention, ce qui isole précisément l'apport de la méthode. Publié comme préprint sur arXiv, le travail reste à ce stade une contribution validée en simulation, sans portage annoncé vers un robot physique ni partenariat industriel.

RecherchePaper

1 source

2arXiv cs.RO

EgoHumanoid-V2 : transférer à un robot humanoïde des compétences coordonnées du corps entier en locomanipulation, à partir de l'humain

Des chercheurs publient EgoHumanoid-V2 (arXiv 2609.37181), un cadre de transfert de compétences d'un humain vers un robot humanoïde à partir de vidéos égocentriques, c'est-à-dire filmées depuis le point de vue de l'opérateur. Il vise la loco-manipulation coordonnée du corps entier, où la marche et l'usage des bras sont planifiés ensemble. Son cœur est un alignement d'actions « du grossier au fin ». Une première étape corrige la référence cinématique. Une seconde affine le résultat en tenant compte de la dynamique, ce qui améliore la précision de pose de l'effecteur final tout en préservant la coordination corps entier. Pour réduire l'écart visuel entre l'humain et le robot, l'équipe ajoute un rendu du bras robotique dans les images humaines, ainsi qu'une augmentation d'images à l'entraînement pour gagner en robustesse au changement de point de vue. Sur quatre tâches réelles, des politiques VLA (vision-langage-action) entraînées sur ces données humaines alignées réalisent un transfert « zéro-shot », sans aucune démonstration robot sur la tâche cible. Les scores sont annoncés comme comparables à ceux de politiques entraînées par téléopération, pour un coût de collecte plus faible. Le résumé ne donne ni le robot utilisé, ni le nombre de démonstrations, ni le coût chiffré. L'enjeu est d'abord économique. La téléopération reste le principal goulot d'étranglement des politiques humanoïdes : elle exige des robots, des opérateurs formés et du temps machine, et ses volumes plafonnent bien en dessous de ce que réclame un modèle généraliste. Filmer des humains est bien moins cher et couvre une diversité de scènes que aucun parc de robots ne peut reproduire. Si le résultat se confirme, il indique que la donnée humaine peut servir de supervision directe de compétences, et non plus seulement de préentraînement de la perception. Pour un intégrateur, cela ouvrirait la voie à des compétences apprises sur site sans mobiliser de robot. Il faut toutefois rester prudent : quatre tâches, une comparaison « comparable » sans écart chiffré dans le résumé, et un article en version préliminaire (v1) qui n'a pas passé de relecture par les pairs. Rien ne dit non plus que ces scores tiennent hors du laboratoire, sur des cadences industrielles. Ce travail prolonge une première génération de méthodes égocentriques qui misait surtout sur la généralisation de scènes, avec un contrôle découplé entre locomotion et manipulation, ce qui laissait de côté les compétences corps entier coordonnées. Il s'inscrit dans une course plus large à la donnée humaine : les grands acteurs des modèles fondation humanoïdes, comme Figure avec Helix, NVIDIA avec GR00T ou Physical Intelligence avec Pi-0, cherchent tous à réduire leur dépendance à la téléopération, par la simulation, la vidéo humaine ou les deux. Aucun déploiement ni calendrier commercial n'est annoncé ici, il s'agit d'une contribution de recherche. La suite logique serait un test sur davantage de tâches et de morphologies, avec des comparaisons chiffrées de coût et de performance face à la téléopération.

RecherchePaper

1 source

3arXiv cs.RO

Prédire la dynamique des câbles grâce à un biais d'attention physique

Des chercheurs proposent, dans un preprint arXiv (2610.11975v1), d'ajouter un biais d'attention physique à des simulateurs appris de câbles, ou objets linéaires déformables (DLO). Le biais est un terme additif appliqué aux logits d'attention, avec un taux appris. Il pose une question précise : quelle distance doit-il utiliser ? Un câble en possède deux, qui ne coïncident que lorsqu'il est tendu. La distance curviligne, mesurée le long du câble, gouverne les forces élastiques. La distance euclidienne, mesurée dans l'espace, gouverne le contact. Les auteurs comparent quatre configurations : aucun biais, chaque distance seule, et les deux distances réparties sur des têtes d'attention distinctes. Le reste du modèle et le protocole d'entraînement restent identiques. Le code et les enregistrements par essai sont publiés sur GitHub (avihaig/dlogps). Les résultats sont nuancés. Un biais physique améliore la prédiction sur des câbles jamais vus à l'entraînement. Le gain est maximal quand l'attention est le seul mécanisme reliant des segments éloignés : le biais curviligne réduit alors l'erreur de prédiction de 15 % et divise par plus de deux la dérive de longueur des segments. Le biais euclidien seul reste proche de l'attention sans biais. L'attribution des deux distances à des têtes différentes donne le meilleur résultat, ou un résultat proche du meilleur, sur toutes les métriques rapportées. Le papier ne chiffre pas ce dernier gain dans son résumé, et les 15 % ne valent que dans la configuration où l'attention est le seul lien entre segments distants. L'enjeu dépasse l'académique pour qui manipule des câbles en production : harnais automobiles, câblage d'armoires électriques, assemblage de faisceaux. Ces tâches restent difficiles à automatiser, car le câble se déforme, se replie et entre en contact avec lui-même. Un simulateur appris stable sur de longues séquences et capable de généraliser à des câbles inconnus réduirait le fossé entre simulation et réalité, et donc le coût de génération de données pour entraîner des politiques de manipulation. Le résultat suggère aussi qu'injecter une géométrie explicite dans l'attention est plus efficace que la laisser tout découvrir. Selon les auteurs, l'essentiel de l'erreur se concentre aux contacts, soit câble contre câble, soit câble contre sol. Ce sont ces zones qu'un biais bien choisi doit corriger. Ce travail s'inscrit dans la lignée des simulateurs neuronaux à graphes, qui modélisent les objets déformables par passage de messages entre noeuds voisins. Ces approches propagent mal l'information entre segments éloignés le long du câble, ce qui explique l'intérêt de l'attention sur toutes les paires. Il s'agit ici d'une étude de recherche en simulation. Elle ne mentionne aucun déploiement industriel, ni validation sur robot réel, ni calendrier de pilote, et le résumé ne précise ni la taille des jeux de données ni les types de câbles testés. La suite logique serait un test en boucle fermée avec un robot manipulant de vrais câbles, étape qui conditionnera l'intérêt réel pour les intégrateurs.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

ValueFormer : une fonction de valeur transformer causale à étiquettes conscientes de l'étape pour les politiques vision-langage-action semi-autonomes

Des chercheurs présentent ValueFormer (arXiv:2608.02958), un transformer causal compact adossé à un backbone DINOv3 gelé qui produit, à chaque frame, deux signaux : une valeur Monte Carlo lisse (V_mc) pour l'estimation d'avantage, et une valeur binaire nette pour détecter les erreurs en direct. Les épisodes échoués reçoivent un retour succès puis décroissance, la détection s'appuyant sur des intervalles d'erreur plutôt qu'un instant unique. Sur une tâche réelle d'assemblage bimanuel de sandwichs (1427 épisodes), ce poids de critique par frame fait passer le taux de réussite de 70% à 85% (n=20, dans la marge de bruit), et un encodeur bf16 par lots divise le coût de service par 3 à 5, permettant au critique de tourner à 2 Hz avec la politique sur un seul GPU. L'enjeu souligné par les auteurs est méthodologique : une politique Vision-Language-Action entraînée par clonage comportemental échoue silencieusement, un rollout qui s'effondre ressemblant, vu des seules actions, à un rollout qui progresse normalement. Le renforcement apporterait ce signal de progrès, mais reste impraticable : l'expérience réelle sur robot coûte cher et les aliments déformables comme les ingrédients d'un sandwich résistent mal à la simulation. Un simple bit de succès ou d'échec en fin d'épisode est trop rare pour indiquer quand une trajectoire a dérapé. Le point dur, selon les auteurs, n'est pas l'architecture mais l'étiquette par frame, qui doit être dense, continue et bien structurée. Pour l'industrie, cela offre un moyen peu coûteux d'instrumenter des politiques VLA en production et de détecter les erreurs en direct sur des tâches impliquant des objets déformables, mal gérés par la simulation classique. ValueFormer s'inscrit dans la famille des politiques Vision-Language-Action, aux côtés de modèles comme Pi-0, GR00T N2 ou Helix, qui visent à généraliser le contrôle robotique à partir de démonstrations plutôt que de règles codées à la main. Le choix d'un backbone DINOv3 gelé et d'une architecture indépendante de la politique rend le critique réutilisable d'un système à l'autre, une approche modulaire plutôt qu'intégrée de bout en bout. Le papier reste un travail de recherche testé en laboratoire sur une seule tâche, avec un gain de performance mesuré sur seulement 20 essais, un résultat à confirmer avant toute généralisation.

RechercheActu

1 source