Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
EAGG : génération de saisie alignée sur l'embodiment par conditionnement géométrique sur graphe
RecherchearXiv cs.RO 

EAGG : génération de saisie alignée sur l'embodiment par conditionnement géométrique sur graphe

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent EAGG (Embodiment-Aligned Grasp Generation via Geometry-Aware Graph Conditioning), un modèle de génération de prises robotiques multi-effecteur publié en prépublication sur arXiv (arXiv:2506.18092). L'architecture représente chaque effecteur terminal via un graphe topologique et un espace de contrôle bas-dimensionnel propre à chaque morphologie, qu'il s'agisse de pinces parallèles classiques ou de mains dextères à plusieurs doigts. Un module backbone figé convertit l'état articulé courant en tokens géométriques réutilisables, qui sont rafraîchis de façon itérative tout au long du processus d'échantillonnage via un mécanisme baptisé iterative geometry injection. Sur le benchmark MultiGripperGrasp, EAGG atteint 56,17 % de taux de succès moyen sur six effecteurs d'entraînement, soit un écart de seulement 1,10 point de pourcentage par rapport à des modèles spécialisés entraînés séparément pour chaque préhenseur. L'injection géométrique itérative réduit par ailleurs la distance médiane de contact de 0,239 cm à 0,189 cm. Le code est disponible en open source sur GitHub.

Ce résultat s'attaque à l'un des verrous les plus concrets pour les intégrateurs industriels : la nécessité de réentraîner ou d'affiner un modèle de saisie à chaque changement de préhenseur. L'approche dominante consiste aujourd'hui soit à entraîner un modèle par géométrie d'effecteur (coûteux en données et en compute), soit à encoder l'identité de l'effecteur via un descripteur statique, ce qui dégrade le transfert dès que la topologie ou le couplage d'actionnement diverge significativement. EAGG montre qu'encoder explicitement la structure morphologique dans un générateur partagé, plutôt que de masquer les différences inter-effecteurs, améliore à la fois la performance générale et la transférabilité zero-shot vers des préhenseurs non vus lors de l'entraînement. C'est un argument de poids pour les équipes robotiques cherchant à mutualiser les politiques de saisie sur une flotte multi-effecteurs.

Ce travail s'inscrit dans la dynamique plus large de politiques robotiques universelles que poursuivent simultanément Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, ou Figure AI avec Helix, tous confrontés au même défi de transfert inter-morphologie. EAGG se concentre sur le sous-problème de la saisie et propose une solution fondée sur les graphes, là où d'autres approches misent sur des encodages continus ou des plongements latents partagés. Il s'agit pour l'instant d'une contribution académique sans déploiement industriel annoncé ni partenariat applicatif déclaré, et les chiffres de performance sont à lire dans le cadre contrôlé du benchmark MultiGripperGrasp, ce qui laisse ouverte la question du sim-to-real gap en conditions réelles.

Dans nos dossiers

FigureNVIDIA GR00TPhysical Intelligence — π0Manipulation robotique

À lire aussi

Attention-DP3 : politique de diffusion 3D avec conditionnement attentionnel aligné sur la géométrie
1arXiv cs.RO 

Attention-DP3 : politique de diffusion 3D avec conditionnement attentionnel aligné sur la géométrie

Attention-DP3, présenté dans un article publié sur arXiv (2609.13318v1), conserve telle quelle l'architecture de diffusion de DP3 (3D Diffusion Policy), une référence pour l'apprentissage par imitation à partir de nuages de points, et lui ajoute un conditionnement attentionnel objet-centré. Le pipeline segmente d'abord les images RGB en vocabulaire ouvert, projette les masques obtenus en 3D via la géométrie de caméra calibrée pour produire des indices géométriques propres à l'objet visé, puis les injecte via un conditionnement dit "tri-champ" combinant trois cartes: un champ de ciblage pour localiser l'objet, un champ de saillance intra-cible pour isoler sa géométrie utile à la tâche, et un champ d'arrière-plan pour supprimer distracteurs et encombrement. La méthode est testée sur les bancs d'essai simulés Adroit, DexArt et MetaWorld ainsi que sur un bras robotique réel SO101, plateforme low-cost associée à l'écosystème open-source LeRobot. Elle dépasse systématiquement DP3 et atteint l'état de l'art sur l'ensemble des benchmarks, avec un écart grimpant jusqu'à 31% en scène fortement encombrée, là où DP3 voit ses performances chuter nettement dès que le nombre de distracteurs augmente. Le code est publié en accès libre sur GitHub (zhangzhongbo2213/Attention-DP3). Le travail s'attaque à une faiblesse connue des politiques de diffusion 3D: un nuage de points reste ambigu dès qu'un objet est partiellement occlus ou mêlé à des distracteurs visuellement proches, une situation courante en bin picking ou en kitting industriel, loin des scènes épurées des démonstrations académiques. Pour les équipes déjà construites autour de DP3, l'intérêt tient au fait que le gain de robustesse provient d'un module ajouté en amont, sans changer le backbone ni exiger de données d'entraînement supplémentaires, ce qui en ferait une mise à niveau relativement peu coûteuse. Le résultat nuance aussi le narratif dominant autour des modèles VLA en image 2D comme Pi-0 ou GR00T N2, en montrant qu'un ancrage géométrique explicite peut traiter une partie du problème de généralisation en environnement encombré, plutôt que la seule mise à l'échelle des données. La validation reste toutefois académique, limitée à trois simulateurs et un seul bras réel low-cost, sans déploiement industriel annoncé. DP3 s'est imposé ces dernières années comme une base de référence pour l'apprentissage de politiques visuomotrices à partir de nuages de points, en parallèle des modèles VLA fondés sur l'image RGB comme Pi-0, GR00T N2 ou Helix, qui concentrent l'essentiel de l'attention médiatique dans la course humanoïde. Attention-DP3 s'inscrit dans une lignée de travaux cherchant à combler l'écart entre la richesse sémantique de la perception 2D et la pauvreté contextuelle de la géométrie 3D brute, en s'appuyant sur la segmentation ouverte pour ancrer les priors géométriques. Aucun partenaire industriel ni pilote commercial n'est annoncé: les auteurs se limitent à publier le code sur GitHub, laissant aux équipes de recherche et aux intégrateurs le soin de reproduire les résultats et de les valider sur d'autres plateformes que le bras SO101 utilisé pour la démonstration réelle.

RecherchePaper
1 source
GraspGraphNet : génération de préhensions dextériques multi-embodiment par graphe structuré
2arXiv cs.RO 

GraspGraphNet : génération de préhensions dextériques multi-embodiment par graphe structuré

Trois chercheurs (le papier ne précise pas l'affiliation dans le résume) publient GraspGraphNet, un framework de génération de prises dexteres capable de fonctionner sur plusieurs mains robotiques différentes a partir d'un seul modèle. Chaque main est représentée comme un graphe cinématique dérivé directement de son fichier URDF, ce qui permet au système de générer directement des poses de paume et des configurations articulaires exécutables, sans étape de retargeting ni de résolution de cinématique inverse en post-traitement. L'architecture combine un encodage hiérarchique de la surface de l'objet, une cinématique directe différentiable et un mécanisme de message passing dynamique sur les arêtes reliant robot et objet, le tout pilote par du conditional flow matching applique directement dans l'espace des poses et des états articulaires. Entraine conjointement sur trois mains aux morphologies très différentes (Barrett Hand, Allegro Hand, Shadow Hand), le modèle partage atteint un taux de réussite moyen de 83,48% sur un benchmark de 40 objets, avec un temps d'inférence de seulement 40 millisecondes par prise. L'intérêt principal tient a la généralisation inter-mains sans reentrainement: applique sans adaptation a des variantes de mains avec des doigts retires, le même modèle conserve 72,70% de réussite. Pour l'industrie de la manipulation robotique, cela s'attaque a un vrai point de friction: la génération de prises est aujourd'hui largement spécifique a chaque main, obligeant intégrateurs et laboratoires a entrainer ou retarger un modèle par type de pince ou de main dexterement différente. Un modèle unique capable de s'adapter a la topologie cinématique réduirait le cout d'ingénierie a chaque changement de matériel. Ces chiffres restent toutefois issus d'un benchmark contrôle en simulation ou en laboratoire, pas d'un déploiement industriel réel, et méritent d'être confirmes a plus grande échelle et sur du matériel varie. Le problème adresse ici, la différence de topologie cinématique, de dimensions d'actionnement et d'espaces de commande natifs entre mains robotiques, est un frein connu a la généralisation en manipulation dexterement, un peu comme les modèles VLA généralistes (Pi-0, GR00T N2, Helix) cherchent a généraliser le contrôle corps entier plutôt que la seule prise. GraspGraphNet se positionne comme une brique complémentaire, focalisée sur la prise plutôt que sur la politique complète, et les auteurs annoncent une page projet pour la suite des travaux, sans calendrier de déploiement précise a ce stade.

RecherchePaper
1 source
ACG-WAM : modélisation monde-action par prédiction latente géométrique conditionnée par l'action
3arXiv cs.RO 

ACG-WAM : modélisation monde-action par prédiction latente géométrique conditionnée par l'action

Des chercheurs de l'équipe RoboOpus publient ACG-WAM, un modèle « monde-action » (World Action Model, WAM) qui apprend conjointement la prédiction visuelle et les actions du robot. Le travail ajoute un objectif auxiliaire baptisé ACG-JEPA (Action-Conditioned Geometric Joint-Embedding Predictive Architecture). À partir de l'observation courante et des actions intermédiaires, il prédit des caractéristiques géométriques à plusieurs horizons temporels. La cible vient d'un encodeur VGGT gelé, dont on utilise le « slot futur » pour chaque paire d'images courante et future. La supervision s'applique aux caméras tête et poignet, sur un embedding visuel partagé placé avant le mélange temporel. Le teacher et les modules auxiliaires sont retirés à l'inférence, donc le coût d'exécution ne change pas. Sur 50 tâches RoboTwin 2.0, ACG-WAM atteint 93,46 % de succès en scènes propres. Il obtient le meilleur score en scènes randomisées (92,68 %) et la meilleure moyenne sur les deux réglages (93,07 %) parmi les méthodes comparées. Sur robot réel, avec trois tâches, il atteint 85,00 % de succès et 91,67 % de score de complétion partielle. Il dépasse Motus de 10,00 et 9,17 points de pourcentage. Le code et un site de projet sont publiés. Les WAM entraînent leurs pertes vidéo et action sans cible explicite pour les conséquences géométriques d'une séquence d'actions démontrée. Le modèle peut donc prédire des pixels plausibles sans bien représenter ce que le geste a changé dans l'espace 3D. Les auteurs relèvent aussi un défaut de conception : les features visuelles prises après l'attention temporelle peuvent contenir des informations sur le futur. Elles ne conviennent donc pas comme seule entrée visuelle courante d'un prédicteur auxiliaire. Le choix de supervision avant le mélange temporel répond à cette fuite. L'intérêt pratique est que la supervision géométrique n'est utilisée qu'à l'entraînement et n'alourdit pas le modèle déployé. Pour un intégrateur, cela suggère un gain de robustesse sans surcoût d'inférence. Il faut toutefois nuancer. Le banc d'essai principal est simulé. La validation réelle reste mince, avec trois tâches et un nombre d'essais non précisé dans le résumé. Un écart de 10 points face à Motus est encourageant mais statistiquement fragile à cette échelle. Le résultat ne dit pas non plus si le gain tient hors de la distribution d'entraînement. Ce travail s'inscrit dans la montée des politiques qui combinent modélisation du monde et contrôle, avec Motus comme référence directe. Il reprend aussi l'idée JEPA, qui prédit dans un espace latent plutôt qu'en pixels, et s'appuie sur VGGT pour fournir une géométrie 3D de référence. RoboTwin 2.0 est devenu un banc d'essai bimanuel courant, ce qui rend les comparaisons possibles mais expose au risque de saturation, avec des scores déjà proches de 93 %. La prochaine étape à surveiller est une évaluation réelle plus large, avec plus de tâches et d'essais, puis une comparaison avec les grands VLA généralistes du marché. Aucun pilote industriel ni calendrier de déploiement n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
VISTA : navigation visuelle à l'échelle par conditionnement sur l'historique d'actions
4arXiv cs.RO 

VISTA : navigation visuelle à l'échelle par conditionnement sur l'historique d'actions

VISTA, un nouveau modèle de navigation visuelle présenté en preprint (arXiv:2606.17294), s'attaque à une faille structurelle identifiée dans les Vision Navigation Foundation Models (VNMs) actuels : la normalisation des actions prédites. Lorsqu'un VNM produit des trajectoires normalisées, l'application d'un facteur d'échelle différent selon le robot ou l'environnement déforme la géométrie physique de la trajectoire, ce qui dégrade les performances de navigation et augmente les risques de collision. Pour corriger cela, VISTA conditionne ses prédictions sur l'historique normalisé des actions exécutées, en parallèle des observations visuelles, offrant au modèle un contexte explicite sur la relation entre ses sorties et le déplacement physique réel du robot. Le modèle intègre également un encodeur DINOv3, dont les représentations plus riches permettent de mieux discriminer les environnements visuellement répétitifs (couloirs, entrepôts) où les VNMs classiques peinent à se localiser. En déploiement zéro-shot dans trois environnements réels (extérieur, forêt, bureau), VISTA affiche 100 % de précision dans la prédiction des objectifs et un taux moyen de 95 % de points de passage atteints. Ce résultat éclaire un angle mort largement sous-estimé dans le déploiement des politiques de navigation généralisées : l'invariance à l'échelle. Un modèle entraîné sur une flotte homogène peut échouer sur un robot dont la calibration diffère légèrement, sans qu'aucun défaut de l'architecture ne soit en cause. VISTA propose une correction légère mais systémique, applicable sans ré-entraînement, ce qui représente un avantage concret pour les intégrateurs qui déploient des politiques de navigation sur des flottes hétérogènes. Les résultats à 100 % méritent toutefois d'être nuancés : ils portent sur trois environnements seulement, et le terme "zéro-shot" désigne ici l'absence de fine-tuning spécifique aux sites de test, non une absence totale de données d'entraînement supervisé. VISTA s'inscrit dans la montée en puissance des modèles de navigation généraux, portée ces deux dernières années par des travaux comme NoMaD (CMU/Berkeley, 2023) ou GNFactor, qui cherchent tous à produire une politique de déplacement transférable sans adaptation manuelle. L'usage de DINOv3 suit une tendance nette : les encodeurs de la famille DINOv2/v3 (Meta FAIR) s'imposent progressivement comme backbone de référence pour les tâches nécessitant une compréhension géométrique fine de l'environnement. Le preprint ne mentionne ni partenaires industriels ni timeline de commercialisation ; il s'agit à ce stade d'une contribution académique, sans annonce de déploiement à grande échelle.

RechercheOpinion
1 source