Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
GTA-2 : un cadre multi-VLM pour synthétiser des compétences de manipulation robotique via des axes de tâches ancrés
RecherchearXiv cs.RO 

GTA-2 : un cadre multi-VLM pour synthétiser des compétences de manipulation robotique via des axes de tâches ancrés

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié le 10 septembre 2026 sur arXiv un article décrivant GTA-2 (Grounded Task Axes v2), une architecture multi-VLM destinée à générer des compétences de manipulation robotique sans démonstration ni entraînement spécifique à la tâche. Le système repose sur quatre agents VLM (modèles vision-langage) spécialisés qui décomposent successivement une tâche, construisent une représentation abstraite en axes et points clés, assignent les paramètres de contrôleur puis ancrent ces éléments dans des observations RGB-D réelles. Les auteurs ont testé GTA-2 sur 14 tâches de manipulation avec un robot réel, en le comparant à la politique VLA pi_0.5 et à deux systèmes Code-as-Policies, l'un utilisant des contrôleurs à axes de tâche, l'autre des primitives robotiques classiques. En zero-shot, GTA-2 atteint un taux de réussite moyen de 73,9%, soit 31,4 points de plus que la meilleure référence testée. Avec un retour humain ciblé sur une étape défaillante, sans retoucher les étapes correctes, ce taux grimpe à 90,7%. Le projet est documenté sur gta2-project.github.io.

L'intérêt pour l'industrie tient moins à la performance brute qu'à la structure explicite du pipeline. Plutôt que de prédire des actions de bout en bout comme une politique VLA entraînée, ou de composer des primitives fixes prédéfinies par tâche, GTA-2 fige des sous-tâches sémantiques intermédiaires, points clés, axes, paramètres liés à la scène, que l'humain peut corriger étape par étape. Pour les intégrateurs, cela répond à un problème concret: les compétences génériques restent trop grossières pour capturer les décisions géométriques et de contrôle propres à chaque scène, tandis que prédéfinir un comportement par tâche ne passe pas à l'échelle. En évitant tout fine-tuning ou collecte de démonstrations propres à la tâche, l'approche promet un déploiement plus rapide sur de nouvelles tâches, au prix d'une dépendance à la qualité des VLM sous-jacents et, comme le montre l'écart entre 73,9% et 90,7%, d'une supervision humaine encore nécessaire pour fiabiliser l'exécution.

GTA-2 est la seconde itération du concept Grounded Task Axes, positionné explicitement contre deux familles d'approches dominantes du secteur: les politiques VLA de bout en bout, illustrées ici par pi_0.5, et les frameworks Code-as-Policies qui font générer du code de contrôle robotique par un modèle de langage. Il s'agit à ce stade d'un travail de recherche académique publié sur arXiv, testé en laboratoire sur des tâches réelles mais sans annonce de déploiement industriel, de partenariat ou de calendrier de commercialisation. Le code et des démonstrations vidéo sont annoncés sur la page projet dédiée, sans précision sur une éventuelle mise à disposition open source du framework complet.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

DROM : un cadre de diffusion guidé par le langage pour la manipulation robotique multi-compétences
1arXiv cs.RO 

DROM : un cadre de diffusion guidé par le langage pour la manipulation robotique multi-compétences

DROM, un cadre génératif décrit dans un préprint arXiv (v1), vise un problème classique de la manipulation robotique : apprendre à partir de peu de démonstrations des politiques robustes, capables d'enchaîner plusieurs compétences sur des tâches longues. Les auteurs utilisent des Dynamic Movement Primitives (DMP) pour multiplier un petit nombre de démonstrations expertes en jeux de données multi-compétences. Ils affirment que cela réduit la collecte de données et étend la généralisation spatiale au-delà de la zone démontrée. Le modèle prolonge Motion Planning Diffusion (MPD) avec une attention croisée conditionnée par le langage. Un seul réseau génère alors des trajectoires cohérentes pour plusieurs primitives, y compris des comportements sensibles à l'orientation, difficiles à programmer avec un planificateur classique ou un contrôleur codé en dur. Pour les tâches longues, un grand modèle de langage (LLM) découpe la demande d'un opérateur en séquence de compétences exécutables. La validation a eu lieu sur un Franka Emika Panda, un FANUC CRX25ia et en simulation MuJoCo. Selon les auteurs, DROM dépasse les références MPD et Behavior Cloning. Le résumé ne donne aucun chiffre : ni taux de réussite, ni nombre de démonstrations, ni nombre de compétences, ni temps de cycle. Les jeux de données, les environnements de simulation et le code sont publiés sur GitHub. L'intérêt tient d'abord à la combinaison de trois briques déjà connues, DMP, diffusion et LLM, dans une architecture unique et exploitable en atelier. Pour un intégrateur, la promesse est de réduire le coût de programmation et de téléopération à chaque nouvelle variante de tâche. Un opérateur pourrait piloter une cellule en langage naturel, sans écrire de trajectoires. La présence d'un FANUC CRX25ia, cobot industriel de 25 kg de charge, est un signal plus pertinent que le seul Panda, plateforme de laboratoire. Elle indique une volonté de transfert vers du matériel de production. Il faut toutefois rester prudent. Sans métriques publiées, sans précision sur le sim-to-real, sur la robustesse face aux perturbations ni sur la latence d'inférence de la diffusion, le gain sur les références reste invérifiable à ce stade. L'écart entre une démonstration de laboratoire et une cadence industrielle n'est pas comblé. Ce travail s'inscrit dans une course où dominent les modèles vision-langage-action (VLA) entraînés sur de grands volumes de données, comme Pi-0, GR00T ou Helix. DROM prend le parti inverse : un pipeline modulaire et frugal en données, où le LLM planifie et la diffusion exécute, avec des trajectoires plus interprétables. Ce compromis intéressera les cellules à faible volume et à forte variété. La suite dépendra de la reproduction par des tiers, grâce au dépôt ouvert, et d'essais sur des tâches réelles plus contraintes que celles d'un banc de test académique. Aucun pilote industriel ni calendrier n'est annoncé.

RecherchePaper
1 source
Apprentissage de compétences atomiques sémantiques pour la manipulation robotique multitâche
2arXiv cs.RO 

Apprentissage de compétences atomiques sémantiques pour la manipulation robotique multitâche

Des chercheurs ont mis en ligne une nouvelle version (v2) de leur article "Learning Semantic Atomic Skills for Multi-Task Robotic Manipulation" sur arXiv (2512.18368), présentant AtomSkill, un framework d'apprentissage par imitation pour la manipulation robotique multi-tâches. La méthode s'attaque à trois obstacles connus de l'apprentissage par démonstration à grande échelle : démonstrations sous-optimales, multi-modalité des comportements et interférences destructrices entre tâches lorsqu'un même modèle doit apprendre plusieurs compétences simultanément. AtomSkill découpe les démonstrations en compétences atomiques de longueur variable, alignées sémantiquement grâce à un objectif contrastif qui impose à la fois cohérence sémantique et cohérence temporelle, formant une bibliothèque de compétences compacte et réutilisable. La politique apprise prédit à la fois la position finale (keypose) d'une compétence et les actions immédiates, ce qui permet des transitions fluides entre compétences en fonction de la progression. Lors de l'inférence, un échantillonneur par diffusion génère des séquences de compétences plausibles, tandis que les keyposes prédites déclenchent automatiquement l'enchaînement. Les auteurs annoncent des résultats supérieurs aux méthodes de référence en imitation learning et aux approches par compétences existantes, en simulation comme en conditions réelles. L'enjeu dépasse la seule prouesse technique : la plupart des bibliothèques de compétences actuelles sont soit trop dépendantes de la structure du langage utilisé pour les décrire, soit mal alignées sémantiquement d'une tâche à l'autre, ce qui limite leur capacité à généraliser. Résoudre ce compromis conditionne directement la viabilité des politiques multi-tâches pour des applications industrielles comme le picking, l'assemblage ou la manutention, où un même robot doit enchaîner des gestes variés sans réapprentissage complet à chaque nouvelle tâche. C'est aussi un signal dans le débat actuel sur les modèles vision-langage-action (VLA) : la promesse d'une politique unique capable de généraliser à grande échelle reste difficile à tenir, et des architectures hiérarchiques par compétences comme AtomSkill pourraient constituer une alternative plus robuste que les VLA monolithiques. L'article s'inscrit dans une lignée de recherche en concurrence directe avec des approches VLA de bout en bout telles que Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. Contrairement à ces annonces industrielles très médiatisées, il s'agit ici d'une publication académique sans chiffres de benchmark détaillés ni précisions sur le matériel utilisé dans l'abstract, et sans affiliation commerciale indiquée. Les auteurs renvoient vers une page de projet (atom-skill.github.io) pour le code et les démonstrations vidéo ; la validation à plus grande échelle sur robots physiques reste, comme souvent à ce stade de publication, la prochaine étape à surveiller.

RecherchePaper
1 source
V2-STRep : représentations structurées de tâches ancrées dans un VLM pour des compétences robotiques réutilisables issues de vidéos générées
3arXiv cs.RO 

V2-STRep : représentations structurées de tâches ancrées dans un VLM pour des compétences robotiques réutilisables issues de vidéos générées

Un article publié sur arXiv (référence 2609.20582v1, mis en ligne le 18 septembre 2026) présente V2-STRep, un framework de recherche "zero-shot" qui transforme des vidéos de manipulation générées par IA en compétences robotiques réutilisables. Le principe consiste à remplacer l'enregistrement de démonstrations physiques par un robot pour chaque tâche par une vidéo synthétique, produite par un modèle de génération vidéo à partir d'une image de scène initiale et d'une instruction textuelle. Les auteurs relèvent que cette vidéo générée ne capture qu'une seule réalisation, propre à une scène donnée, sans expliciter la structure de la tâche ni ses contraintes géométriques. V2-STRep corrige ce manque en s'appuyant sur un modèle vision-langage (VLM) pour bâtir une représentation structurée : phases de mouvement, références et contraintes, décrites via des structures géométriques minimales (points, points-normales, axes, plans, poses 6D complètes). Les indices 2D fournis par le VLM sont ensuite reprojetés en 3D à partir d'observations RGB-D, pour reconstruire la géométrie de la tâche et les poses de prise candidates. Des règles propres à chaque type de géométrie transfèrent ensuite le mouvement vers de nouvelles scènes, tandis qu'une optimisation de trajectoire sous contraintes couple sélection de prise et planification complète du mouvement, en exploitant la liberté de rotation restante pour respecter les limites articulaires. Sur six tâches de manipulation réelles, la méthode affiche un taux de réussite supérieur aux méthodes de référence testées, un transfert fiable entre scènes différentes, et une capacité d'adaptation à de nouvelles instructions compatibles sans régénérer de vidéo. Pour les intégrateurs et laboratoires de robotique, l'intérêt tient moins à un produit qu'à une piste méthodologique : contourner le goulot d'étranglement de la collecte de démonstrations téléopérées, coûteuse et lente à faire passer à l'échelle, en s'appuyant sur des modèles de génération vidéo déjà entraînés sur des vidéos humaines. Le travail répond directement à une limite connue de cette approche, à savoir qu'une vidéo générée reste ancrée dans la scène où elle a été produite et ne se généralise pas telle quelle. En démontrant un transfert entre scènes et une adaptation à de nouvelles instructions sans nouvelle génération vidéo, l'étude nuance l'idée reçue que les modèles vidéo-vers-action ne fonctionnent qu'en circuit fermé, scène par scène. Ce travail s'inscrit dans une tendance de recherche plus large visant à exploiter des vidéos humaines ou générées comme substitut aux démonstrations robotiques réelles, en complément des approches VLA entraînées sur des données massives de téléopération comme Pi-0, GR00T N2 ou Helix. Il ne s'agit ici que d'un article de recherche à l'état de preprint, validé sur six tâches en laboratoire, sans annonce de produit, de partenariat industriel ni de déploiement chez un intégrateur. Aucun acteur français ou européen n'est cité dans ces travaux. Les prochaines étapes attendues, classiques pour ce type de publication, sont l'élargissement du nombre de tâches testées, la comparaison avec davantage de baselines, puis une éventuelle reprise par des équipes industrielles cherchant à réduire leurs coûts de collecte de données.

RecherchePaper
1 source
SkillMemo : un cadre de mémoire de compétences guidé par des experts pour la manipulation robotique compositionnelle
4arXiv cs.RO 

SkillMemo : un cadre de mémoire de compétences guidé par des experts pour la manipulation robotique compositionnelle

Un article déposé sur arXiv début août 2026 présente SkillMemo, un framework de mémoire de compétences pour la manipulation robotique compositionnelle. Il vise une limite connue des politiques de diffusion (Diffusion Policy) et des modèles vision-langage-action (VLA): leur difficulté à généraliser hors distribution faute de jeux de données de trajectoires suffisamment vastes. Un module de segmentation guidé par experts, bâti sur une architecture Mixture-of-Experts, découpe les démonstrations longues en compétences atomiques via des coefficients de gating appris, puis les stocke dans une mémoire épisodique sous forme de paires clé-valeur compactes. À l'inférence, le modèle récupère les compétences pertinentes et les fusionne avec sa distribution de gating courante pour affiner ses prédictions d'action. Sur des benchmarks de simulation et des tâches réelles de manipulation, SkillMemo améliore les backbones DP et VLA et dépasse le modèle de référence π0.5. La rareté des trajectoires embarquées à grande échelle limite structurellement la capacité des VLA et des DP à recombiner des compétences apprises séparément pour des tâches nouvelles, un écart souvent pointé entre démonstrations de laboratoire et robustesse réelle. En misant sur une mémoire de compétences réutilisables plutôt que sur un réentraînement systématique, SkillMemo réduit cette dépendance aux données sans changer d'architecture de base, un enjeu direct pour les intégrateurs qui ont besoin de politiques capables de composer des compétences déjà apprises face à des tâches variables. Battre π0.5, référence largement citée dans la littérature récente, renforce la crédibilité de l'approche mémoire pour la généralisation compositionnelle, un problème que le simple passage à l'échelle des modèles n'a pas suffi à résoudre. SkillMemo s'inscrit dans la lignée des travaux récents sur les politiques de diffusion et les modèles VLA, devenus les deux paradigmes dominants pour piloter bras et robots humanoïdes à partir de démonstrations, et répond à un constat partagé: ces modèles peinent à sortir du cadre de leurs données d'entraînement dès qu'une tâche combine des sous-compétences dans un ordre inédit. À ce stade, SkillMemo reste un travail de recherche en preprint, validé sur des benchmarks de simulation et des tâches réelles en laboratoire, sans indication de code public, de partenariat industriel ni de calendrier de déploiement. Son positionnement face à π0.5 en fait néanmoins une référence probable pour les prochains travaux sur la mémoire de compétences en robotique.

RecherchePaper
1 source