Compétences en poids, mémoire en code :…

1arXiv cs.RO

Apprentissage de compétences atomiques sémantiques pour la manipulation robotique multitâche

Des chercheurs ont mis en ligne une nouvelle version (v2) de leur article "Learning Semantic Atomic Skills for Multi-Task Robotic Manipulation" sur arXiv (2512.18368), présentant AtomSkill, un framework d'apprentissage par imitation pour la manipulation robotique multi-tâches. La méthode s'attaque à trois obstacles connus de l'apprentissage par démonstration à grande échelle : démonstrations sous-optimales, multi-modalité des comportements et interférences destructrices entre tâches lorsqu'un même modèle doit apprendre plusieurs compétences simultanément. AtomSkill découpe les démonstrations en compétences atomiques de longueur variable, alignées sémantiquement grâce à un objectif contrastif qui impose à la fois cohérence sémantique et cohérence temporelle, formant une bibliothèque de compétences compacte et réutilisable. La politique apprise prédit à la fois la position finale (keypose) d'une compétence et les actions immédiates, ce qui permet des transitions fluides entre compétences en fonction de la progression. Lors de l'inférence, un échantillonneur par diffusion génère des séquences de compétences plausibles, tandis que les keyposes prédites déclenchent automatiquement l'enchaînement. Les auteurs annoncent des résultats supérieurs aux méthodes de référence en imitation learning et aux approches par compétences existantes, en simulation comme en conditions réelles. L'enjeu dépasse la seule prouesse technique : la plupart des bibliothèques de compétences actuelles sont soit trop dépendantes de la structure du langage utilisé pour les décrire, soit mal alignées sémantiquement d'une tâche à l'autre, ce qui limite leur capacité à généraliser. Résoudre ce compromis conditionne directement la viabilité des politiques multi-tâches pour des applications industrielles comme le picking, l'assemblage ou la manutention, où un même robot doit enchaîner des gestes variés sans réapprentissage complet à chaque nouvelle tâche. C'est aussi un signal dans le débat actuel sur les modèles vision-langage-action (VLA) : la promesse d'une politique unique capable de généraliser à grande échelle reste difficile à tenir, et des architectures hiérarchiques par compétences comme AtomSkill pourraient constituer une alternative plus robuste que les VLA monolithiques. L'article s'inscrit dans une lignée de recherche en concurrence directe avec des approches VLA de bout en bout telles que Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. Contrairement à ces annonces industrielles très médiatisées, il s'agit ici d'une publication académique sans chiffres de benchmark détaillés ni précisions sur le matériel utilisé dans l'abstract, et sans affiliation commerciale indiquée. Les auteurs renvoient vers une page de projet (atom-skill.github.io) pour le code et les démonstrations vidéo ; la validation à plus grande échelle sur robots physiques reste, comme souvent à ce stade de publication, la prochaine étape à surveiller.

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage rapide sur robot pour compétences de manipulation dynamique : le jonglage robotique

Un article publié sur arXiv (2608.26800v1) présente un cadre d'apprentissage en ligne permettant à un robot bimanuel d'apprendre à jongler directement sur du matériel physique, en moins de cinq minutes d'interaction réelle. Équipé de deux bras, de mains multi-doigts et d'une vision embarquée, le robot maîtrise cinq figures classiques de jonglage à trois balles : cascade, tennis, demi-douche, douche et boîte. La méthode, dite d'apprentissage régularisé par mémoire, combine un modèle local construit à partir de l'expérience accumulée sur le robot avec un modèle global préalable qui sert à extrapoler là où les données manquent. Un mécanisme de sécurité, appelé ensemble mutuellement atteignable, garantit que chaque transition entre lancer et rattrapage reste dans les limites articulaires et d'actionneurs des deux bras. Ce résultat s'attaque à l'écart persistant entre simulation et réalité en robotique : plutôt que de chercher à améliorer la fidélité du simulateur, les auteurs montrent qu'un modèle imparfait suffit comme socle à un apprentissage rapide directement sur le robot. Cela contredit l'hypothèse répandue selon laquelle un pré-entraînement massif ou une collecte de données prolongée est nécessaire pour des tâches de manipulation dynamique exigeant une coordination fine entre perception et action en temps réel. Pour les intégrateurs et décideurs industriels, l'approche suggère des robots capables de s'adapter en quelques minutes à une nouvelle tâche sur site plutôt qu'après des semaines de réentraînement hors ligne, ce qui réduirait le coût et les délais de déploiement de systèmes manipulateurs dextres. Le jonglage sert ici de banc d'essai à des compétences de manipulation dynamique et rapide, un registre distinct des tâches quasi statiques comme la préhension ou le tri qui dominent les démonstrations commerciales actuelles. L'abstract ne précise ni l'affiliation des auteurs ni la plateforme robotique utilisée, au-delà de sa description fonctionnelle. Ce travail s'inscrit dans une tendance de recherche visant à dépasser les politiques figées apprises hors ligne, au profit de robots capables d'affiner en continu leur comportement au contact du monde réel. Les auteurs présentent ce résultat comme une preuve de concept, une étape vers des systèmes qui exploitent des connaissances préalables imparfaites tout en s'améliorant continuellement par leur propre expérience physique.

RecherchePaper

1 source

3arXiv cs.RO

EDAR : apprentissage de représentations d'actions dépendantes de l'environnement pour la manipulation robotique

EDAR (Environment-Dependent Action Representation) est une nouvelle méthode d'apprentissage de représentations d'actions pour la manipulation robotique, présentée dans un article publié sur arXiv (référence 2607.11427v1). Le problème que les auteurs cherchent à résoudre est que les trajectoires de contrôle brutes utilisées pour entraîner des politiques robotiques sont bruitées, redondantes et difficiles à modéliser telles quelles. Les approches existantes se contentent généralement d'encoder la structure du flux d'actions lui-même, sans tenir compte explicitement de l'environnement dans lequel ces actions sont exécutées. EDAR propose au contraire de coupler les commandes moteur avec leurs effets visuels attendus, conditionnés par le contexte de la scène, afin que la représentation apprise capture la sémantique de l'interaction plutôt que de simples motifs au niveau des commandes. Les auteurs ont testé leur méthode sur des bancs d'essai de manipulation à la fois simulés et sur robot réel. Cette approche s'attaque à un angle mort connu des architectures VLA (vision-language-action) actuelles: le même segment d'action peut produire des résultats radicalement différents selon la disposition des objets, les propriétés physiques de la scène ou l'état initial de l'environnement. En ancrant les tokens d'action dans les conséquences visuelles attendues plutôt que dans la seule structure de commande, EDAR vise à améliorer la généralisation des politiques apprises, en particulier sur des tâches de manipulation à long horizon, où les erreurs de représentation s'accumulent au fil des étapes. Pour les équipes qui développent des politiques de manipulation généralistes, ce type de travail illustre une tendance de fond: le passage d'une modélisation purement centrée sur le contrôle vers des représentations conjointes action-perception, jugées nécessaires pour que les modèles de fondation robotiques (dans la lignée de GR00T N2, Pi-0 ou Helix) tiennent leurs promesses au-delà des démonstrations en environnement contrôlé. Le papier s'inscrit dans un courant de recherche plus large sur les représentations d'actions pour la robotique, où plusieurs travaux récents ont exploré la tokenisation d'actions, l'apprentissage par imitation conditionné par la vision, ou les modèles du monde pour anticiper les conséquences des actions. EDAR se positionne comme une contribution méthodologique plutôt qu'un produit ou un système déployé: il n'y a pas d'annonce de déploiement industriel ni de partenariat commercial associé à ce travail, qui reste à ce stade une publication de recherche évaluée sur des bancs d'essai académiques. Les prochaines étapes attendues pour ce type de travaux sont généralement l'intégration dans des pipelines VLA plus larges et des tests de transfert sur des plateformes robotiques commerciales, mais aucune feuille de route de ce type n'est mentionnée dans l'abstract.

RecherchePaper

1 source

4arXiv cs.RO

Skill2Real : apprentissage de compétences à base d'agents pour la manipulation robotique en transfert simulation-réel sans entraînement supplémentaire

Des chercheurs publient sur arXiv (2610.02788) Skill2Real, un cadre de politiques « agentiques » qui apprend des compétences robotiques exécutables à travers une interface de programmation (API) partagée, puis les transfère à un robot réel en zero-shot, sans réglage fin de la politique de tâche ni mise à jour de la mémoire de compétences. L'architecture est hiérarchique : un « Cerebellum » acquiert d'abord des compétences locales de manipulation, puis un « Brain » apprend la composition au niveau de la tâche, le Cerebellum restant gelé. Un cycle Proposer-Verifier-Governor (PVG) s'appuie sur des données privilégiées de simulation pour diagnostiquer les échecs et valider les modifications, tout en gardant les compétences ancrées dans les observations publiques et la sémantique de l'API. Les chiffres annoncés : avec GPT-5.6 Sol apprenant sur LIBERO-90 et GPT-6 Astra évaluant chaque checkpoint gelé, le taux de réussite sur LIBERO-Pro Long passe de 2,0 % à 56,3 %, sans entraînement sur ce jeu. Un entraînement indépendant sur Robosuite atteint 85,1 % (Sol) et 89,4 % (Opus 5) de réussite moyenne sur sept tâches. Sur quatre tâches réelles, les compétences gelées apprises par Sol sur LIBERO-90 atteignent 78,75 % d'achèvement moyen avec Astra. L'intérêt tient à l'approche : plutôt que d'entraîner un VLA de bout en bout et de combler l'écart sim-to-real par de la randomisation de domaine ou du fine-tuning sur données réelles, le travail fait apprendre à un LLM des programmes qui appellent une API commune. Cette couche d'abstraction absorbe en partie les différences de perception, de dynamique et d'embodiment. Les ablations donnent un signal utile : retirer le Verifier ou le Governor pendant l'entraînement réduit le succès final sur Pro Long de 17,3 et 13,3 points, ce qui suggère que la boucle de validation compte autant que le modèle. Pour les intégrateurs, cela évoque une voie où les compétences deviennent des actifs logiciels réutilisables d'un robot à l'autre. Les réserves sont nettes : quatre tâches réelles seulement, une moyenne de 78,75 % qui masque sans doute des écarts entre tâches, un résultat dépendant de modèles de fondation propriétaires, et une dépendance à une API bien conçue qui déplace une partie de la difficulté plutôt qu'elle ne la supprime. Il s'agit de résultats de laboratoire, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans la lignée des approches « code as policies » et des agents LLM pour la robotique, qui rivalisent avec les VLA comme Pi-0 ou GR00T, entraînés sur de grands volumes de démonstrations. LIBERO et Robosuite sont des bancs d'essai standards de manipulation en simulation, et LIBERO-Pro est une variante plus exigeante visant à tester la robustesse, ce qui rend le bond de 2,0 % à 56,3 % d'autant plus notable, même s'il reste loin d'une fiabilité industrielle. L'article ne mentionne ni calendrier ni pilote industriel. Les prochaines étapes à surveiller sont des tests sur davantage de tâches et d'embodiments, une évaluation avec des modèles ouverts, et une comparaison directe avec des VLA affinés sur données réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

Compétences en poids, mémoire en code : apprentissage hybride pour la manipulation robotique dépendante de la mémoire

À lire aussi

Apprentissage de compétences atomiques sémantiques pour la manipulation robotique multitâche

Apprentissage rapide sur robot pour compétences de manipulation dynamique : le jonglage robotique

EDAR : apprentissage de représentations d'actions dépendantes de l'environnement pour la manipulation robotique

Skill2Real : apprentissage de compétences à base d'agents pour la manipulation robotique en transfert simulation-réel sans entraînement supplémentaire