Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
ACDC : planification de curriculum adaptatif avec contrôle contrastif dynamique pour l'apprentissage par renforcement conditionné par objectifs en manipulation robotique
RecherchearXiv cs.RO 

ACDC : planification de curriculum adaptatif avec contrôle contrastif dynamique pour l'apprentissage par renforcement conditionné par objectifs en manipulation robotique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent ACDC (Adaptive Curriculum planning with Dynamic Contrastive control), une nouvelle méthode d'apprentissage par renforcement conditionné par objectif (goal-conditioned RL) pour la manipulation robotique, dans une version mise à jour (v3) d'un article déposé sur arXiv. Le système combine deux mécanismes. D'un côté, un planificateur de curriculum adaptatif multidimensionnel (AC) qui ajuste dynamiquement l'équilibre entre exploration diversifiée et exploitation ciblée, en fonction du taux de réussite de l'agent et de sa progression d'entraînement. De l'autre, un module de contrôle contrastif dynamique (DC) qui traduit ce plan de curriculum en sélection d'expériences guidée par la norme, via un apprentissage contrastif contraint. Les auteurs annoncent des résultats supérieurs aux méthodes de référence de l'état de l'art sur plusieurs tâches de manipulation robotique complexes, tant en efficacité d'échantillonnage qu'en taux de réussite final. L'article ne précise ni les environnements de test exacts, ni les valeurs chiffrées des gains obtenus, ni le laboratoire ou l'affiliation des auteurs.

Pour la recherche en robotique, ACDC s'attaque à une limite connue des approches actuelles de goal-conditioned RL : leur dépendance à des schémas de priorisation de l'expérience collectée, souvent statiques, qui produisent des performances inégales selon la diversité des tâches. En rapprochant la stratégie d'apprentissage du curriculum progressif observé chez l'humain, plutôt que d'un simple rejeu d'expérience priorisé, l'approche vise une meilleure généralisation entre tâches de manipulation, un enjeu clé pour les intégrateurs qui cherchent à réduire le volume de données nécessaire à l'entraînement de politiques robotiques.

Le travail s'inscrit dans une lignée de recherches combinant curriculum learning et contrastive learning pour améliorer l'efficacité d'échantillonnage en RL, un axe actif depuis les méthodes de hindsight expérience replay. Le statut "replace" sur arXiv indique une révision par rapport à une version antérieure, sans qu'on sache si l'article a été accepté dans une conférence ou une revue à comité de lecture. Aucune suite (code source, benchmark public, application industrielle) n'est mentionnée à ce stade.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

Analyse de l'apprentissage par renforcement profond en continu pour l'apprentissage adaptatif en robotique
1arXiv cs.RO 

Analyse de l'apprentissage par renforcement profond en continu pour l'apprentissage adaptatif en robotique

Des chercheurs publient sur arXiv (référence 2609.28807, soumission nouvelle) une étude qui livre la première analyse de l'apprentissage par renforcement profond en flux comme cadre d'apprentissage continu adaptatif pour la robotique. Contrairement à l'approche dominante, qui consiste à réentraîner hors ligne un modèle sur un jeu de données élargi après une phase de pré-entraînement, la méthode testée met à jour la politique neuronale en continu, à partir de chaque nouvelle expérience, en s'inspirant du fonctionnement de l'apprentissage biologique. Les expériences principales portent sur la locomotion d'un robot quadrupède : avec certains optimiseurs et des techniques de limitation de la perte de plasticité, la politique s'adapte rapidement en ligne à des changements imprévus touchant le robot lui-même, son environnement ou ses objectifs. Elle surpasse les méthodes batch on-policy classiques et améliore le taux de réussite des tâches jusqu'à 90% par rapport à la politique simplement pré-entraînée. Des évaluations complémentaires sur des tâches de manipulation robotique, menées sur une morphologie différente, montrent que ces gains se retrouvent partiellement, avec des limites de stabilité et de performance. Pour l'industrie robotique, ce travail apporte une première preuve empirique qu'un apprentissage en flux, sans réentraînement batch hors ligne massif, peut permettre à un robot déjà déployé de s'adapter à des situations non anticipées lors de la collecte de données initiale, un scénario courant pour les intégrateurs confrontés à des changements d'environnement, à l'usure matérielle ou à des objectifs de mission évolutifs. Cela remet en question l'hypothèse dominante du secteur selon laquelle la robustesse passe nécessairement par l'élargissement continu des jeux de données d'entraînement hors ligne, et suggère une voie alternative pour réduire le coût et la latence de mise à jour des politiques embarquées, un enjeu clé alors que les acteurs des humanoïdes et des robots mobiles autonomes cherchent à généraliser leurs modèles au-delà des scénarios démontrés en laboratoire. Le fait que les gains observés en locomotion quadrupède ne se transposent que partiellement à la manipulation souligne toutefois que la généralisation entre morphologies reste un problème ouvert, ce qui tempère tout enthousiasme prématuré côté commercialisation. Le papier s'inscrit dans un courant de recherche récent ayant démontré la faisabilité technique du deep RL en flux, où chaque mise à jour du réseau utilise uniquement la dernière expérience collectée plutôt qu'un lot de données rejouées, sans qu'aucun travail antérieur n'ait validé cette approche comme cadre viable d'apprentissage continu pour adapter des politiques robotiques à des changements non vus. Les auteurs positionnent explicitement leur contribution comme la première étude de ce type appliquée à la robotique, en s'appuyant sur une phase de pré-entraînement suivie d'une adaptation en ligne. L'étude se conclut par une discussion des limites, notamment les problèmes de stabilité observés en manipulation, et par des pistes pour les futurs systèmes de robot learning continu, sans annoncer de calendrier de déploiement ni de partenariat industriel.

RecherchePaper
1 source
Apprentissage collectif pour une manipulation robotique unifiée par adaptation prédictive de la dynamique
2arXiv cs.RO 

Apprentissage collectif pour une manipulation robotique unifiée par adaptation prédictive de la dynamique

Des chercheurs proposent PACE, un cadre d'apprentissage collectif en deux étapes pour entraîner une politique unique de manipulation cartésienne, pilotée par l'état (et non par la vision), sur des robots aux morphologies différentes. Dans la première étape, une couche de représentation est pré-entraînée sur des trajectoires hors ligne pour extraire le contexte de la tâche à partir des données agrégées de plusieurs robots. Dans la seconde, une couche de décision est dotée d'un adaptateur de dynamique prédictive: on force l'état latent à prédire les transitions futures, ce qui ancre la politique dans le comportement réel du robot qui exécute l'action. L'inférence reste en temps réel, sans planification en ligne. En simulation, PACE atteint plus de 93 % de succès global et 89 % sur des robots simulés hors distribution dynamique, évalués en zero-shot. Les références restent nettement derrière: 82 % pour un Transformer en clonage comportemental et 66 % pour une politique de diffusion. Un déploiement sur un robot KUKA physique valide la faisabilité de la chaîne complète en transfert sim-to-real zero-shot. Le problème visé est concret pour quiconque veut mutualiser des données entre plusieurs bras robotiques. Une même commande cartésienne se traduit par des comportements de transition différents selon l'embodiment (cinématique, inerties, limites d'actionneurs). Une agrégation naïve moyenne alors des modes d'action incompatibles, d'où une ambiguïté de stratégie et un effondrement des performances sur les robots dont la dynamique s'écarte de la norme. Les résultats suggèrent que séparer l'intention dans l'espace de la tâche de la dynamique propre au robot peut limiter ce phénomène, ce qui intéresserait les intégrateurs gérant des parcs hétérogènes et voulant éviter un réentraînement par machine. Il faut toutefois rester prudent: les chiffres viennent essentiellement de simulation, la validation physique se limite à un seul robot KUKA, et le résumé ne donne ni nombre de tâches, ni cadence, ni taux de réussite en conditions réelles. Ce travail s'inscrit dans la course aux politiques généralistes multi-embodiments, portée par les modèles vision-langage-action comme Pi-0 ou GR00T, et par les approches de diffusion et de Transformers utilisées ici comme références. PACE prend un angle différent: une politique légère, basée sur l'état, centrée sur la robustesse face aux dynamiques atypiques plutôt que sur la généralité sémantique. Il s'agit d'une prépublication arXiv (v1), non évaluée par des pairs, sans produit ni pilote industriel annoncé. Les suites logiques seraient des tests sur davantage de robots physiques, l'intégration de la perception et une comparaison directe avec les grands modèles de fondation robotiques.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
CLAMP : préentraînement par apprentissage contrastif multi-vues 3D pour la manipulation robotique conditionnée par l'action
3arXiv cs.RO 

CLAMP : préentraînement par apprentissage contrastif multi-vues 3D pour la manipulation robotique conditionnée par l'action

Des chercheurs ont publié en 2026 sur arXiv (référence 2502.00937v2) un nouveau framework de pré-entraînement 3D pour la manipulation robotique, baptisé CLAMP, pour Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining. Le principe : fusionner des images RGB-D avec les paramètres extrinsèques des caméras pour reconstruire un nuage de points 3D unifié, puis re-rendre des observations multi-vues à quatre canaux (RGB, profondeur, coordonnées 3D), incluant une vue dynamique au niveau du poignet du robot. Un encodeur est pré-entraîné par apprentissage contrastif sur de larges jeux de trajectoires simulées, en associant la géométrie spatiale des objets aux séquences d'actions du robot. Simultanément, une Diffusion Policy est pré-entraînée pour initialiser les poids lors du fine-tuning, avant d'être affinée sur un nombre limité de démonstrations réelles. CLAMP surpasse les baselines état de l'art sur six tâches en simulation et cinq tâches en environnement réel. La valeur opérationnelle de CLAMP tient principalement à son impact sur l'efficacité d'apprentissage. Les approches standards de behavior cloning s'appuient sur des représentations 2D pré-entraînées (ViT, ResNet), qui ignorent la profondeur et la géométrie spatiale, critiques pour les tâches de manipulation de précision. En injectant cette information 3D dès le pré-entraînement, CLAMP réduit le nombre de démonstrations humaines nécessaires pour atteindre des performances satisfaisantes sur de nouvelles tâches, ce qui est un levier concret pour les intégrateurs industriels. L'architecture hybride contrastive plus Diffusion Policy est potentiellement transférable. Prudence toutefois : les résultats en conditions réelles portent sur cinq tâches seulement, et le preprint ne détaille pas les protocoles de sélection des vidéos, ce qui invite à nuancer la portée des résultats. CLAMP s'inscrit dans un champ de recherche actif visant à dépasser les limites des politiques purement 2D et des VLA (Vision-Language-Action models) pour la manipulation. Il dialogue directement avec des travaux comme R3M, MVP, DP3 (Diffusion Policy 3D) ou SpatialVLA. La principale originalité est le conditionnement par les actions dans l'apprentissage contrastif 3D, combinaison peu explorée jusqu'ici. Le code et les vidéos sont disponibles sur clamp3d.github.io. Aucun déploiement industriel ni partenariat n'est annoncé ; il s'agit d'un résultat académique. La suite logique serait une évaluation à plus grande échelle, avec davantage de robots et de scénarios hors distribution, pour confirmer la généralisation sim-to-real à l'échelle.

RecherchePaper
1 source
Apprentissage par renforcement en conditions réelles avec échafaudage MPC pour la manipulation dextérique
4arXiv cs.RO 

Apprentissage par renforcement en conditions réelles avec échafaudage MPC pour la manipulation dextérique

Une nouvelle méthode d'apprentissage par renforcement (RL) entraînée directement sur un robot physique, sans simulation préalable ni démonstrations humaines, a été détaillée dans un article publié sur arXiv (2609.14878v1). Le système associe un contrôleur prédictif par échantillonnage (MPC) à un apprenant Soft Actor-Critic hors politique pour piloter une main robotique Allegro à 16 degrés de liberté. Concrètement, 20 trajectoires générées par le MPC sur le matériel réel, collectées en 12 minutes, servent d'abord à préremplir un buffer de rejeu et à pré-entraîner l'acteur et le critique. Pendant la phase en ligne, le MPC continue de guider la collecte de données par intermittence, tandis que le contrôle bascule progressivement vers la politique apprise. Sur une tâche de rotation continue d'objet en main, la politique atteint 100% de réussite en évaluation autonome (5 essais sur 5) après seulement 7 minutes d'apprentissage en ligne, moyennant environ trois chutes d'objet durant l'entraînement. Après 20 minutes, elle tourne plus de cinq fois plus vite que le contrôleur MPC initial et enchaîne 1000 rotations consécutives sur plus de 110 minutes sans lâcher l'objet. Ce résultat s'attaque à l'un des obstacles les plus concrets du RL en robotique: l'exploration initiale aléatoire, lente et destructrice pour le matériel réel. En ancrant l'apprentissage dans l'expérience d'un contrôleur classique plutôt que dans des démonstrations humaines téléopérées, coûteuses à produire en volume, la méthode réduit fortement le temps d'intervention et le nombre d'échecs physiques nécessaires avant d'obtenir une politique fiable. Pour les équipes travaillant sur la manipulation dextre, c'est un indice que l'apprentissage sur robot réel, longtemps jugé trop lent et risqué face au sim-to-real, peut converger en quelques dizaines de minutes sur une tâche à haute dimensionnalité, à condition de structurer l'exploration plutôt que de la laisser libre. Le résultat nuance aussi l'hypothèse selon laquelle des démonstrations humaines seraient indispensables pour amorcer ce type de politique. La démonstration reste toutefois limitée à une tâche de référence en conditions de laboratoire, sans institution ni calendrier de publication du code précisés. Les ablations montrent que le pré-entraînement MPC, la conservation de cette expérience dans le buffer et le guidage MPC en ligne apportent chacun un gain distinct et complémentaire, ce qui distingue l'approche des pipelines purement sim-to-real ou de l'apprentissage par imitation à partir de téléopération, aujourd'hui dominant dans la manipulation dextre humanoïde. Les auteurs rapportent en complément une adaptation rapide à d'autres géométries d'objets et une réorientation conditionnée par objectif, sans annoncer de partenariat industriel ni de déploiement au-delà du résultat de recherche.

RecherchePaper
1 source