RecherchearXiv cs.RO 1 juillet 2026

Combinaison d'échantillonnage contraint et d'apprentissage par renforcement pour la manipulation robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Manipulation robotique non préhensile : des chercheurs de la TU Berlin combinent échantillonnage contraint et apprentissage par renforcement

Une équipe de la TU Berlin, associée au laboratoire de Marc Toussaint, publie une nouvelle version de ses travaux sur l'entraînement de politiques de manipulation robotique en environnement riche en contacts (arXiv:2602.08557v2). Le problème visé est la manipulation dite non préhensile, c'est à dire pousser, faire glisser ou réorienter un objet sans le saisir, une tâche où l'apprentissage par renforcement (RL) peine souvent à explorer suffisamment l'espace des stratégies possibles. La méthode proposée combine deux idées existantes mais rarement associées : d'une part des stratégies de réinitialisation qui contrôlent la distribution des états de départ de chaque épisode d'entraînement, et d'autre part un échantillonnage basé modèle sur des variétés contraintes, une technique reconnue pour son efficacité à générer des états physiquement valides. Le nouvel échantillonneur tient explicitement compte de la structure des contacts pour couvrir un large éventail de modes de contact, le tout combiné à une interpolation projetée et à un apprentissage curriculaire progressif.

Sur le plan des résultats, l'équipe affirme surpasser à la fois le RL classique sans échantillonnage contraint et les méthodes alternatives de réinitialisation, en entraînant des politiques universelles, non préhensiles et dynamiques. L'intérêt pour le secteur tient moins à un produit qu'à une brique méthodologique : la manipulation en contact riche, aujourd'hui l'un des points durs de la robotique appliquée (tri industriel, réorientation d'objets sur convoyeur, préhension d'objets déformables), reste largement dominée par des politiques apprises en simulation qui échouent à généraliser sur des configurations de contact non vues à l'entraînement. Une méthode qui améliore la couverture des modes de contact pendant l'apprentissage adresse directement ce problème de généralisation, sans dépendre d'un matériel ou d'un actionneur particulier.

Il s'agit ici d'une contribution académique, pas d'une annonce produit ni d'un déploiement industriel, du matériel supplémentaire étant disponible sur le site du laboratoire. Le travail s'inscrit dans la continuité des recherches de Toussaint sur la planification géométrico logique et les approches hybrides modèle/apprentissage, un courant de recherche européen qui contraste avec les approches purement data-driven (type VLA) privilégiées par les laboratoires américains sur les plateformes humanoïdes commerciales.

Impact France/UE

Contribution de la TU Berlin (laboratoire de Marc Toussaint) qui renforce l'expertise européenne en manipulation robotique hybride modèle/apprentissage, une approche qui se distingue des méthodes VLA data-driven privilégiées par les laboratoires américains.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Comparaison des espaces d'action en apprentissage par renforcement pour la manipulation robotique basée sur la vision

Des chercheurs ont publié le 23 juin 2026 une étude comparative systématique (arXiv:2606.18594) évaluant quatre types d'espaces d'action en apprentissage par renforcement (RL) pour la manipulation robotique visuelle : l'incrément de pose, la vitesse de pose, l'incrément de position articulaire, et la vitesse articulaire. Les politiques ont été entraînées en simulation puis déployées sur robot réel via transfert sim-to-réel, sur deux tâches benchmark : la saisie d'objet et la poussée d'objet. Résultat principal : l'espace d'action en vitesse articulaire (joint velocity) surpasse les trois autres alternatives, aussi bien en fluidité de mouvement qu'en performance finale sur les deux tâches testées. Ce résultat a une portée pratique directe pour les ingénieurs qui conçoivent des systèmes de manipulation autonome. Le choix de l'espace d'action est une décision d'architecture souvent sous-documentée dans la littérature RL appliquée, et les praticiens se retrouvent fréquemment à tâtonner empiriquement. En démontrant que la vitesse articulaire favorise à la fois la sécurité (mouvements plus lisses, moins de à-coups) et la performance sur des tâches visuelles, l'étude fournit une recommandation actionnable. Elle confirme aussi que le gap sim-to-réel dépend non seulement de la politique apprise, mais de la représentation même des actions, un levier souvent négligé dans les pipelines de transfert. Pour les intégrateurs travaillant avec des bras industriels ou des cobots, cette granularité de contrôle peut directement influer sur la durée de vie mécanique et la robustesse opérationnelle. L'étude s'inscrit dans un courant de recherche croissant sur la robustesse du transfert sim-to-réel pour la manipulation visuelle, aux côtés de travaux sur les politiques visuomotrices à base de transformeurs (VLA) comme pi-0 de Physical Intelligence ou les approches diffusion-policy popularisées par Columbia et Toyota Research Institute. Contrairement à ces méthodes qui s'intéressent à l'architecture du modèle, ce papier intervient en amont, au niveau du signal de commande lui-même. Les auteurs annoncent des recommandations pratiques pour le choix d'espace d'action selon le contexte (simulation seule ou déploiement réel), ce qui en fait une référence méthodologique utile pour les équipes démarrant un projet RL sur hardware.

RecherchePaper

1 source

2arXiv cs.RO

Efficacité de l'apprentissage par renforcement en ligne pour la manipulation robotique via entraînement centralisé et décomposition du critique

Une équipe de recherche présente HIL-HARC, une méthode d'apprentissage par renforcement en ligne appliquée directement sur des bras robotiques réels, sans phase de simulation préalable et avec intervention humaine ponctuelle pendant l'entraînement. Le système combine un entraînement centralisé à exécution décentralisée (CTDE) avec une architecture de récompense hybride (HRA) : plusieurs bras partagent un même critique multi-tête, décomposé en une tête "tâche" liée à une récompense éparse et une tête "préhension" fondée sur un potentiel de saisie. Les objectifs du critique et de l'acteur ont été reformulés pour exploiter ces valeurs Q décomposées, en tenant compte de la distribution catégorielle propre au contrôle discret de la pince. La méthode a été testée sur deux bras robotiques réels et sur un robot humanoïde simulé, pour des tâches de préhension-dépôt d'une balle de tennis et d'une banane, de repositionnement d'une casserole, et de déplacement de blocs en simulation, avec une plage de randomisation de domaine 5 à 25 fois plus large que dans les travaux antérieurs. Comparée à une référence de l'état de l'art, la méthode fait passer le taux de réussite de 60% à 80% sur la balle de tennis, de 60% à 90% sur la banane, et de 25% à 95% sur le déplacement de blocs simulé, tout en réussissant une tâche sur laquelle la référence échoue systématiquement. Ce résultat s'attaque à deux limites connues du RL en ligne avec intervention humaine : la faible tolérance aux variations d'environnement, jusqu'ici restreinte à de petites plages de randomisation, et l'instabilité provoquée par l'entraînement simultané de plusieurs agents, qui rend les cibles d'apprentissage non stationnaires. En montrant qu'un critique centralisé partagé absorbe une randomisation bien plus large tout en améliorant l'efficacité d'échantillonnage, ces travaux nuancent l'idée selon laquelle seule une simulation massive permettrait d'obtenir des politiques robustes aux variations physiques. Pour les intégrateurs et équipes de R&D en manipulation robotique, cela ouvre une piste pour affiner des politiques directement sur site industriel, sans dépendre d'un pipeline sim-to-real coûteux à calibrer, un enjeu d'autant plus actuel que les architectures vision-langage-action cherchent à généraliser au-delà de démonstrations scriptées. Le travail s'inscrit dans la lignée du RL avec intervention humaine en temps réel, en réutilisant des briques issues du RL multi-agent, l'entraînement centralisé à exécution décentralisée et la décomposition de récompense, pour les appliquer à un contexte mono-robot multi-tâche. Aucun système commercial n'est nommé dans la comparaison, et l'ensemble reste à ce stade un résultat de recherche publié en préprint sur arXiv plutôt qu'un produit déployé : les essais réels se limitent à un nombre restreint de tâches de préhension, et le volet humanoïde n'a été validé qu'en simulation. Les auteurs mettent à disposition vidéos et détails complémentaires sur un site dédié, sans annoncer de calendrier de transfert vers un humanoïde physique ni de partenariat industriel.

RecherchePaper

1 source

3arXiv cs.RO

IronMan : apprentissage vidéo-action sous contrainte d'information pour la manipulation robotique

Des chercheurs publient sur arXiv (2610.07961) IronMan, un cadre d'apprentissage vidéo-action pour la manipulation robotique, dont le nom signifie Information-constRained videO-actioN learning for robot MANipulation. Il s'inscrit dans la famille des Video Action Models (VAM), qui associent la modélisation de la dynamique visuelle à la génération d'actions. IronMan s'appuie sur le principe du goulot d'information (information bottleneck). Un module sensible à la dynamique condense des caractéristiques vidéo bruitées et enchevêtrées, calculées à un seul pas de diffusion, en représentations compactes du monde. Ces représentations suppriment l'information visuelle non pertinente et conservent les indices de dynamique utiles à l'action. Les auteurs annoncent 99,0 % de réussite sur LIBERO et 79,4 % sur RoboTwin en configuration clean2clean, au-dessus de toutes les références évaluées. Hors distribution, sur LIBERO-Plus, le taux atteint 79,1 %, soit 10,4 points de pourcentage de plus que la meilleure référence. Des expériences en conditions réelles et une inférence présentée comme efficace complètent le tableau. Il s'agit d'un travail de recherche, sans produit ni déploiement industriel. L'enjeu tient à un point faible connu des VAM : une représentation vidéo n'est pas naturellement adaptée à la génération d'actions. Exposer la politique à trop de détails visuels (textures, arrière-plans, éclairage) dégrade sa généralisation. IronMan défend l'idée inverse de la tendance à enrichir toujours davantage les représentations : contraindre l'information serait plus rentable que l'étendre. Le résultat le plus parlant est la robustesse hors distribution. C'est là que se joue l'écart entre démonstration et réalité, car un robot en atelier rencontre des changements de scène, de caméra ou de luminosité que les benchmarks propres ne couvrent pas. Pour les intégrateurs, un tel levier pourrait réduire le coût de réadaptation d'une politique à chaque nouveau site. Deux réserves s'imposent. Un score de 99 % sur LIBERO indique surtout que ce benchmark est quasi saturé. Les 79,4 % sur RoboTwin laissent une marge d'échec importante. Les résultats en conditions réelles sont résumés sans détail dans le résumé de l'article (tâches, nombre d'essais, robots), ce qui limite leur portée. Ce travail prolonge deux courants. Les politiques vision-langage-action (VLA) de type Pi-0 ou GR00T reposent sur des modèles vision-langage pré-entraînés. Les modèles vidéo génératifs servent désormais de prior de dynamique pour l'action. Les premiers manquent de compréhension physique explicite. Les seconds, coûteux en calcul et sensibles aux détails superflus, se heurtent au problème que IronMan cherche à corriger. Le recours à des caractéristiques à un seul pas vise à préserver la vitesse d'inférence, critère décisif pour un contrôle en boucle fermée. La suite dépendra de la reproduction des résultats par d'autres équipes, de l'ouverture du code et des tests sur des plateformes variées, y compris dans des environnements industriels réels. Aucune échéance de déploiement n'est annoncée.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage par renforcement en conditions réelles avec échafaudage MPC pour la manipulation dextérique

Une nouvelle méthode d'apprentissage par renforcement (RL) entraînée directement sur un robot physique, sans simulation préalable ni démonstrations humaines, a été détaillée dans un article publié sur arXiv (2609.14878v1). Le système associe un contrôleur prédictif par échantillonnage (MPC) à un apprenant Soft Actor-Critic hors politique pour piloter une main robotique Allegro à 16 degrés de liberté. Concrètement, 20 trajectoires générées par le MPC sur le matériel réel, collectées en 12 minutes, servent d'abord à préremplir un buffer de rejeu et à pré-entraîner l'acteur et le critique. Pendant la phase en ligne, le MPC continue de guider la collecte de données par intermittence, tandis que le contrôle bascule progressivement vers la politique apprise. Sur une tâche de rotation continue d'objet en main, la politique atteint 100% de réussite en évaluation autonome (5 essais sur 5) après seulement 7 minutes d'apprentissage en ligne, moyennant environ trois chutes d'objet durant l'entraînement. Après 20 minutes, elle tourne plus de cinq fois plus vite que le contrôleur MPC initial et enchaîne 1000 rotations consécutives sur plus de 110 minutes sans lâcher l'objet. Ce résultat s'attaque à l'un des obstacles les plus concrets du RL en robotique: l'exploration initiale aléatoire, lente et destructrice pour le matériel réel. En ancrant l'apprentissage dans l'expérience d'un contrôleur classique plutôt que dans des démonstrations humaines téléopérées, coûteuses à produire en volume, la méthode réduit fortement le temps d'intervention et le nombre d'échecs physiques nécessaires avant d'obtenir une politique fiable. Pour les équipes travaillant sur la manipulation dextre, c'est un indice que l'apprentissage sur robot réel, longtemps jugé trop lent et risqué face au sim-to-real, peut converger en quelques dizaines de minutes sur une tâche à haute dimensionnalité, à condition de structurer l'exploration plutôt que de la laisser libre. Le résultat nuance aussi l'hypothèse selon laquelle des démonstrations humaines seraient indispensables pour amorcer ce type de politique. La démonstration reste toutefois limitée à une tâche de référence en conditions de laboratoire, sans institution ni calendrier de publication du code précisés. Les ablations montrent que le pré-entraînement MPC, la conservation de cette expérience dans le buffer et le guidage MPC en ligne apportent chacun un gain distinct et complémentaire, ce qui distingue l'approche des pipelines purement sim-to-real ou de l'apprentissage par imitation à partir de téléopération, aujourd'hui dominant dans la manipulation dextre humanoïde. Les auteurs rapportent en complément une adaptation rapide à d'autres géométries d'objets et une réorientation conditionnée par objectif, sans annoncer de partenariat industriel ni de déploiement au-delà du résultat de recherche.

RecherchePaper

1 source