Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RESample : un cadre robuste d'augmentation de données par échantillonnage exploratoire pour la manipulation robotique
RecherchearXiv cs.RO 

RESample : un cadre robuste d'augmentation de données par échantillonnage exploratoire pour la manipulation robotique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Les modèles Vision-Language-Action (VLA), entraînés par apprentissage par imitation sur de vastes jeux de démonstrations, pilotent aujourd'hui la plupart des systèmes de manipulation robotique avancés. Mais ces jeux de données ne contiennent presque exclusivement que des trajectoires réussies : dès qu'un robot déployé s'écarte légèrement du scénario appris, ce décalage de distribution le pousse vers des situations d'échec pour lesquelles il n'a jamais vu d'exemple de correction. Des chercheurs proposent RESample, un cadre d'augmentation de données guidé par la couverture, qui vient combler ce trou. La méthode entraîne une fonction de couverture conservatrice capable de repérer les modes d'échec plausibles dans le monde réel mais absents des démonstrations standard, puis génère par échantillonnage exploratoire des séquences où le robot s'écarte volontairement de la trajectoire avant d'exécuter une action de récupération. Ces trajectoires synthétiques enrichissent le jeu d'entraînement initial. Sur le benchmark LIBERO et sur des tâches réelles de manipulation, RESample améliore systématiquement le taux de réussite des politiques, avec un gain absolu allant jusqu'à 12 points, pour un surcoût de données limité à 20% du jeu de départ.

L'enjeu dépasse la performance brute : c'est le problème classique du "reality gap" entre démonstrations et déploiement qui est directement attaqué. Un bras robotique piloté par un VLA finit toujours, en usage réel, par dévier légèrement de sa trajectoire d'apprentissage, à cause du bruit capteur, d'un objet mal positionné ou d'une variation de lumière. Sans exemples de récupération, ces déviations s'accumulent jusqu'à l'échec complet de la tâche. En automatisant la génération de ces scénarios correctifs, plutôt qu'en s'appuyant sur du télé-opérateur humain coûteux pour les enregistrer, RESample s'attaque à un vrai goulot d'étranglement pour l'industrialisation des VLA en environnement industriel ou logistique, où la fiabilité prime sur la démonstration en conditions idéales.

Ce travail s'inscrit dans une lignée de recherches récentes sur la robustesse des politiques d'imitation, aux côtés d'approches comme les corrections DAgger ou les méthodes de fine-tuning par renforcement appliquées à des modèles de type Pi-0 ou GR00T N2. La publication, une version révisée (v4) d'un article arXiv d'octobre 2025, ne mentionne pas de partenariat industriel ni de déploiement commercial: il s'agit d'un résultat de laboratoire, validé en simulation (LIBERO) et sur un nombre limité de tâches réelles, dont l'ampleur exacte n'est pas précisée dans le résumé.

Dans nos dossiers

NVIDIA GR00TManipulation robotiquearXiv cs.RO

À lire aussi

Lois d'échelle des données en apprentissage par imitation pour la manipulation robotique
1arXiv cs.RO 

Lois d'échelle des données en apprentissage par imitation pour la manipulation robotique

Une équipe de chercheurs publie sur arXiv (référence 2410.18647, désormais à sa quatrième révision) une étude empirique sur les lois d'échelle des données appliquées à l'apprentissage par imitation en manipulation robotique. Le protocole est rigoureux : plus de 40 000 démonstrations collectées dans de nombreux environnements et avec des objets variés, suivies de plus de 15 000 exécutions réelles sur robot, ce qui en fait l'une des études de scaling en manipulation les plus extensives à ce jour. Résultat central : la performance de généralisation d'une politique d'imitation suit une relation en loi de puissance avec le nombre d'environnements et d'objets d'entraînement. Surtout, quatre collecteurs de données travaillant une seule après-midi ont suffi pour obtenir environ 90 % de taux de réussite en déploiement zéro-shot sur des objets inconnus dans des environnements non vus, sur deux tâches distinctes. Ce que cette recherche établit, c'est que la diversité des environnements et des objets prime largement sur le volume brut de démonstrations : au-delà d'un certain seuil de démonstrations par environnement ou par objet, en ajouter davantage n'améliore plus la généralisation. Ce résultat remet en cause la stratégie intuitive qui consiste à multiplier les répétitions dans un même contexte, et oriente clairement la priorité vers la couverture de distribution plutôt que la densité d'annotation. Pour les intégrateurs industriels et les équipes robotique qui budgètent la collecte de données, l'implication est directe : mieux vaut disperser les efforts sur des scènes variées que d'accumuler des trajectoires dans un seul setup. Le fait d'atteindre 90 % de succès en zéro-shot sur des objets inédits est également un signal fort sur la maturité du paradigme VLA (Vision-Language-Action) en manipulation monomode. Ce travail s'inscrit dans le sillage des succès de scaling en NLP et vision par ordinateur, que des équipes comme DeepMind (RT-2), Physical Intelligence avec Pi-0, ou encore NVIDIA avec GR00T cherchent à transposer en robotique. L'étude reste purement académique pour l'instant, aucun déploiement industriel n'étant annoncé, et les tâches testées demeurent mono-bras sur périmètre contrôlé. Une limite à noter : les vidéos de démonstration et les protocoles d'évaluation exacts ne sont pas tous publics dans la version arXiv, ce qui rend difficile la comparaison directe avec d'autres benchmarks. Les prochaines étapes logiques seront d'étendre ces lois d'échelle aux politiques multi-tâches et de tester leur robustesse sur des plateformes humanoïdes comme Figure 03 ou Optimus Gen 3, où la distribution des états physiques est bien plus large.

RecherchePaper
1 source
RoboAug : d'une seule annotation à des centaines de scènes grâce à l'augmentation de données par contraste de régions pour la manipulation robotique
2arXiv cs.RO 

RoboAug : d'une seule annotation à des centaines de scènes grâce à l'augmentation de données par contraste de régions pour la manipulation robotique

RoboAug est un cadre d'augmentation de données génératif pour l'apprentissage robotique, décrit dans un article arXiv (2602.14032, version 2). Son principe tient en une contrainte minimale : une seule image annotée de bounding boxes suffit pour construire le jeu de données. À partir de cette supervision réduite, le système s'appuie sur des modèles génératifs préentraînés pour produire des variations sémantiques précises de la scène. Il y ajoute une perte contrastive par région (région-contrastive loss), utilisable en plug-and-play, qui oriente l'attention de la politique vers les zones utiles à la tâche. Les auteurs ont testé la méthode sur trois plateformes physiques : le bras UR-5e d'Universal Robots, une plateforme AgileX et le robot humanoïde Tian Gong 2.0. Selon eux, RoboAug dépasse systématiquement les méthodes d'augmentation de l'état de l'art face à trois types de décalages : l'arrière-plan, les objets distracteurs et l'éclairage. Le résumé ne donne ni taux de réussite, ni nombre de tâches, ni nombre de démonstrations. Le titre évoque « des centaines de scènes » générées depuis une annotation, sans plus de détail dans le texte disponible. L'enjeu est la généralisation d'une politique d'imitation ou d'une politique vision-langage-action (VLA) à des environnements jamais vus, l'un des principaux freins au passage de la démonstration au déploiement. Deux voies dominent aujourd'hui. La première est le préentraînement à grande échelle, coûteux en collecte de données et en temps. La seconde est l'augmentation sémantique, qui suppose une détection d'objets sans faille en amont, hypothèse fragile en conditions réelles. RoboAug cherche à contourner ces deux obstacles, ce qui, si les résultats tiennent, ferait baisser le coût de préparation d'un nouveau site pour un intégrateur : une image annotée plutôt qu'une campagne de captures. Les validations sur trois robots de natures différentes, dont un humanoïde, sont un point positif. Quelques réserves s'imposent toutefois. Le résumé ne précise ni les tâches, ni la taille des échantillons d'essais, ni les baselines comparées. Les gains ne sont pas chiffrés, et la robustesse face à des changements de géométrie ou de pose des objets n'est pas évoquée. Il s'agit d'un résultat de laboratoire, non d'un déploiement industriel. Ce travail s'inscrit dans une lignée de méthodes qui utilisent des modèles de diffusion ou d'édition d'images pour multiplier les observations d'entraînement : ROSIE, GenAug ou, plus récemment, des pipelines qui s'appuient sur la segmentation pour isoler l'objet manipulé. Leur point faible commun est la dépendance à un détecteur fiable, que RoboAug dit relâcher. La concurrence passe aussi par les gros modèles fondation (Pi-0, GR00T, Helix), qui misent sur l'échelle des données plutôt que sur l'augmentation ciblée. L'usage de Tian Gong 2.0, plateforme humanoïde chinoise, confirme l'activité des laboratoires asiatiques sur ce sujet. La publication d'une page de projet (x-roboaug.github.io) devrait permettre d'examiner vidéos et protocoles. Les prochaines étapes à surveiller sont la publication de chiffres détaillés, le code ouvert et des tests sur des tâches plus longues ou plus dextres.

UEUniversal Robots (Danemark) équipe de nombreuses lignes européennes avec son bras UR-5e, et si RoboAug tient ses promesses, une seule image annotée suffirait aux intégrateurs européens pour adapter leurs politiques d'apprentissage à un nouveau site, ce qui réduirait le coût de déploiement, même si ce résultat de laboratoire n'est pas encore validé en conditions industrielles.

RecherchePaper
1 source
Combinaison d'échantillonnage contraint et d'apprentissage par renforcement pour la manipulation robotique
3arXiv cs.RO 

Combinaison d'échantillonnage contraint et d'apprentissage par renforcement pour la manipulation robotique

Manipulation robotique non préhensile : des chercheurs de la TU Berlin combinent échantillonnage contraint et apprentissage par renforcement Une équipe de la TU Berlin, associée au laboratoire de Marc Toussaint, publie une nouvelle version de ses travaux sur l'entraînement de politiques de manipulation robotique en environnement riche en contacts (arXiv:2602.08557v2). Le problème visé est la manipulation dite non préhensile, c'est à dire pousser, faire glisser ou réorienter un objet sans le saisir, une tâche où l'apprentissage par renforcement (RL) peine souvent à explorer suffisamment l'espace des stratégies possibles. La méthode proposée combine deux idées existantes mais rarement associées : d'une part des stratégies de réinitialisation qui contrôlent la distribution des états de départ de chaque épisode d'entraînement, et d'autre part un échantillonnage basé modèle sur des variétés contraintes, une technique reconnue pour son efficacité à générer des états physiquement valides. Le nouvel échantillonneur tient explicitement compte de la structure des contacts pour couvrir un large éventail de modes de contact, le tout combiné à une interpolation projetée et à un apprentissage curriculaire progressif. Sur le plan des résultats, l'équipe affirme surpasser à la fois le RL classique sans échantillonnage contraint et les méthodes alternatives de réinitialisation, en entraînant des politiques universelles, non préhensiles et dynamiques. L'intérêt pour le secteur tient moins à un produit qu'à une brique méthodologique : la manipulation en contact riche, aujourd'hui l'un des points durs de la robotique appliquée (tri industriel, réorientation d'objets sur convoyeur, préhension d'objets déformables), reste largement dominée par des politiques apprises en simulation qui échouent à généraliser sur des configurations de contact non vues à l'entraînement. Une méthode qui améliore la couverture des modes de contact pendant l'apprentissage adresse directement ce problème de généralisation, sans dépendre d'un matériel ou d'un actionneur particulier. Il s'agit ici d'une contribution académique, pas d'une annonce produit ni d'un déploiement industriel, du matériel supplémentaire étant disponible sur le site du laboratoire. Le travail s'inscrit dans la continuité des recherches de Toussaint sur la planification géométrico logique et les approches hybrides modèle/apprentissage, un courant de recherche européen qui contraste avec les approches purement data-driven (type VLA) privilégiées par les laboratoires américains sur les plateformes humanoïdes commerciales.

UEContribution de la TU Berlin (laboratoire de Marc Toussaint) qui renforce l'expertise européenne en manipulation robotique hybride modèle/apprentissage, une approche qui se distingue des méthodes VLA data-driven privilégiées par les laboratoires américains.

RecherchePaper
1 source
RoboLight : un jeu de données à éclairage linéairement composable pour la manipulation robotique
4arXiv cs.RO 

RoboLight : un jeu de données à éclairage linéairement composable pour la manipulation robotique

Voici l'article traduit et résumé. RoboLight, présenté dans un article arXiv, est le premier jeu de données de manipulation robotique capturant des épisodes synchronisés sous des conditions d'éclairage systématiquement variées. Il comprend deux volets : RoboLight-Real, avec 2 800 épisodes réels collectés sur un dispositif calibré baptisé Light Cube, équipé de huit lampes LED RGB programmables et faisant varier trois dimensions indépendantes (couleur, direction, intensité), chaque dimension étant associée à une tâche dédiée impliquant des objets de géométries et matériaux différents pour créer des défis perceptifs ; et RoboLight-Synthetic, qui compte 196 000 épisodes générés par interpolation dans l'espace image HDR de RoboLight-Real, un volume potentiellement extensible à volonté en affinant la granularité d'interpolation. Toutes les images sont enregistrées au format HDR pour préserver la précision radiométrique. Les auteurs valident la qualité du jeu de données via une analyse qualitative et des déploiements de politiques en conditions réelles, en étudiant la difficulté des tâches, la diversité de distribution et l'efficacité des données synthétisées, avec trois cas d'usage représentatifs à l'appui. Pour l'industrie robotique, ce jeu de données cible un angle mort persistant des modèles vision-langage-action (VLA) et des politiques de manipulation apprises : leur fragilité face aux variations d'éclairage, un facteur rarement isolé et contrôlé dans les données d'entraînement existantes. En permettant de faire varier couleur, direction et intensité lumineuse de façon indépendante et reproductible, RoboLight offre un banc d'essai pour mesurer la robustesse réelle des politiques de perception, une question centrale pour tout déploiement industriel où l'éclairage n'est jamais parfaitement contrôlé, entrepôt, ligne de production, environnement extérieur. L'approche par interpolation HDR pour générer des données synthétiques à moindre coût illustre aussi une piste concrète pour réduire la dépendance à la collecte réelle, un goulot d'étranglement connu pour l'entraînement des modèles de manipulation à grande échelle. Le projet s'inscrit dans la lignée des efforts récents visant à combler l'écart entre démonstrations en laboratoire et robustesse en conditions réelles, un problème régulièrement pointé du doigt concernant les modèles VLA générique (dans la veine de Pi-0 ou GR00T N2). Contrairement à des jeux de données généralistes, RoboLight isole spécifiquement la variable lumineuse via un montage matériel dédié, ce qui le distingue des benchmarks existants qui ne contrôlent pas systématiquement ce paramètre. Les auteurs annoncent la publication en open source du jeu de données complet, ainsi que des conceptions logicielle et matérielle du système Light Cube, ce qui laisse présager une adoption possible comme outil de benchmark standard par la communauté robotique si la promesse de reproductibilité est tenue.

RecherchePaper
1 source