Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Apprentissage du pliage : solution primée au LeHome Challenge 2026 (1re en ligne, 2e hors ligne)
RecherchearXiv cs.RO 

Apprentissage du pliage : solution primée au LeHome Challenge 2026 (1re en ligne, 2e hors ligne)

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

À l'occasion du LeHome Challenge 2026, compétition organisée dans le cadre de la conférence ICRA 2026 et dédiée au pliage bimanuel de vêtements, une solution individuelle a terminé première sur 62 équipes lors de la phase en ligne (simulation) et deuxième lors de la finale en conditions réelles. L'approche repose sur une politique vision-langage-action (VLA) améliorée par une boucle d'apprentissage par renforcement. L'originalité principale : le même réseau de neurones sert à la fois de politique d'action et de fonction de valeur, prédisant simultanément les actions à effectuer, la probabilité de succès, la progression de la tâche et quelques quantités futures pertinentes. Ces prédictions alimentent directement l'estimation de l'avantage (advantage estimation), la détection de défaillances en temps réel et la sélection de candidats lors de l'inférence.

La manipulation de textiles déformables reste l'un des problèmes les plus difficiles de la robotique de manipulation, et ce résultat illustre qu'une politique VLA peut être affinée efficacement par renforcement pour des tâches structurées complexes. L'architecture unifiée, dans laquelle une seule tête prédit à la fois l'action et la valeur, réduit le coût d'inférence tout en fournissant un signal intrinsèque pour la détection de pannes, sans nécessiter de module de supervision séparé. L'écart entre la première place en simulation et la deuxième place réelle confirme que le sim-to-real demeure un défi opérationnel non résolu, même avec un pipeline d'alignement caméra dédié et de l'augmentation de données intensive.

Le pipeline technique combine plusieurs briques existantes : AWR (Advantage Weighted Regression) et RECAP assemblés pour un VLA à flow-matching, un entraînement distribué asynchrone via HuggingFace Hub, une optimisation des hyperparamètres à l'inférence par Thompson sampling, et une collecte de données humain-dans-la-boucle (HIL) de type DAgger pour le transfert sim-to-real. Le travail se positionne explicitement comme une recette d'ingénierie réutilisable plutôt que comme une avancée algorithmique fondamentale, une distinction rare et honnête dans les publications de compétition. Dans un secteur où les systèmes VLA comme Pi-0 (Physical Intelligence), OpenVLA ou GR00T N2 (NVIDIA) s'imposent pour la manipulation dextre, cette contribution apporte un exemple concret de fine-tuning par renforcement sur des objets déformables, une classe de problèmes encore peu couverte par les benchmarks standards de manipulation.

Dans nos dossiers

IA physique & VLANVIDIA GR00TPhysical Intelligence — π0OpenVLA / RT-X

À lire aussi

Découpage Q adaptatif pour l'apprentissage par renforcement hors ligne vers en ligne
1arXiv cs.RO 

Découpage Q adaptatif pour l'apprentissage par renforcement hors ligne vers en ligne

Des chercheurs ont publié sur arXiv (arXiv:2605.05544, mai 2026) une méthode appelée Adaptive Q-Chunking (AQC), visant à résoudre une limitation structurelle de l'apprentissage par renforcement offline-to-online avec action chunking. Toutes les approches existantes appliquent une taille de chunk fixe à chaque état, ce qui est sous-optimal : près d'un contact physique, des chunks courts sont nécessaires pour un contrôle réactif ; en déplacement libre, des chunks longs améliorent l'attribution du crédit temporel. La solution naïve, entraîner un critique par taille de chunk puis comparer les valeurs Q, échoue systématiquement par désalignement des échelles de remise (discount-scale mismatch) et dégénère en bruit dans les états à faible valeur. AQC corrige ce double problème en comparant l'avantage relatif de chaque horizon par rapport à une baseline normalisée par le facteur de remise, rendant les comparaisons non biaisées même en l'absence de signal discriminant. La méthode atteint des taux de succès état de l'art sur les benchmarks OGBench et Robomimic, et améliore significativement les performances de modèles VLA à grande échelle sur les tâches RoboCasa-GR1. L'enjeu est concret pour les équipes qui intègrent des modèles Vision-Language-Action en production. Ces architectures, dont Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et Helix de Figure AI, prédisent des séquences d'actions dont l'efficacité dépend directement de la granularité temporelle de ces séquences. AQC est applicable sans modifier l'architecture sous-jacente, ce qui en fait un correctif plug-and-play pour des pipelines existants. Les auteurs fournissent également des bornes formelles sur l'immunité au bruit du sélecteur d'avantage et sur la dominance en valeur du chunking adaptatif face à toute taille fixe, donnant une assise théorique à des performances que les benchmarks confirment empiriquement. L'action chunking s'est imposé comme paradigme de référence en manipulation apprise depuis ACT (Action Chunking with Transformers, Chi et al., 2023) et Diffusion Policy. La limitation d'une taille fixe était documentée mais sans solution rigoureuse. Des approches concurrentes adressent la granularité temporelle via la planification hiérarchique ou le fine-tuning online de politiques de diffusion, sans résoudre le biais de comparaison entre horizons. AQC se positionne comme correctif algorithmique orthogonal, applicable en surcouche de ces méthodes. Les résultats présentés portent intégralement sur des environnements simulés ; la validation sur plateformes physiques reste à établir, le gap sim-to-real demeurant une variable non résolue dans ce domaine.

RechercheOpinion
1 source
Apprentissage en ligne auto-supervisé pour la co-adaptation dans les politiques de diffusion hiérarchiques
2arXiv cs.RO 

Apprentissage en ligne auto-supervisé pour la co-adaptation dans les politiques de diffusion hiérarchiques

Des chercheurs proposent ORCHID, un cadre d'auto-entraînement présenté sur arXiv (2603.05291) qui s'attaque à un problème structurel de la manipulation robotique longue durée : la désynchronisation entre planificateur haut niveau et contrôleur bas niveau au sein des politiques hiérarchiques. Dans ces architectures, un planificateur décompose une instruction en langage naturel en sous-objectifs intermédiaires, que le contrôleur exécute physiquement. La difficulté est que les deux modules, entraînés séparément, opèrent sur des distributions de sous-objectifs incompatibles. ORCHID corrige cela en ligne : le système génère des trajectoires, les filtre selon le feedback de l'environnement (réussite ou échec de la tâche complète), puis distille les trajectoires conjointement réussies dans les deux modules via apprentissage supervisé. Il en résulte une co-adaptation bidirectionnelle : le planificateur ancre ses sous-objectifs dans les capacités réelles du contrôleur, tandis que le contrôleur se spécialise dans les structures de trajectoire que produit le planificateur. Sur le benchmark CALVIN, référence pour la manipulation séquentielle guidée par le langage, un modèle léger entraîné avec ORCHID surpasse les méthodes purement offline, y compris un modèle Vision-Language-Action (VLA) deux fois plus grand en paramètres. L'impact est notable sur deux points. En termes d'efficacité paramétrique, qu'un modèle léger dépasse un VLA deux fois plus lourd remet en question l'hypothèse courante que l'échelle seule suffit pour les tâches complexes. En termes de stabilité d'entraînement, combiner RL hiérarchique et modèles de diffusion est notoirement instable à cause de la propagation des gradients. ORCHID contourne ce problème en substituant la distillation supervisée sur échantillons filtrés au RL gradient classique, une voie potentiellement plus praticable dans les contextes industriels où la reproductibilité de l'entraînement est critique. Le mécanisme de co-adaptation proposé constitue un principe architectural plus général, transférable à d'autres familles de politiques hiérarchiques au-delà des modèles de diffusion. Le travail s'inscrit dans la dynamique actuelle autour des politiques de diffusion pour la robotique, portée par des frameworks comme Diffusion Policy (Chi et al., 2023) et π₀ de Physical Intelligence. ORCHID se distingue en ciblant non l'architecture mais la coordination inter-niveaux, un aspect souvent sous-traité par les approches VLA end-to-end qui fusionnent planification et contrôle dans un seul réseau. Le benchmark CALVIN, développé à l'Université de Freiburg, est la référence principale pour évaluer la généralisation en manipulation séquentielle sur des tâches à horizon long. Les prochaines étapes naturelles incluent une validation sur robots physiques et une extension à des horizons temporels plus longs, deux points que cet article n'aborde pas encore.

RechercheOpinion
1 source
Robo-ValueRL : une estimation fiable de la valeur pour l'apprentissage par renforcement hors ligne vers en ligne
3arXiv cs.RO 

Robo-ValueRL : une estimation fiable de la valeur pour l'apprentissage par renforcement hors ligne vers en ligne

Des chercheurs publient Robo-ValueRL, un framework d'apprentissage par renforcement offline-to-online pour la manipulation robotique, décrit dans un article arXiv (2607.09866v1) diffusé cette semaine. Le système entraîne un estimateur de valeur conditionné par l'historique des actions, dont la fiabilité est mesurée via deux métriques, la progression globale et la préférence locale. Ces estimations de valeur alimentent ensuite deux étapes : un pré-entraînement de politique par cohérence conditionnée à la qualité des données, puis un module d'adaptation résiduelle appliqué lors des déploiements en ligne. Les expériences s'appuient sur un volume conséquent, 240 heures de démonstrations hors ligne et plus de 3 000 trajectoires de rollout en ligne. Sur deux tâches de précision, l'insertion de puces électroniques au millimètre près et le désassemblage générique de blocs, le système atteint respectivement 86% et 84% de taux de réussite. L'apport principal ne se situe pas dans un nouveau record de performance mais dans la démonstration d'un lien direct entre la fiabilité de la fonction de valeur et la qualité de la politique finale. Concrètement, un estimateur de valeur fiable permet de prioriser les données de meilleure qualité parmi un ensemble hétérogène de démonstrations, ce qui bat le clonage comportemental classique, indifférent à la qualité des données, et stabilise la phase d'amélioration en ligne. Pour les équipes qui construisent des pipelines de RL robotique à partir de données de téléopération ou de simulation de qualité inégale, ce résultat justifie d'investir dans le diagnostic de la fonction de valeur plutôt que de simplement augmenter le volume de données ou la taille des modèles de politique. Le travail s'inscrit dans la tendance actuelle du secteur à combiner pré-entraînement hors ligne sur de larges jeux de démonstrations et affinage en ligne par rollouts réels, une approche jugée prometteuse pour la manipulation robotique généralisable mais dont la complexité technique rend la reproduction et le diagnostic difficiles, un point que les auteurs soulignent explicitement comme motivation de leur étude. Robo-ValueRL se positionne comme un banc d'essai unifié plutôt qu'un produit fini, destiné à isoler l'effet de la fiabilité de l'estimation de valeur des autres composants du pipeline. L'article ne précise pas de suite industrielle ni de partenaire de déploiement identifié à ce stade, le travail restant à un niveau de recherche académique.

RecherchePaper
1 source
Apprentissage de la loco-manipulation à partir de démonstrations SMPC via un RL clairsemé hors ligne vers en ligne
4arXiv cs.RO 

Apprentissage de la loco-manipulation à partir de démonstrations SMPC via un RL clairsemé hors ligne vers en ligne

Une équipe de recherche présente dans un preprint arXiv publié le 13 août 2026 (arXiv:2608.12063v1) une méthode d'apprentissage combinant locomotion et manipulation pour robots à pattes. Le système utilise du Sample-based Model Predictive Control (SMPC), une forme de commande prédictive par échantillonnage, exécutée entièrement en simulation pour générer automatiquement de vastes jeux de données hors ligne, jouant le rôle d'expert artificiel. Ces données servent ensuite à entraîner un agent de reinforcement learning (RL) off-policy à l'aide de récompenses de tâche uniquement éparses (sparse rewards), sans le façonnage manuel et chronophage de fonctions de récompense denses habituellement nécessaire. Cet agent de haut niveau est couplé à un contrôleur bas niveau assurant la stabilité dynamique du robot. Les auteurs valident la robustesse du transfert simulation-vers-réel (sim-to-real) en déployant des compétences complexes de loco-manipulation sur deux morphologies différentes: un quadrupède Spot équipé d'un bras et un humanoïde G1. L'intérêt principal de ces travaux tient à la résolution du goulot d'étranglement le plus coûteux du RL appliqué à la robotique: la conception manuelle de récompenses denses, qui ralentit considérablement l'apprentissage de nouvelles compétences à chaque nouvelle tâche. En s'appuyant sur des démonstrations SMPC pour préremplir l'exploration, les auteurs affirment que les politiques apprises finissent par surpasser leur propre professeur de commande optimale, un résultat notable si confirmé à plus grande échelle. Pour les intégrateurs et décideurs du secteur, cela illustre une voie alternative aux approches VLA entraînées sur des démonstrations réelles massives: générer les données d'entraînement en simulation via un contrôleur classique plutôt que par téléopération humaine, ce qui pourrait réduire les coûts de collecte de données pour les robots à pattes et humanoïdes. Ce travail s'inscrit dans la tendance du RL offline-to-online et de l'usage de contrôleurs optimaux comme professeurs pour le RL. Il reste à ce stade une publication de recherche, sans nom d'entreprise, de laboratoire ni de calendrier de déploiement commercial associés dans l'abstract, et sans comparaison chiffrée directe avec les approches VLA concurrentes.

RecherchePaper
1 source