Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Adaptation efficace au moment du test pour les politiques de robots
RecherchearXiv cs.RO 

Adaptation efficace au moment du test pour les politiques de robots

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent TEMPO, une méthode d'adaptation au moment du test (test-time adaptation, TTA) pour les politiques de locomotion issues de l'apprentissage par renforcement. Le principe est d'ajuster une politique déjà entraînée pendant son exécution, de manière auto-supervisée et sans accès à la récompense. Le point de départ est une base légère qui ne met à jour que l'acteur et utilise un critique gelé comme indicateur de performance. TEMPO ajoute deux mécanismes. Un régularisateur d'entropie sur la distribution prédictive du critique limite les extrapolations trop confiantes. Une mémoire à score, inspirée du prioritized replay, retient en priorité les observations de faible valeur, jugées difficiles, et les rééchantillonne par importance pour concentrer le calcul limité sur les conditions les plus informatives. Les tests portent sur trois robots (Go1, Go2 et l'humanoïde G1) dans MuJoCo Playground, avec quatre types de décalage et plusieurs architectures. Les gains sont constants et vont jusqu'à 80 % dans un cadre mono-appareil. Une validation physique a été faite sur un Unitree Go2 muni d'une charge au mollet, avec une adaptation entièrement embarquée.

Les politiques de locomotion apprises échouent souvent quand le terrain devient glissant ou accidenté, quand la charge change ou que les capteurs se dégradent. Réentraîner ou recalibrer à la main n'est guère possible sur site, et les contraintes de latence et de mémoire embarquée sont réelles. Ces travaux visent donc un manque pratique : corriger une politique sans récompense ni retour en simulation. Il faut toutefois tempérer. Le chiffre de 80 % est un maximum, et l'article ne donne ni la valeur de la charge ni le nombre d'épisodes réels. Le résultat reste un résultat de laboratoire, pas un déploiement.

L'adaptation en ligne est un sujet ancien en robotique, entre randomisation de domaine, identification de système en ligne et méta-apprentissage. TEMPO s'en distingue par son coût réduit et son absence de signal de récompense. Les prochaines étapes naturelles seraient des charges plus lourdes, des terrains variés, des mesures de consommation et de latence sur matériel réel, et l'extension aux humanoïdes, que l'étude n'a validée qu'en simulation.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Unitree

À lire aussi

Adaptation au moment du test des politiques de manipulation face à la dégradation des actionneurs
1arXiv cs.RO 

Adaptation au moment du test des politiques de manipulation face à la dégradation des actionneurs

Des chercheurs proposent TeAR (Telemetry-Aware Action Rectification), une méthode publiée sur arXiv qui corrige à la volée les actions d'une politique de manipulation robotique lorsque les actionneurs se dégradent. Le principe est de ne pas toucher à la politique, qui reste gelée, mais d'intercaler entre elle et le contrôleur bas niveau un petit Transformer léger. Celui-ci reçoit l'action proposée et la télémétrie embarquée (température des articulations, courant moteur, tension d'alimentation), puis amplifie, amortit ou décale chaque composante de l'action. L'évaluation couvre 18 paires politique-tâche, réparties sur 8 familles de politiques et 5 tâches de manipulation. Dans un test apparié où le modèle de dégradation utilisé à l'entraînement ne correspond pas à la réalité, TeAR atteint 31,8 % de réussite, contre 25,6 % pour la politique de base et 30,6 % pour un inverse fondé sur un modèle supposé. Sur un bras physique, le gain atteint 10 à 15 % en situation d'échauffement, sans réglage fin sur le robot. L'intérêt tient à un problème que les démonstrations de laboratoire masquent : les politiques sont entraînées en supposant qu'une commande produit toujours le même mouvement. Or sur du matériel réel, après des heures de service, les moteurs chauffent, le courant sature près du contact et la tension chute sous charge. La même action donne alors un mouvement plus faible, retardé ou bruité. Pour un intégrateur ou un exploitant de site, c'est une source de dérive de performance très concrète, qui se traduit par des taux de réussite en baisse au fil des postes. La méthode est indépendante de la politique, donc applicable à des VLA ou à des politiques de diffusion déjà déployées sans les réentraîner. Elle exploite un signal déjà disponible, aujourd'hui surtout utilisé pour la journalisation et la sécurité. Il faut toutefois relativiser les ordres de grandeur. Le gain de 6 points dans le test avec écart de modèle reste modeste, et la validation physique porte sur un seul bras, avec un gain annoncé sous forme de fourchette et sans détail sur les tâches ni le nombre d'essais. Ce travail s'inscrit dans le champ de l'adaptation au moment du test et de la robustesse sim-to-real, où l'on traite habituellement le décalage visuel ou dynamique par la randomisation de domaine ou l'identification de système. TeAR déplace la question vers l'usure et l'échauffement, qui sont des enjeux de fiabilité longue durée pour les humanoïdes et les bras collaboratifs en production continue. Aucun pilote industriel ni calendrier n'est annoncé. Il s'agit d'un préprint non évalué par des pairs, et les prochaines étapes logiques seraient des tests sur des plateformes variées, avec des cycles de fonctionnement longs et des dégradations réelles plutôt que simulées.

RecherchePaper
1 source
Repérer l'écart de dynamique : adaptation de politique au moment du test par retour action-résultat
2arXiv cs.RO 

Repérer l'écart de dynamique : adaptation de politique au moment du test par retour action-résultat

Des chercheurs proposent SCOUT, un cadre de méta-apprentissage sensible à la dynamique, destiné à l'adaptation en phase de test de politiques de manipulation robotique. Le travail, publié sur arXiv (2609.36107) avec une page projet, part d'un constat : une politique pré-entraînée performe en environnement contrôlé, mais se heurte en déploiement à des propriétés physiques non observées (friction, masse, jeu mécanique) que ni la simulation ni les données d'entraînement n'ont couvertes. SCOUT couple une politique de prédiction d'action et un modèle de dynamique directe (forward dynamics) via un espace latent de croyance partagé. Pendant le méta-entraînement, une boucle interne met à jour ce latent en minimisant l'erreur de prédiction de dynamique par rapport au résultat réellement observé de l'action, tandis qu'une boucle externe optimise le réseau pour la sélection d'actions. Au déploiement, le robot met à jour sa croyance latente à partir des écarts entre résultat attendu et résultat observé, sans modifier les poids du réseau. Les auteurs affirment que cela évite l'oubli catastrophique. Ils rapportent une accélération significative de l'adaptation en ligne sur plusieurs benchmarks de manipulation simulés, ainsi qu'un transfert sim-to-real robuste sur robot réel. L'extrait disponible ne donne ni chiffres précis, ni taux de succès, ni liste de tâches, ni plateforme matérielle : les résultats restent à vérifier dans le papier complet. L'enjeu est direct pour les intégrateurs et les responsables d'exploitation : l'écart de dynamique est l'une des causes majeures de l'écart entre démonstration et production. Les méthodes d'adaptation en phase de test se contentent en général de récompenses scalaires éparses (réussite ou échec), une information pauvre au regard de ce que le contact physique fournit. SCOUT exploite le signal géométrique et dynamique de chaque interaction, ce qui suggère une adaptation en quelques essais plutôt qu'un réentraînement ou un fine-tuning coûteux. Le fait de n'agir que sur un latent, et non sur les poids, est aussi un argument de sûreté : le comportement de base validé n'est pas dégradé. Cela dit, il s'agit d'un preprint sans revue par les pairs, et la robustesse hors des benchmarks choisis, sur des dynamiques réellement nouvelles, n'est pas démontrée par le résumé. Ce travail s'inscrit dans la lignée du méta-apprentissage et de l'estimation implicite de paramètres système, comme les approches de type RMA en locomotion, ou les méthodes de randomisation de domaine et d'adaptation en contexte. Il intervient alors que les modèles vision-langage-action généralistes (Pi-0, GR00T, Helix) sont pré-entraînés à grande échelle mais restent peu adaptables en ligne aux propriétés physiques inconnues. SCOUT se présente comme une couche d'adaptation complémentaire plutôt qu'un modèle fondation concurrent. Reste à savoir s'il se branche sur ces VLA et à quel coût de calcul en temps réel. Aucun pilote industriel ni calendrier de déploiement n'est annoncé : il s'agit à ce stade d'une contribution de recherche, avec code et démonstrations à examiner sur la page projet.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Modèle de diffusion adaptatif pour la manipulation robotique efficace (VADF)
3arXiv cs.RO 

Modèle de diffusion adaptatif pour la manipulation robotique efficace (VADF)

Une équipe de chercheurs a publié sur arXiv (référence 2604.15938) une proposition architecturale baptisée VADF (Vision-Adaptive Diffusion Policy Framework), visant à corriger deux défauts structurels des politiques de diffusion appliquées à la manipulation robotique. Le premier défaut est le déséquilibre de classe dû à l'échantillonnage uniforme lors de l'entraînement : le modèle traite indistinctement les exemples faciles et difficiles, ce qui ralentit la convergence. Le second est le taux d'échec à l'inférence par dépassement de délai, un problème opérationnel concret dès qu'on sort du laboratoire. VADF intègre deux composants : l'ALN (Adaptive Loss Network), un MLP léger qui prédit en temps réel la difficulté de chaque pas d'entraînement et applique un suréchantillonnage des régions à forte perte via du hard negative mining ; et l'HVTS (Hierarchical Vision Task Segmenter), qui décompose une instruction de haut niveau en sous-tâches visuellement guidées, en assignant des schedules de bruit courts aux actions simples et des schedules longs aux actions complexes, réduisant ainsi la charge computationnelle à l'inférence. L'architecture est conçue model-agnostic, c'est-à-dire intégrable à n'importe quelle implémentation existante de politique de diffusion. L'intérêt pour un intégrateur ou un responsable R&D est avant tout pratique : les politiques de diffusion souffrent de coûts d'entraînement élevés et d'une fiabilité insuffisante en déploiement réel, ce qui freine leur adoption industrielle. Si les gains annoncés par VADF se confirment sur des benchmarks indépendants, la réduction des étapes de convergence représenterait un levier significatif sur les coûts GPU, et la diminution des timeouts à l'inférence améliorerait directement la cadence opérationnelle. Il faut toutefois noter que ce travail est un preprint non évalué par des pairs, sans chiffres de performance comparatifs publiés dans l'article lui-même. Les politiques de diffusion ont émergé comme méthode de choix pour l'imitation comportementale en robotique depuis les travaux de Chi et al. en 2023 (Diffusion Policy, Columbia), avant d'être intégrées dans des architectures plus larges comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. La principale tension du domaine reste le sim-to-real gap et la robustesse à l'inférence en conditions réelles, terrain sur lequel VADF prétend apporter une contribution. Les prochaines étapes logiques seraient une validation sur des benchmarks standard (RLBench, LIBERO) et une comparaison directe avec ACT ou Diffusion Policy de référence.

RecherchePaper
1 source
Calcul au moment du test pour les modèles fondation de comportement des robots humanoïdes
4arXiv cs.RO 

Calcul au moment du test pour les modèles fondation de comportement des robots humanoïdes

Des chercheurs proposent une méthode, baptisée Test-Time Command Optimization (TTCO), pour réduire l'écart entre les mouvements demandés à un humanoïde et ceux qu'il exécute réellement. Elle s'applique aux Behavior Foundation Models (BFMs), des contrôleurs généralistes de corps entier capables de suivre un large répertoire de mouvements. Ces modèles souffrent d'un « command-exécution gap » systématique : la trajectoire exécutée dévie de la trajectoire commandée. TTCO ne réentraîne pas le BFM. Elle modifie la commande d'entrée par optimisation par échantillonnage, en simulant en boucle fermée le BFM couplé à la dynamique du robot, jusqu'à ce que le mouvement exécuté colle au mouvement visé. Sur trois BFMs et le jeu de données de capture de mouvement AMASS, l'erreur moyenne de position globale du corps baisse de 79 à 84 % en simulation. Les auteurs dérivent aussi une stratégie approximativement optimale pour répartir le calcul, qui continue d'améliorer les résultats quand le budget augmente. Enfin, TTCO peut produire des étiquettes d'action propres à chaque BFM à partir de trajectoires robot enregistrées, sans les commandes de téléopération d'origine. Ces étiquettes servent à entraîner des politiques de loco-manipulation de haut niveau, validées en simulation et sur robot réel, et à réutiliser des démonstrations existantes d'un BFM à l'autre. L'enjeu est la précision. Les démonstrations de mouvements spectaculaires masquent souvent des erreurs de plusieurs centimètres, rédhibitoires dès qu'il faut saisir, porter ou poser un objet. Ici, le gain vient du calcul au moment du test plutôt que d'un nouvel entraînement, ce qui permet d'améliorer des contrôleurs déjà déployés. La génération d'étiquettes d'action rend aussi les jeux de démonstrations portables entre modèles, un point utile pour les intégrateurs qui changent de plateforme. Il faut toutefois relativiser : le chiffre de 79-84 % porte sur la simulation, le calcul d'optimisation par commande a un coût, et le résumé ne donne ni temps de calcul ni taux de réussite en tâches réelles. Ce travail s'inscrit dans la montée des modèles de fondation pour humanoïdes, où l'on cherche à transposer aux robots les gains du calcul à l'inférence observés en langage. Il vient compléter les BFMs et les politiques vision-langage-action, qui produisent des commandes de haut niveau sans garantir leur exécution fidèle. La suite logique est la réduction du coût de TTCO, voire son exécution en ligne, et sa démonstration sur des tâches industrielles de manipulation.

RecherchePaper
1 source