Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RAPT : détection de dérive et diagnostic de défaillance par prédiction de modèle pour le déploiement sim-vers-réel d'humanoïdes
RecherchearXiv cs.RO 

RAPT : détection de dérive et diagnostic de défaillance par prédiction de modèle pour le déploiement sim-vers-réel d'humanoïdes

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent RAPT (Recurrent Anomaly Probabilistic Trajectory Model), un moniteur de déploiement léger et auto-supervisé fonctionnant à 50 Hz, conçu pour détecter en temps réel les états hors distribution (OOD) lorsqu'une politique de contrôle apprise en simulation est transférée sur un robot humanoïde réel. Le système apprend le comportement d'exécution nominal à partir de données de simulation à grande échelle, puis produit en ligne des signaux de déviation prédictive calibrés, dimension par dimension, permettant de localiser précisément quand et où l'exécution réelle s'écarte du comportement attendu. Pour le diagnostic post-hoc, RAPT combine saillance temporelle, résumés cinématiques articulaires et raisonnement sémantique par LLM afin de classifier les causes probables d'échec en mode zero-shot. En simulation, sur quatre tâches Isaac Lab, RAPT améliore le taux de vrais positifs (TPR) de 37% par rapport à la meilleure référence existante, à un taux de faux positifs au niveau épisode limité à 0,5%. Sur matériel réel, il atteint 89% de TPR sur 78 essais, avec moins de faux positifs que les approches concurrentes compatibles haute fréquence, et 75% de précision de diagnostic sémantique sur 21 catégories d'échecs, sur un sous-ensemble de cas OOD jugés difficiles.

L'enjeu dépasse la simple détection d'anomalie: c'est le problème du "silent failure" après transfert sim-to-real qui est visé, ces politiques qui semblent robustes en simulation mais entrent en territoire inconnu sur le robot réel sans que rien ne le signale, avec un risque direct de casse matérielle. Pour les intégrateurs et équipes R&D qui déploient des politiques VLA ou apprises par renforcement sur humanoïdes ou bras robotiques, un moniteur capable de tenir la cadence du contrôle temps réel tout en gardant un taux de fausses alertes très bas comble un manque concret entre recherche en simulation et fiabilité opérationnelle sur le terrain.

RAPT s'inscrit dans la lignée des travaux sur la détection d'anomalies pour systèmes robotiques appris, un domaine où la plupart des détecteurs existants échouent soit sur la fréquence de fonctionnement, soit sur le taux de faux positifs, soit sur l'interprétabilité du diagnostic. Le papier, publié sur arXiv en version 2, met à disposition code, site projet et vidéos de démonstration, ouvrant la voie à une adoption par d'autres équipes travaillant sur le déploiement sécurisé de politiques apprises en simulation.

Dans nos dossiers

NVIDIA Isaac & CosmosarXiv cs.RO

À lire aussi

Distillation de simulation : pré-entraîner des modèles du monde en simulation pour une adaptation rapide au réel
1arXiv cs.RO 

Distillation de simulation : pré-entraîner des modèles du monde en simulation pour une adaptation rapide au réel

Une équipe de recherche a publié sur arXiv (arXiv:2603.15759) un cadre appelé Simulation Distillation (SimDist), conçu pour entraîner des world models robotiques en simulation physique avant de les adapter rapidement au monde réel avec peu de données. L'approche se décompose en deux phases distinctes : un préentraînement dans un simulateur physique qui distille des priors structurels dans un world model capable de planifier à partir d'observations brutes, suivi d'une adaptation réelle dans laquelle seul le modèle de dynamiques latentes est mis à jour via des pertes de prédiction issues de données terrain. L'encodeur, le modèle de récompense et la fonction de valeur appris en simulation sont directement transférés sans modification. Les auteurs valident SimDist sur deux catégories de tâches : manipulation en contact riche (préhension, assemblage) et locomotion quadrupède. L'enjeu central que SimDist adresse est le coût prohibitif de la collecte de données d'interaction diverse et de qualité mixte pour entraîner des world models directement dans le monde réel. En réduisant l'adaptation à une forme d'identification de système supervisée, le cadre conserve les signaux de planification denses sur horizon long nécessaires à l'amélioration en ligne, là où les méthodes de fine-tuning de politiques end-to-end restent inefficaces et fragiles sur les tâches longue durée. Les expériences montrent que SimDist progresse régulièrement avec l'expérience accumulée, alors que les approches d'adaptation concurrentes stagnent ou se dégradent durant le fine-tuning en ligne. C'est un résultat notable : la question de savoir si les world models tiennent leurs promesses à l'échelle sur des tâches en contact réel restait ouverte. Les world models robotiques -- dont Dreamer (DeepMind) est le représentant le plus connu -- ont démontré leur potentiel en simulation et dans des domaines à faible dimensionnalité, mais leur passage aux tâches manipulation réelles était resté laborieux, nécessitant des volumes de données difficiles à obtenir en dehors de laboratoires très équipés. SimDist s'inscrit dans un courant récent qui tente de résoudre le sim-to-real gap non pas par le transfert direct de politique, mais par le transfert de représentations et de modèles de planification. Le projet est accompagné d'une page dédiée et d'un dépôt de code (sim-dist.github.io), ce qui facilitera la reproductibilité et les comparaisons tierces. Les prochaines étapes probables incluent l'extension à des manipulateurs à dextérité plus élevée et à des environnements moins structurés, deux domaines où la rareté des données réelles est encore plus critique.

RecherchePaper
1 source
Vers un style de tennis professionnel pour robots humanoïdes grâce à une planification et un suivi de mouvement adaptatifs
2arXiv cs.RO 

Vers un style de tennis professionnel pour robots humanoïdes grâce à une planification et un suivi de mouvement adaptatifs

Des chercheurs ont publié le 21 août 2026 sur arXiv (référence 2608.20087v1) AdaPT, un système de planification et de suivi de mouvement adaptatif qui apprend à des robots humanoïdes à servir et échanger au tennis avec un style proche de celui des joueurs professionnels, directement à partir de vidéos de retransmissions télévisées. L'architecture est hiérarchique : un planificateur génère la trajectoire cinématique stylisée, tandis qu'un module de suivi (tracker) l'exécute en interférant le moins possible avec le plan initial. Validée en simulation, l'approche a ensuite révélé un écart important entre simulation et réel sur le robot Unitree G1, la précision du suivi se dégradant à cause de la planification autorégressive et du bruit de perception ; pour corriger cela, les auteurs ont entraîné le tracker à suivre des vitesses d'exécution randomisées et conditionné le planificateur via un adaptateur de vitesse appris. Les politiques AdaPT ont ensuite été déployées sur le robot humanoïde grand format Dobot Atom (1,7 mètre), capable de servir en conditions réelles sans capture de mouvement, avec vidéos et code publiés sur le site du projet. Ce résultat illustre concrètement la possibilité de transférer un mouvement stylisé et physiquement exigeant, appris depuis de simples vidéos, vers un robot humanoïde grande taille opérant sans motion capture ni environnement contrôlé, un enjeu central pour l'industrie face au fossé habituel entre démonstrations et performance réelle. Il faut toutefois le lire comme un résultat de recherche académique et non comme un produit commercialisé : aucune annonce de volumes, de prix ni de partenariat industriel n'accompagne la publication, et les essais restent limités en nombre. La méthode elle-même dépasse le seul tennis, puisqu'elle traite un problème plus général, générer des mouvements stylistiques complexes sans sacrifier la performance de la tâche, pertinent pour toute application humanoïde exigeant dextérité et fluidité. Ce travail s'inscrit dans une vague récente de recherches sur des humanoïdes jouant à des sports de balle, un domaine où plusieurs laboratoires ont récemment montré des frappes ou services au tennis, badminton ou ping-pong, souvent via des architectures de type VLA ou du renforcement pur. AdaPT se distingue par la combinaison d'une imitation de style issue de vidéos de diffusion et d'une architecture planificateur/tracker pensée spécifiquement pour limiter la dégradation lors du transfert simulation-réel. Les tests ont porté sur deux plateformes, le Unitree G1, standard courant en recherche sur la locomotion, et le Dobot Atom, humanoïde grand format du fabricant chinois Dobot. Les auteurs n'annoncent aucun calendrier de pilote commercial, se limitant à publier code et vidéos et à souligner des enseignements algorithmiques et d'ingénierie pour de futurs systèmes humanoïdes sportifs.

RecherchePaper
1 source
Adaptation de modalité en test, un cadre causal d'inférence-diagnostic-raffinement pour les modèles VLA
3arXiv cs.RO 

Adaptation de modalité en test, un cadre causal d'inférence-diagnostic-raffinement pour les modèles VLA

Une équipe de chercheurs publie sur arXiv un nouveau cadre baptisé infer-diagnose-refine (IDR), conçu pour améliorer les modèles vision-langage-action (VLA) qui pilotent des bras ou des robots humanoïdes à partir d'instructions en langage naturel, d'images et de l'état proprioceptif du robot. Le problème ciblé: dans une tâche de manipulation, l'importance de la vision varie selon la phase, un déplacement longue distance dépendant surtout de la caméra tandis qu'une prise fine dépend davantage du retour proprioceptif, et les VLA actuels fusionnent ces modalités de façon statique. IDR corrige cela au moment du test, sans réentraînement: le modèle infère d'abord une action factuelle avec l'image réelle, puis une action contrefactuelle en neutralisant l'image via une intervention de type "zero-padding", avant qu'un module ne quantifie l'écart entre les deux par une mesure de norme pour estimer l'importance causale de la vision à cet instant précis, puis qu'une fusion résiduelle à gate ajustable ne recombine les deux prédictions. Les auteurs rapportent des gains de performance sur plusieurs benchmarks de simulation et sur des tâches réelles, avec plusieurs architectures VLA testées comme backbones. Pour l'industrie robotique, l'intérêt tient au fait que ce travail s'attaque à une limite bien identifiée mais rarement corrigée des VLA: leur incapacité à pondérer dynamiquement les modalités selon le contexte, ce qui pèse sur la robustesse en conditions réelles (occlusions, éclairage variable, phases de contact). Le caractère "model-agnostic" et "training-free" est ce qui retient le plus l'attention des intégrateurs: si la méthode tient ses promesses hors cadre académique, elle pourrait s'appliquer en post-traitement à des VLA déjà déployés, sans le coût d'un réentraînement complet, rare parmi les correctifs proposés dans la littérature. Il s'agit toutefois d'une publication de recherche évaluée sur des benchmarks propres aux auteurs, pas d'un produit ni d'un déploiement industriel, et le gain réel dépendra d'une reproduction indépendante sur des tâches de manipulation hors laboratoire. Ce travail s'inscrit dans une vague de recherche plus large autour des VLA, catégorie qui regroupe aujourd'hui des systèmes comme RT-2, OpenVLA, pi-0 de Physical Intelligence ou GR00T de Nvidia, tous confrontés au même arbitrage entre richesse perceptuelle et robustesse d'exécution. Chercher des gains de fiabilité au moment de l'inférence, plutôt que via un réentraînement massif, reflète une tendance récente à vouloir corriger à moindre coût des modèles déjà volumineux. Les auteurs ne précisent ni calendrier d'intégration industrielle ni partenariat avec un fabricant de robots; la suite logique serait une validation sur des plateformes commerciales et une comparaison directe avec les méthodes de fusion de modalités déjà employées par les principaux acteurs du secteur.

RechercheActu
1 source
IA auto-évolutive pour humanoïdes : mécanismes, sécurité et évaluation de l'auto-amélioration post-déploiement
4arXiv cs.RO 

IA auto-évolutive pour humanoïdes : mécanismes, sécurité et évaluation de l'auto-amélioration post-déploiement

Une synthèse publiée sur arXiv en septembre 2026 (référence 2609.13236v1), intitulée Self-Evolving AI for Humanoids, dresse un état des lieux des robots humanoïdes capables de continuer à apprendre après leur déploiement. Ses auteurs relèvent que la plupart des systèmes actuels, combinant apprentissage par renforcement, modèles du monde et modèles vision-langage-action, restent figés une fois leur politique entraînée hors ligne, alors que tâches et environnements continuent d'évoluer. Ils modélisent le robot déployé comme un tuple d'état, politique, perception, mémoire, flux de travail et corps, mis à jour par un opérateur d'évolution, et distinguent quatre mécanismes d'autonomie croissante, l'auto-apprentissage, l'auto-adaptation, l'auto-optimisation et l'auto-génération, toute évolution devant passer une vérification par modèle du monde sous supervision humaine. Ce travail souligne l'écart entre des humanoïdes présentés comme intelligents et des politiques en réalité entraînées puis gelées, alors que leur promesse commerciale suppose une adaptation continue aux tâches et environnements sans réentraînement complet. En traitant la sécurité comme une dimension de conception plutôt qu'un correctif après coup, les auteurs rappellent qu'un robot physique modifiant sa propre politique ou sa mémoire peut créer un danger matériel réel. Ils notent aussi que l'évaluation devrait suivre la trajectoire d'amélioration du robot plutôt qu'un instantané figé, et déplorent l'absence de benchmark pour mesurer spécifiquement l'auto-évolution des humanoïdes, ce qui prive intégrateurs et décideurs d'un moyen standardisé de vérifier si un robot déployé progresse ou régresse silencieusement. Cette synthèse s'inscrit dans la vague de l'IA incarnée portée par l'apprentissage par renforcement pour la locomotion, les modèles du monde et les modèles vision-langage-action, qui permettent aux humanoïdes de généraliser des instructions en langage naturel à des tâches variées. Jusqu'ici la recherche sur les agents auto-évolutifs portait surtout sur des agents logiciels désincarnés; ce papier compte parmi les premiers à examiner ce que change un corps physique, notamment la contrainte de sécurité et l'usure propre du robot. Il s'agit d'un cadrage théorique et d'une revue de littérature, sans déploiement industriel ni pilote nommé; les auteurs appellent la communauté à construire ce benchmark manquant et à traiter ensemble défis algorithmiques, matériels et de gouvernance avant un déploiement à grande échelle.

RecherchePaper
1 source