Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
CF-JEPA : renforcer la robustesse des modèles du monde JEPA grâce à la factorisation de la contrôlabilité
RecherchearXiv cs.RO 

CF-JEPA : renforcer la robustesse des modèles du monde JEPA grâce à la factorisation de la contrôlabilité

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent CF-JEPA (Controllability Factorized JEPA), un modèle du monde latent de type JEPA publié en preprint sur arXiv (2610.00727v1). Son principe est de scinder l'espace latent en deux sous-espaces: l'un contrôlable, l'autre non contrôlable. Les informations parasites, comme un arrière-plan changeant ou des éléments visuels sans lien avec la tâche, sont censées se loger dans la partie non contrôlable. La politique de commande n'exploite que la partie contrôlable. Les auteurs annoncent des performances comparables aux méthodes existantes sur des tâches de contrôle 2D et 3D en conditions nominales, et supérieures en présence de distracteurs. CF-JEPA serait le seul modèle testé à ne pas subir d'effondrement latent (latent collapse) dans ce cas. Une validation est aussi présentée sur une tâche de robot simulé. Le résumé ne donne aucun chiffre, ni taux de réussite, ni benchmark nommé, ni comparaison chiffrée avec des modèles concurrents.

L'enjeu est la robustesse de la perception pour le contrôle visuel, un point faible connu des modèles du monde. Les architectures JEPA évitent la reconstruction au niveau du pixel, ce qui devrait les protéger du bruit visuel. Les auteurs montrent que ce n'est pas suffisant: ces modèles restent sensibles aux distracteurs et peuvent s'effondrer, c'est-à-dire produire des représentations dégénérées. Pour un intégrateur, c'est un écart familier entre démonstration en laboratoire et atelier réel, où l'éclairage varie, où des opérateurs passent en arrière-plan et où la scène change. Une séparation explicite entre ce que l'agent peut influencer et ce qu'il ne peut pas influencer est une piste crédible. Les réserves sont claires: les expériences sont en simulation, et rien n'indique encore que l'approche tienne sur du matériel physique ou à l'échelle des politiques VLA actuelles.

Ce travail s'inscrit dans la montée des modèles du monde latents, popularisés par la famille JEPA défendue par Yann LeCun, qui s'oppose aux approches génératives reconstruisant les images. Il concurrence indirectement les modèles du monde génératifs et les méthodes de représentation robustes aux distracteurs, sans que le résumé les nomme. Aucune suite n'est annoncée. Les prochaines étapes logiques sont des benchmarks chiffrés publiés, une validation sur robot réel et des tests face à des distracteurs plus réalistes. Il s'agit d'une contribution de recherche, pas d'un produit ni d'un déploiement.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

FP2 : doter les modèles fondation robotiques d'un contrôle de force
1arXiv cs.RO 

FP2 : doter les modèles fondation robotiques d'un contrôle de force

Des chercheurs publient sur arXiv (2609.37433) FP2, une interface logicielle légère qui ajoute un contrôle de force explicite aux modèles de fondation robotiques (RFM) déjà adaptés à une tâche. L'architecture sépare l'action de la régulation. Le RFM adapté joue le rôle de politique de fondation et génère les actions au niveau de la tâche. Une seconde politique, à haute fréquence, s'occupe uniquement de réguler l'interaction. Pour savoir quoi réguler, FP2 compresse les représentations contextuelles de la politique de fondation, les combine avec les historiques de torseur (wrench, force et couple) et de proprioception, puis prédit des paramètres de contrôle de force structurés. L'évaluation porte sur quatre backbones de RFM et quatre tâches de manipulation réelles riches en contacts. Selon les auteurs, FP2 améliore de façon constante la performance de tâche et la qualité de régulation de force par rapport aux politiques de fondation seules, et se compare favorablement à des méthodes de référence sensibles à la force ou fondées sur le contrôle de force. Le résumé ne donne ni taux de réussite, ni fréquences de boucle, ni noms de backbones ou de tâches. L'intérêt tient à un point faible connu des VLA et autres modèles généralistes : ils produisent des trajectoires plausibles, mais l'interaction physique fiable (insertion, essuyage, assemblage, contact avec des objets déformables) exige une régulation de force que ces modèles, cadencés bien en dessous du kHz, n'assurent pas nativement. FP2 propose une voie pragmatique : ne pas réentraîner le modèle de fondation, mais lui greffer une couche de bas niveau. Les ablations indiquent que le contexte de la politique de fondation et le retour physique sont complémentaires, et que conserver la génération d'actions du RFM améliore l'efficacité comme la généralisation à des objets nouveaux. Pour un intégrateur, cela plaide pour une architecture en couches plutôt que pour des modèles de bout en bout dotés de capteurs de force. Réserve : il s'agit d'un préprint non évalué par les pairs, et le nombre limité de tâches ne dit rien de la robustesse en production, du coût du capteur de torseur ni de la latence ajoutée. Ces travaux s'inscrivent dans un mouvement plus large. Les modèles de fondation robotiques comme Pi-0, GR00T ou Helix ont surtout été validés sur des tâches où la vision et la position dominent. Les approches « force-aware » existantes injectent la force comme simple entrée du modèle, tandis que le contrôle d'impédance ou d'admittance classique reste réglé à la main. FP2 se place entre les deux en apprenant les paramètres du contrôleur à partir du contexte. La suite dépendra de la publication du code et des résultats détaillés sur le site du projet (force-policy.github.io/fp2), ainsi que d'une validation sur d'autres plateformes et tâches industrielles. Aucun pilote ni calendrier de déploiement n'est annoncé, et aucun acteur français ou européen n'est cité dans le résumé.

RecherchePaper
1 source
Préserver les modes instables grâce à la dynamique inverse dans les modèles du monde JEPA
2arXiv cs.RO 

Préserver les modes instables grâce à la dynamique inverse dans les modèles du monde JEPA

Une équipe de chercheurs publie sur arXiv (2610.07540) une étude sur un défaut discret des modèles du monde de type JEPA (Joint-Embedding Predictive Architecture) utilisés pour piloter des robots à partir d'images. Les systèmes robotiques présentent souvent des modes instables, c'est-à-dire des directions de l'état le long desquelles une petite perturbation croît sans limite si aucun retour d'état ne la corrige. Les auteurs montrent qu'un entraînement fondé sur la prédiction de l'étape suivante, associé à une régularisation anti-effondrement, ne garantit pas la conservation de ces modes contrôlables : la fonction de perte peut être minimisée alors que ces directions sont écrasées dans la représentation, ce qui rend toute stabilisation impossible. Le remède proposé ajoute un objectif de reconstruction de l'action (une perte de dynamique inverse). Les auteurs démontrent qu'une reconstruction exacte rend l'encodeur injectif sur le sous-espace atteignable en H pas, et que, lorsque H augmente, l'espace propre dominant du gramien de contrôlabilité à horizon fini converge vers le sous-espace instable contrôlable. Les preuves portent sur des systèmes linéaires. Les tests empiriques, sur CartPole, Walker2D et PointMaze, visent à montrer que le résultat se prolonge au cas non linéaire visuel. L'intérêt est surtout diagnostique. Il met en évidence un mode de défaillance silencieux : une perte d'entraînement basse ne prouve pas que la représentation soit exploitable pour le contrôle. Pour les équipes qui construisent des politiques ou des planificateurs sur des modèles du monde latents, c'est un argument pour ajouter des signaux sensibles à l'action plutôt que de se fier à la seule qualité de prédiction. Ce travail ne contredit pas les approches existantes, il en précise une limite théorique. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs, sans déploiement ni robot physique. Les benchmarks sont des environnements simulés simples, loin de la manipulation à grand nombre de degrés de liberté. Le résultat s'inscrit dans la lignée des JEPA, popularisées par l'équipe de Yann LeCun, et des modèles du monde appris pour le contrôle, face à des approches de type VLA qui apprennent directement les actions. Aucune suite ni calendrier n'est annoncé. L'étape suivante logique serait un passage à l'échelle sur des tâches visuelles plus riches, puis sur du matériel réel.

RecherchePaper
1 source
Apprentissage par imitation sensible au contact grâce à la factorisation du contact
3arXiv cs.RO 

Apprentissage par imitation sensible au contact grâce à la factorisation du contact

Des chercheurs du laboratoire RCILab de l'université Kyung Hee (Corée du Sud) présentent FACE, un cadre d'apprentissage par imitation « factorisé par le contact », décrit dans un preprint arXiv (2610.09533). Le principe consiste à séparer le comportement de tâche voulu des facteurs de contact propres à l'environnement. Les efforts d'interaction sont exprimés dans des coordonnées normalisées, relatives au contact. Deux estimateurs complètent ce dispositif : un estimateur de normale de contact, appris, et un estimateur de friction en ligne, qui détermine l'échelle de friction effective. À l'exécution, les observations d'effort sont encodées et les sorties de la politique sont décodées en commandes de mouvement et d'effort physiques. L'adaptation se fait donc sans aucune mise à jour des paramètres de la politique. Les essais ont été menés sur robot réel, en manipulation riche en contacts, avec des variations inédites de propriétés de surface et de géométrie. Les auteurs comparent FACE à des variantes qui adaptent des approches antérieures à leur cadre. Le résumé ne chiffre ni taux de réussite, ni nombre d'essais, ni plateforme robotique, et ces éléments restent à vérifier dans l'article complet et sur la page du projet. L'enjeu est un verrou connu de la manipulation de précision, celle de l'essuyage, du ponçage, de l'insertion ou du polissage. Les efforts mesurés varient fortement pour de faibles changements de géométrie, d'orientation ou de friction de la surface. Une politique entraînée sur des mesures brutes de force apprend donc en partie les particularités des démonstrations et se transfère mal. Déplacer cette variabilité dans des estimateurs légers, sans réentraîner la politique, serait précieux pour les intégrateurs. Ils pourraient réutiliser une même politique sur des pièces, des matériaux ou des outillages différents, sans recollecter de démonstrations à chaque changement de référence. Ces résultats restent des essais de laboratoire. La robustesse face à des surfaces courbes, à des frottements non stationnaires ou à des cadences industrielles n'est pas établie, et les comparaisons portent sur des variantes adaptées par les auteurs, non sur des systèmes tiers inchangés. Ce travail s'inscrit dans le virage des politiques visuo-motrices (diffusion, VLA) vers la prise en compte du toucher et de l'effort. Les premières versions de ces modèles, comme Pi-0 ou Helix, s'appuient surtout sur la vision et la proprioception. La commande en force et en impédance, issue de la robotique classique, offre une adaptation fine au contact, mais elle exige des modèles d'environnement qu'il faut régler à la main. FACE vise un compromis : conserver l'apprentissage par imitation et déléguer au contact une partie de la physique, estimée en ligne. La suite logique serait de brancher ce principe sur des politiques généralistes plus grandes et de le valider sur plusieurs plateformes. Le preprint, publié en version 1, n'a pas encore passé de relecture par les pairs.

RecherchePaper
1 source
EVO-WAM : faire évoluer les modèles d'action du monde grâce à la vérification vidéo-action
4arXiv cs.RO 

EVO-WAM : faire évoluer les modèles d'action du monde grâce à la vérification vidéo-action

Des chercheurs proposent EVO-WAM, un cadre d'adaptation de « world action models » (WAM) à des tâches inédites, sans nouvelle démonstration d'expert et sans exécuter les actions candidates dans un environnement externe. Un WAM exploite des priors vidéo à grande échelle pour prédire conjointement les vidéos futures et les actions. Le système repose sur trois briques. D'abord, l'entraînement du WAM est enrichi d'une prédiction d'état et d'un contexte multi-images ancré, ce qui permet des déroulés autorégressifs complets sans retour d'exécution. Ensuite, un modèle vision-langage sélectionne les préfixes de trajectoires où la tâche est accomplie, puis un modèle de dynamique inverse vérifie la cohérence entre vidéo et actions. Enfin, le WAM est réentraîné de façon itérative sur ces préfixes vérifiés, et de nouveaux déroulés sont générés avec le modèle mis à jour. Sur sept tâches inédites de RoboTwin 2.0, le taux de succès moyen de Cosmos3 passe de 26,9 % à 68,0 % (environ 2,5 fois), et celui de DreamZero de 28,5 % à 46,4 % (environ 1,6 fois). Sur trois tâches composites à long horizon en conditions réelles, Cosmos3 passe de 20,0 % à 76,7 %, soit un gain de 56,7 points. L'enjeu porte sur le goulot d'étranglement des démonstrations. Collecter des données d'experts par téléopération reste la principale dépense pour déployer une politique sur une nouvelle tâche. Ici, le modèle génère lui-même sa supervision, filtrée par deux vérificateurs indépendants. Le filtre par dynamique inverse cible un mode d'échec connu des WAM : une vidéo qui semble réussie peut être associée à des actions incompatibles avec elle, ce qui produit un échec à l'exécution. Le résultat suggère que l'auto-amélioration sans interaction avec l'environnement devient praticable pour ces modèles, ce qui réduirait le coût d'adaptation par tâche pour les intégrateurs. Il faut toutefois nuancer. Les gains simulés sont mesurés sur sept tâches. Le test réel ne compte que trois tâches, et le papier ne détaille pas ici le nombre d'essais, ce qui rend l'écart de 56,7 points sensible au bruit statistique. Le point de départ de 20 % en réel est aussi bas. Le papier est un preprint arXiv, non évalué par les pairs, sans déploiement industriel. Ce travail s'inscrit dans la montée des modèles monde et des politiques vision-langage-action (VLA). Ces derniers prédisent des actions directement, tandis que les WAM ajoutent une prédiction vidéo issue de modèles génératifs pré-entraînés. Cosmos3 et DreamZero servent ici de bases, et la méthode s'applique donc à plusieurs architectures. Les approches concurrentes d'amélioration sans démonstration reposent surtout sur l'apprentissage par renforcement en environnement réel ou simulé, plus coûteux en temps robot ou en fidélité de simulation. Le benchmark RoboTwin 2.0, en simulation bimanuelle, sert de référence commune. Les prochaines étapes probables sont des tests sur davantage de tâches réelles, des embodiments variés et des vérificateurs plus fiables, car la qualité du modèle vision-langage et du modèle de dynamique inverse borne ce que la boucle peut apprendre. Une page projet est disponible, mais aucun calendrier de produit n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source