Demo-JEPA : architecture prédictive à…

1arXiv cs.RO

DemoDiffusion : imitation humaine en une seule démonstration avec une politique de diffusion pré-entraînée

DemoDiffusion est une méthode de robotique présentée dans un preprint arXiv (2506.20668) permettant à un robot manipulateur d'imiter une démonstration humaine unique, sans entraînement spécifique à la tâche ni données appariées humain-robot. Le pipeline repose sur deux étapes successives : d'abord, le mouvement de la main humaine est converti en trajectoire approximative pour l'effecteur terminal du robot par recalibrage cinématique (kinematic retargeting), produisant une motion en boucle ouverte. Ensuite, une politique de diffusion généraliste pré-entraînée (diffusion policy) corrige cette trajectoire pour qu'elle reste dans la distribution des actions robotiques plausibles, sans fine-tuning. Sur 8 tâches de manipulation variées en conditions réelles, DemoDiffusion atteint un taux de succès moyen de 83,8 %, contre 52,5 % pour le seul recalibrage cinématique et 13,8 % pour la politique généraliste utilisée sans guidance. La méthode réussit même sur des tâches où la politique généraliste échoue totalement. Ce résultat conteste une hypothèse structurante du secteur : l'idée que l'adaptation à de nouvelles tâches requiert soit des jeux de données appariées humain-robot coûteux à collecter, soit du reinforcement learning en ligne avec ses longs cycles d'entraînement. DemoDiffusion montre qu'une démonstration unique suffit, ce qui réduit drastiquement le coût d'intégration pour les intégrateurs industriels. L'écart entre 83,8 % et 52,5 % illustre concrètement que le recalibrage cinématique seul reste fragile hors de son domaine de calibration, et que la politique de diffusion joue un rôle correcteur décisif, une forme de sim-to-real soft sans réentraînement. Sur les tâches à 0 % pour la baseline, le gain est absolu. L'approche s'inscrit dans la vague des politiques de diffusion généralistes issues de travaux comme Diffusion Policy (Chi et al., 2023) et Pi-0 de Physical Intelligence, qui cherchent à capitaliser sur des modèles pré-entraînés pour éviter la spécialisation coûteuse par tâche. Les concurrents directs sur le segment "one-shot imitation" incluent des méthodes basées sur ACT, VIMA ou les VLA visuomoteurs (OpenVLA, RoboVLMs), qui exigent généralement plusieurs dizaines à centaines de démonstrations. DemoDiffusion reste au stade preprint sans déploiement industriel ni partenaire commercial annoncé ; les prochaines étapes naturelles seraient une évaluation sur manipulateurs commerciaux (UR, Franka Robotics) et des tâches impliquant contact forcé ou objets déformables.

UELes intégrateurs industriels européens (dont Franka Robotics, entreprise allemande citée comme cible d'évaluation future) pourraient bénéficier d'une réduction des coûts de collecte de données, mais aucun acteur français ou européen n'est impliqué dans ces travaux au stade preprint.

IA physiqueOpinion

1 source

2Pandaily

Knowin détaille GLOW, un cadre d'apprentissage incarné pour enseigner une tâche à un robot en une seule démonstration

Knowin, entreprise d'IA embodied fondée en août 2025, a publié le 24 septembre un rapport technique sur GLOW (Generative Learning of World). Ce cadre vise à permettre à un robot domestique d'apprendre une tâche à partir d'une seule démonstration humaine complète, puis de réutiliser la compétence sur d'autres objets, environnements et tâches, sans réentraînement ni mise à jour des paramètres. GLOW compte quatre briques. KnowinGLOW est un modèle autorégressif multimodal unifié (vision, raisonnement spatial, planification, génération d'actions) qui sort directement des poses d'effecteur et des commandes de pince. KnowinDream produit de l'expérience domestique simulée en transformant des routines familiales en scènes 3D, avec variation de l'éclairage, des matériaux, des objets et des points de vue. KnowinWorld simule les résultats d'actions candidates et les classe selon l'avancement de la tâche, la cohérence physique, l'atteignabilité et le risque. KnowinAgent (« Harness ») est le runtime qui gère mémoire, appels d'outils, requêtes spatiales, retours d'exécution et replanification. Un encodeur compresse la vidéo de démonstration en contexte de compétence, exploité par apprentissage en contexte avec des poids figés. Knowin montre le rangement de boîtes, l'arrosage d'une plante, l'essuyage d'une table et la préparation de boissons. Dans une tâche de tiroir, le robot a demandé un déplacement de 24,3 mm mais n'en a obtenu que 1,6 mm, a détecté l'obstruction et a changé d'approche. Sur 18 tâches simulées RoboDojo, GLOW affiche 62,2 % de réussite moyenne et un score de 71,1, contre 22,2 % et 29,8 pour une base de comparaison fondée sur GPT-6. Sur six conditions de perturbation LIBERO-Pro, il atteint 86,7 % en politique unique, le meilleur score parmi les modèles à politique unique du tableau comparatif, tandis que certains systèmes d'agents multi-politiques font mieux. Son modèle KnowinBrain-1.5 se classe premier sur 20 au classement de questions-réponses embodied 2D d'Embodied Arena, avec 65,62 points sur neuf benchmarks. Tous ces chiffres proviennent des protocoles d'évaluation de l'entreprise elle-même et n'ont pas de validation indépendante. Le rapport reconnaît des limites : certains critères de succès se déclenchaient alors que l'objet était encore dans la pince, et le nombre d'étapes ne permet pas de comparer strictement les vitesses. L'enjeu est double. D'abord, l'apprentissage par une seule démonstration, sans mise à jour des poids, s'attaque à un point de blocage du robot domestique : le coût de collecte de données et de réglage par tâche. Si l'approche tient hors des démos, elle réduirait fortement l'effort de déploiement. Ensuite, la boucle de retour d'exécution (l'exemple du tiroir) montre que la robustesse vient autant de la couche agent et de la vérification que du modèle de base. Il faut toutefois rester prudent : les résultats sont surtout simulés, la comparaison à un agent GPT-6 dépend de la configuration choisie, et les démos réelles sont sélectionnées, sans taux de réussite ni temps de cycle publiés. L'écart entre démonstration et fiabilité en foyer reste donc entier. Knowin s'inscrit dans la vague des modèles fondation pour la robotique domestique, face aux approches VLA (vision-langage-action) d'acteurs comme Physical Intelligence (Pi-0), Figure (Helix) ou NVIDIA (GR00T). Sa singularité tient à l'association d'un modèle du monde, d'un moteur de génération de données et d'un runtime agentique. L'entreprise revendique plus de 200 chercheurs un peu plus d'un an après sa création. Son premier produit, Knowin-X1, est en validation avant production de masse, sans date, prix ni volume annoncés. La suite dépendra de ces éléments : des évaluations tierces sur robot réel, des pilotes en foyer et un calendrier de commercialisation crédible.

IA physiqueActu

1 source

3arXiv cs.RO

VILAS : une architecture bas coût intégrant un modèle VLA avec préhension souple pour la manipulation robotique

VILAS (arXiv 2605.02037) est une plateforme de manipulation robotique modulaire à faible coût conçue pour déployer des modèles vision-language-action (VLA) sur du matériel accessible. Le système associe un bras collaboratif Fairino FR5, un préhenseur électrique Jodell RG52-50 et un module de perception à deux caméras, coordonnés via une architecture ZMQ unifiant téleopération, collecte de données et exécution de politiques dans un pipeline unique. Pour saisir des objets fragiles sans capteur de force dédié, les auteurs ont développé une extension de préhenseur souple fondée sur le kirigami, une technique de découpe structurée qui induit une déformation contrôlée sous charge compressive, garantissant un contact doux et répétable. Trois modèles VLA ont été comparés sur cette plateforme : pi0 et pi0.5 de Physical Intelligence, et GR00T N1.6 de NVIDIA, chacun fine-tuné depuis des checkpoints publics sur un jeu de démonstrations identique collecté via le pipeline de téleopération. La tâche de validation retenue est la saisie de raisins, cas représentatif de la manipulation d'objets déformables et fragiles. Ce préprint de recherche démontre que des politiques VLA compétitives peuvent être entraînées et déployées sur du matériel grand public, sans infrastructure coûteuse ni retour d'effort. Pour les intégrateurs et les équipes de R&D à budget contraint, c'est un signal clair : le goulot d'étranglement n'est plus le hardware mais le pipeline de données et le fine-tuning. La comparaison des trois modèles dans des conditions strictement identiques (même bras, même dataset, même tâche) constitue un benchmark pratique rare, la littérature évaluant généralement les VLA sur des plateformes propriétaires difficilement reproductibles. Le fait que GR00T N1.6, conçu initialement pour les humanoïdes de NVIDIA, soit ici testé sur un cobot bas de gamme éclaire aussi la portabilité réelle de ces modèles généralistes, au-delà des démonstrations sur hardware maison. Ce travail s'inscrit dans le mouvement de démocratisation de la robotique apprenante porté notamment par LeRobot de Hugging Face ou les travaux autour d'ACT (Action Chunking with Transformers). Le Fairino FR5 se positionne dans la gamme des cobots abordables, face au Lite6 d'UFactory ou au CR5 de Dobot. Pi0 et pi0.5 sont issus de Physical Intelligence (Pi), startup californienne fondée en 2023 et financée entre autres par Bezos Expeditions, tandis que GR00T N1.6 est le modèle de fondation robotique de NVIDIA présenté en 2025 pour ses partenaires humanoïdes. Les suites naturelles de cette plateforme incluent l'extension à des tâches bi-manuelles, l'élargissement du catalogue d'objets, et potentiellement la publication du dataset de démonstrations pour faciliter la reproductibilité.

IA physiqueOpinion

1 source

4arXiv cs.RO

Fluidifier la génération de mondes : Enfold intègre son calcul dans des représentations prédictives pour un contrôle incarné efficace

Des chercheurs présentent Enfold, une méthode qui transfère le calcul effectué par les modèles génératifs de "monde" (world models) dans une représentation prédite directement à partir de l'observation présente et de l'instruction en langage naturel, sans générer de vidéo future à chaque étape. Pendant l'entraînement, les états intermédiaires produits par le générateur lorsqu'il transforme une trajectoire future bruitée en séquence cohérente supervisent un encodeur qui ne voit que le présent. Cette représentation conditionne ensuite la génération future et alimente des têtes de contrôle spécifiques à la tâche, sans que les gradients de tâche ne modifient l'encodeur. Au déploiement, le système n'exécute plus du tout le générateur: seule la représentation prédite pilote l'action. Testée sur les benchmarks LIBERO et RoboTwin2.0 ainsi que sur des tâches robot réel, l'approche réduit la latence d'action d'un facteur 3,7 par rapport à la référence Fast-WAM, et la variante Enfold-Flash atteint un facteur 10,1. L'enjeu est concret pour la robotique: les modèles VLA (vision-language-action) adossés à des world models génératifs impressionnent en démonstration mais restent souvent trop lents pour un contrôle temps réel, car ils doivent générer explicitement une trajectoire future à chaque cycle de décision. En montrant qu'il est possible d'internaliser ce calcul dans une représentation compacte inférée depuis le seul présent, sans dégrader le contrôle, les auteurs s'attaquent à l'écart classique entre démonstration et déploiement réel qui freine l'adoption de ces architectures chez les intégrateurs. La représentation apprise filtre en outre les variations sans intérêt et privilégie les changements qui se déploient sur un horizon long, exactement ce dont un robot a besoin pour anticiper une tâche plutôt que réagir image par image. Signal encourageant: quand un humain modifie la scène en cours d'exécution, la continuation générée et les actions exécutées s'adaptent, ce qui exclut un simple rejeu de trajectoire figée. Enfold s'inscrit dans la lignée des travaux sur les world models appliqués au contrôle robotique, dont WAM sert ici de référence de comparaison, une famille d'approches popularisée par des systèmes comme Pi-0 ou GR00T N2 mais généralement pénalisée par le coût de calcul du générateur à l'inférence. En déplaçant ce coût vers l'entraînement et en ne conservant au déploiement qu'une représentation légère, les auteurs ouvrent une piste pour rapprocher ces architectures des cadences de contrôle réelles, préalable à tout déploiement industriel à grande échelle. Les résultats restent toutefois issus de simulation et d'un nombre limité de tâches réelles, une validation plus large sur cas d'usage industriels constituant la suite logique.

IA physiqueActu

1 source

Demo-JEPA : architecture prédictive à enchâssement conjoint pour l'imitation inter-robots en une seule démonstration

À lire aussi

DemoDiffusion : imitation humaine en une seule démonstration avec une politique de diffusion pré-entraînée

Knowin détaille GLOW, un cadre d'apprentissage incarné pour enseigner une tâche à un robot en une seule démonstration

VILAS : une architecture bas coût intégrant un modèle VLA avec préhension souple pour la manipulation robotique

Fluidifier la génération de mondes : Enfold intègre son calcul dans des représentations prédictives pour un contrôle incarné efficace