RecherchearXiv cs.RO 21 septembre 2026

ForceTwin : jumeaux numériques physiques pour la manipulation robotique à partir d'interactions humaines instrumentées

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié le 21 septembre 2026 sur arXiv (référence 2609.21751) un système baptisé ForceTwin, conçu pour créer des jumeaux numériques d'objets articulés, portes, tiroirs, mécanismes à ressort, intégrant leurs propriétés physiques réelles plutôt que de simples données visuelles. La méthode repose sur une pince instrumentée à capteur de force, manipulée par un humain, qui enregistre simultanément positions et forces d'interaction. Ces données permettent d'estimer l'articulation de l'objet et ses paramètres dynamiques : inertie, friction de Coulomb, amortissement visqueux, plus un résidu neuronal structuré capturant les forces de mécanisme dépendantes de l'état, comme un ressort ou un ferme-porte. ForceTwin réduit de près de moitié l'erreur d'estimation des paramètres inertiels par rapport à une méthode s'appuyant sur un modèle vision-langage (VLM) comme a priori. Intégré comme modèle dynamique feedforward dans un contrôle en impédance, le système a été testé sur un robot quadrupède Spot (Boston Dynamics) et un bras Franka FR3 (Franka Robotics, Allemagne), atteignant 87% de réussite sur neuf paires objet-robot, contre 60% pour l'approche VLM et 57% pour un jumeau purement cinématique. Les jumeaux identifiés ont ensuite servi à entraîner des politiques de franchissement de porte en corps entier, déployées en conditions réelles.

Cette approche cible un angle mort des pipelines actuels de jumeaux numériques, qui se contentent souvent d'inférer la géométrie et d'assigner des paramètres physiques statiques à partir d'a priori visuels ou textuels, une méthode pouvant produire des estimations physiquement incohérentes : deux portes visuellement identiques peuvent demander un effort de manipulation très différent, une nuance invisible pour un modèle vision-langage mais critique pour un robot devant réellement pousser, tirer ou tourner un mécanisme. Pour les intégrateurs et les équipes R&D en manipulation robotique, l'écart de performance observé, particulièrement marqué sur les objets à mécanisme fort où les deux méthodes de référence calent, indique que la modélisation physique fine reste un verrou plus contraignant que la perception ou la planification pour la manipulation d'objets articulés en environnement réel. Cela nuance l'idée selon laquelle les modèles vision-langage-action suffiraient à généraliser la manipulation sans modèle physique explicite du mécanisme manipulé.

ForceTwin s'inscrit dans la lignée des travaux sur les jumeaux numériques articulés en robotique, où la difficulté centrale est de capturer la dynamique sans instrumenter lourdement chaque objet du monde réel. Le système se positionne explicitement contre deux références répandues dans la littérature et les pipelines industriels de simulation : l'estimation par a priori vision-langage et les jumeaux purement cinématiques. La validation a été menée sur du matériel commercial existant, Spot et Franka FR3, plutôt que sur des plateformes propriétaires fermées, ce qui facilite une reproductibilité potentielle par d'autres laboratoires. La suite annoncée porte sur le déploiement de politiques de franchissement de porte en corps entier, une tâche souvent citée comme test de référence pour la mobilité et la manipulation combinées chez les robots humanoïdes et quadrupèdes équipés de bras.

Impact France/UE

Le bras robotique Franka FR3 utilisé pour valider le système est produit par l'entreprise allemande Franka Robotics, seul lien concret de cette recherche avec l'écosystème européen.

Dans nos dossiers

Boston Dynamics IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage en une démonstration pour la manipulation robotique à contacts riches, par identification des interactions physiques

Un preprint publié sur arXiv (arXiv:2608.24741v1, août 2026) présente une méthode de Learning from Demonstration (LfD) qui modélise explicitement les interactions physiques entre un robot et son environnement, notamment la création et la rupture de contact pendant une manipulation. Un contrôleur hybride position-force suit la trajectoire démontrée par un humain jusqu'à ce que les conditions de transition liées au contact, identifiées durant cette démonstration, soient atteintes. La méthode a été validée sur un robot réel via quatre tâches riches en contacts, ouverture de portes et de serrures, prise et vissage de boulons, dégagement d'objets coincés et suivi de contour de surface, chacune apprise à partir d'une seule démonstration et sans connaissance préalable de la tâche. Cette approche tranche avec la tendance dominante de la manipulation robotique, où les modèles vision-langage-action (VLA) à grande échelle exigent des milliers de démonstrations pour généraliser. En rendant explicite la physique du contact plutôt que de la confier à un réseau de neurones opaque, les auteurs visent une interprétabilité rare dans la littérature du LfD, où l'on sait précisément pourquoi et quand le robot change de comportement. Pour des intégrateurs industriels confrontés à des tâches d'assemblage ou de maintenance à forte variabilité géométrique, comme le boulonnage ou le verrouillage, l'intérêt tient à une programmation par démonstration unique, robuste aux variations imprévues et généralisable quand ces variations sont connues à l'avance, ce qui contredit l'idée que seule l'échelle des données garantit une manipulation fiable. Le travail s'inscrit dans un courant du LfD qui, selon les auteurs, néglige généralement la modélisation explicite du contact physique, alors que celui-ci est central dans la plupart des tâches de manipulation réelles. Ils présentent leur contribution comme un moyen de combler cette lacune d'interprétabilité en apprentissage à partir de très peu d'exemples, en détaillant comment robustesse, généralisation et adaptabilité peuvent être implémentées explicitement plutôt que laissées à l'apprentissage statistique. Publié comme preprint non encore évalué par les pairs, sans indication d'institution ni de calendrier de valorisation industrielle, il se positionne comme une contribution méthodologique plutôt qu'un produit, dans un paysage de la manipulation robotique dominé par des modèles fondationnels de type VLA entraînés sur de vastes corpus de démonstrations.

RecherchePaper

1 source

2arXiv cs.RO

ThorArena : évaluation de l'interaction physique humanoïde à partir de démonstrations humaines de mouvement et de force

Des chercheurs présentent sur arXiv (2607.06052) ThorArena, un nouveau benchmark pour évaluer l'interaction physique des robots humanoïdes en tenant compte des forces de contact, et non plus seulement du mouvement. L'équipe a constitué un jeu de données réel synchronisant le mouvement corporel complet d'un humain et les forces exercées par ses deux mains, sur six tâches d'interaction physique représentatives. À partir de ces démonstrations, elle propose le Force-Aware Tracking Score (FATS), une métrique qui évalue conjointement la précision du suivi corps entier, la robustesse à différents niveaux de force, l'effort de contrôle et la survie de l'épisode (le robot garde-t-il son équilibre sans échouer). Le protocole rejoue ensuite en simulation les forces d'interaction enregistrées, offrant une interface d'évaluation standardisée pour comparer différentes politiques de contrôle whole-body. Jusqu'ici, les jeux de données et benchmarks d'imitation de mouvement humanoïde se concentraient presque exclusivement sur la cinématique, laissant de côté les forces d'interaction synchronisées. Résultat : les évaluations existantes ne captaient pas comment les forces externes affectent la précision du suivi, la stabilité et la robustesse du contrôle, un angle mort critique dès qu'un robot humanoïde doit manipuler un objet, ouvrir une porte ou interagir physiquement avec un humain. Les expériences menées sur des politiques de contrôle whole-body représentatives montrent que l'évaluation sensible aux forces révèle des écarts de performance substantiels, invisibles dans les évaluations classiques sans force. Autrement dit, des politiques qui paraissent solides sur des métriques purement cinématiques peuvent s'avérer fragiles dès qu'elles rencontrent une résistance physique réelle, ce qui interroge la fiabilité des benchmarks actuels pour juger de la maturité réelle des humanoïdes destinés aux tâches à fort contact. ThorArena s'inscrit dans la lignée des travaux récents sur l'imitation de mouvement humanoïde et le contrôle corps entier, un domaine qui a rapidement progressé sur la précision du tracking mais restait largement évalué hors contexte de contact physique. En proposant un protocole unifié et reproductible, appuyé sur des démonstrations humaines synchronisant mouvement et force sur six tâches, les auteurs visent un standard d'évaluation partagé par la communauté robotique, à l'image de ce que les benchmarks de manipulation ont apporté à l'apprentissage par renforcement. Le travail ouvre la voie à des comparaisons plus rigoureuses entre politiques de contrôle issues de différents laboratoires, et pourrait orienter les prochaines générations de robots humanoïdes vers une robustesse accrue en interaction physique réelle, un prérequis pour des déploiements industriels ou domestiques crédibles.

RecherchePaper

1 source

3arXiv cs.RO

TwinRL : apprentissage par renforcement piloté par jumeau numérique pour la manipulation robotique réelle

Une équipe de chercheurs a publié TwinRL (arXiv:2602.09023), un framework de post-entraînement qui couple un jumeau numérique reconstruit par smartphone avec du reinforcement learning (RL) en monde réel pour affiner des modèles Vision-Language-Action (VLA) en manipulation robotique. La méthode se déroule en trois phases successives : un warm-up par fine-tuning supervisé (SFT), un warm-up RL dans le jumeau numérique, puis du RL directement sur robot. Sur quatre tâches de manipulation testées, TwinRL atteint un taux de succès proche de 100 % en configuration distributionnelle et hors-distribution, avec une convergence 30 % plus rapide que les méthodes de RL réel existantes. Élément frappant : seulement 20 minutes d'interaction physique sur robot sont nécessaires pour obtenir ces résultats, contre des heures ou journées typiques pour les approches concurrentes. L'importance de ce résultat tient à un verrou bien connu du secteur : les modèles VLA comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) généralisent bien mais restent coûteux à affiner, car ils dépendent de démonstrations expertes massives et leur exploration en RL réel est lente et peu couvrante. Les auteurs montrent expérimentalement que l'espace d'exploration du RL en ligne reste structurellement contraint par la distribution de trajectoires issue du SFT initial, ce qui explique les plafonds de performance observés dans la littérature. TwinRL contourne ce problème en utilisant le jumeau numérique non pas comme outil d'augmentation de données, mais comme guide actif d'exploration : il identifie les configurations difficiles et dirige les rollouts humains là où le robot échoue, réduisant drastiquement le temps on-robot. Pour un intégrateur ou un COO industriel, cela signifie que le déploiement de robots polyvalents pourrait ne plus nécessiter des semaines de collecte de données en production. Ce travail s'inscrit dans une vague de recherches cherchant à résoudre le sim-to-real gap sans recourir à des simulateurs coûteux : ici, la reconstruction du jumeau numérique part de simples captures smartphone, ce qui abaisse significativement la barrière d'entrée. Les approches concurrentes incluent le RL en simulation pure (souvent peu transférable), la distillation de politiques, et les méthodes de curriculum learning. TwinRL se distingue par son pipeline hybride et son usage ciblé de l'humain dans la boucle. Aucune date de déploiement industriel ni partenariat commercial n'est annoncé, il s'agit d'un résultat de recherche académique, mais la faible exigence en temps robot ouvre des perspectives concrètes pour des cellules de manipulation flexible dans l'industrie manufacturière ou logistique.

RechercheOpinion

1 source

4arXiv cs.RO

KPI : un noyau pilotable par instructions pour l'interaction physique des robots humanoïdes

Des chercheurs proposent KPI, un « noyau promptable » d'interaction physique qui s'insère entre la source de trajectoire et un tracker de corps entier non modifié sur robot humanoïde (preprint arXiv 2609.36151v1). Le principe : la source de trajectoire, qu'il s'agisse d'un humain en téléopération ou d'une politique de bout en bout, n'envoie plus seulement une référence de mouvement. Elle y joint un « contrat » qui précise, pour chaque direction, s'il faut suivre la référence, se laisser fléchir (comply) ou maintenir une plage d'effort. À partir de l'erreur de suivi et d'une estimation du torseur d'efforts (wrench), le noyau ajuste en continu la raideur, l'amortissement, la référence et le feedforward des bras, à la cadence du contact. Les auteurs l'illustrent avec un cadre agentique : à partir d'une seule instruction, un agent vision-langage écrit à la fois la trajectoire et le contrat, sans code spécifique à la tâche. Les démonstrations portent sur la manœuvre d'un treuil, l'ouverture d'une porte et le transport d'une boîte, complétées par des essais scriptés d'interaction avec des surfaces. Dans la démonstration la plus marquante, l'humanoïde actionne une manivelle pour hisser un second robot entièrement au-dessus du sol. Le résumé ne donne ni modèle de robot, ni taux de réussite, ni nombre d'essais. L'enjeu est un maillon souvent négligé de la pile logicielle des humanoïdes. Les trackers de corps entier généralistes suivent bien des trajectoires, mais une trajectoire dit peu de la force à produire : au contact, c'est le contrôleur qui décide du comportement réel. Jusqu'ici, deux approches dominent. Les politiques mono-tâche optimisent trajectoire et contrôleur ensemble en simulation, ce qui donne de bons résultats sur des interactions difficiles mais ne se généralise pas. Les architectures généralistes supposent un contrôleur prédéfini ou réglé à la main. KPI vise à séparer ces deux niveaux, ce qui permettrait de réutiliser un tracker existant pour des tâches riches en contact. Pour un intégrateur, c'est un levier potentiel sur les tâches de manipulation où la raideur et la gestion de l'effort décident du succès, comme les portes, les charges ou les outils. Il faut toutefois rester prudent : il s'agit d'un preprint, sans métriques chiffrées dans le résumé, et des démonstrations choisies par les auteurs ne prouvent ni la robustesse ni la répétabilité. La délégation à un agent VLM de la rédaction du contrat reste à valider hors des scénarios présentés. Ce travail s'inscrit dans la course aux modèles généralistes de corps entier et aux politiques vision-langage-action (VLA), où l'effort est traité en parent pauvre face à la perception et au suivi de mouvement. Il rejoint l'idée de commande en impédance et en admittance, ancienne en robotique, qu'il adapte à une interface pilotable par le langage. Le résumé ne cite ni plateforme, ni concurrent, ni calendrier de suite. Les prochaines étapes à surveiller sont la publication du code, des résultats quantitatifs sur plusieurs humanoïdes, et une éventuelle intégration dans les piles des acteurs industriels.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source