RecherchearXiv cs.RO 31 août 2026

ChainSplat : un modèle inspiré de la physique et de la théorie des vis pour apprendre la dynamique d'objets linéaires déformables à partir de vidéos RGB multivues

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent ChainSplat, un cadre d'apprentissage qui reconstruit simultanément la géométrie 3D, l'apparence, la cinématique et la dynamique d'objets linéaires déformables (câbles, cordes, tuyaux) à partir de simples vidéos RGB multi-vues, sans capteur de profondeur. Publié sur arXiv (arXiv:2608.28570v1) le 28 août 2026, le système modélise l'objet déformable comme une chaîne ouverte de liaisons rigides reliées par des articulations rotoïdes, s'appuyant sur la théorie des vis (screw theory) pour obtenir une représentation d'état compacte paramétrée par les configurations articulaires. Cette formulation analytique est couplée au Gaussian splatting, ce qui permet un rendu RGB haute fidélité à partir de n'importe quel état reconstruit. Selon les auteurs, des expériences en conditions réelles montrent des performances état de l'art en prédiction de dynamique, reconstruction 3D et rendu visuel lors d'interactions dynamiques ; le code source et des vidéos de démonstration sont publiés sur chainsplat.github.io.

Pour l'industrie robotique, l'enjeu dépasse la simple reconstruction visuelle : la manipulation de câbles, tuyaux et cordes reste un point faible connu des lignes d'assemblage automatisées, car les méthodes existantes reposent sur des pipelines multi-étapes fragiles et des entrées de profondeur auxiliaires peu fiables lors de mouvements rapides, tout en générant des espaces d'état de trop haute dimension pour un contrôle en temps réel. En réduisant la dynamique d'un objet déformable à un modèle articulaire compact exploitable pour l'optimisation de trajectoire, ChainSplat s'attaque directement au goulot d'étranglement du contrôle basé modèle. Les auteurs revendiquent une estimation d'état et de force en temps réel, un argument clé pour des intégrateurs cherchant à automatiser le câblage, le sertissage de tuyaux ou la manipulation de harnais électriques, tâches jusqu'ici largement dévolues à des opérateurs humains faute de modèles physiques suffisamment légers et précis.

Ce travail s'inscrit dans une lignée de recherche académique visant à combiner modèles physiques explicites et représentations neuronales de scène, dans la continuité des avancées en Gaussian splatting pour la robotique. Contrairement aux approches purement data-driven à la Pi-0 ou GR00T N2 pour la manipulation générale, ChainSplat cible spécifiquement le sous-problème des objets linéaires déformables avec un a priori physique fort, une piste que plusieurs laboratoires explorent en parallèle pour contourner le coût d'apprentissage des dynamiques haute dimension. L'article ne précise pas de partenariat industriel ni de calendrier de transfert vers un produit commercial ; il s'agit à ce stade d'une contribution de recherche avec code ouvert, dont la prochaine étape naturelle serait une validation sur des tâches de manipulation robotique complètes plutôt que sur les seules métriques de reconstruction et de prédiction présentées ici.

Dans nos dossiers

NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

RopeDreamer : modèle d'espace d'état récurrent cinématique pour la dynamique des objets linéaires déformables

Une équipe de chercheurs propose RopeDreamer, une architecture de dynamique latente pour la prédiction du comportement d'objets linéaires déformables (DLOs) tels que câbles, cordes ou tubes flexibles, publiée en préprint sur arXiv (identifiant 2604.28161). Le modèle combine un Recurrent State Space Model (RSSM) avec une représentation cinématique quaternionique : plutôt que d'encoder chaque noeud du DLO en coordonnées cartésiennes indépendantes, la structure est décrite comme une chaîne de rotations relatives, contraignant structurellement le réseau à des configurations physiquement valides et préservant la constance des longueurs de segment. Une architecture à double décodeur découple la reconstruction d'état de la prédiction future, forçant l'espace latent à capturer la physique de la déformation plutôt que de simples corrélations statistiques. Évalué sur un dataset simulé de trajectoires pick-and-place incluant des auto-intersections complexes, RopeDreamer affiche une réduction de 40,52 % de l'erreur de prédiction en boucle ouverte sur des horizons de 50 pas de temps, et réduit le temps d'inférence de 31,17 % par rapport à la baseline de référence. La manipulation de DLOs constitue un goulot d'étranglement industriel concret dans le câblage automobile (harnais), l'assemblage électronique et la chirurgie robotisée (sutures, cathéters). Les approches data-driven précédentes, basées sur des réseaux récurrents ou des graph neural networks, produisaient des déformations non physiques, notamment des étirements de segments et des intersections fantômes rendant la planification long terme peu fiable. L'encodage quaternionique de RopeDreamer adresse directement ces artefacts en opérant sur la variété des rotations plutôt que l'espace euclidien. La capacité à maintenir la cohérence topologique lors de croisements multiples ouvre la voie à des tâches comme le routage de câbles ou le nouage. Limite importante : toutes les évaluations sont réalisées en simulation uniquement, le sim-to-real gap restant un problème non adressé dans ce travail. La manipulation de DLOs est étudiée depuis les années 2000, d'abord avec des modèles mécaniques continus (éléments finis, modèles de Cosserat), avant que les approches data-driven s'imposent à partir de 2018, portées par des équipes à Berkeley, l'ETH Zürich et au MIT. Des simulateurs comme MuJoCo et Isaac Lab de NVIDIA intègrent désormais des primitives DLO, facilitant la génération de données d'entraînement à grande échelle. RopeDreamer se distingue par son emprunt à la cinématique de corps articulés, représentation standard en animation 3D et robotique humanoïde, une convergence méthodologique encore peu exploitée pour les objets souples. L'affiliation institutionnelle des auteurs n'est pas mentionnée dans le préprint disponible. Les prochaines étapes naturelles incluent une validation sur robot physique, un défi dans lequel des équipes européennes, notamment à l'INRIA et au CNRS, sont actives sur des problèmes adjacents de manipulation déformable.

UELes équipes INRIA et CNRS, actives sur la manipulation d'objets déformables, pourraient s'appuyer sur cette approche cinématique quaternionique pour leurs travaux en robotique chirurgicale et assemblage industriel, sous réserve d'une validation sim-to-real.

RecherchePaper

1 source

2arXiv cs.RO

De la vidéo au modèle : modélisation automatique des objets linéaires déformables

Une équipe de chercheurs publie sur arXiv (octobre 2026) un cadre « vidéo-to-model » qui génère automatiquement le modèle de mouvement d'un fil de suture déformable à partir d'une simple vidéo. Le pipeline comporte trois étages. Un module de perception localise et suit le fil dans l'image, et produit une séquence ordonnée de nœuds le long du fil. Un réseau de neurones convolutif spatio-temporel analyse ensuite ce mouvement observé et estime les paramètres effectifs d'un modèle structuré de type CBF-CLF-QP. Ce modèle repose sur des fonctions de barrière de contrôle (CBF) et de Lyapunov (CLF), résolues sous forme de programme quadratique (QP). Il décrit le comportement d'une corde avec un nombre réduit de paramètres. Ces paramètres servent enfin à simuler le fil sous une vitesse d'aiguille choisie par l'utilisateur. Les auteurs affirment avoir testé le système sur des configurations de fil et des mouvements jamais vus à l'entraînement. Ils rapportent une reconstruction fiable du comportement et une erreur de suivi faible. L'abstract ne chiffre ni cette erreur, ni le nombre de fils testés, ni la nature des vidéos, simulées ou réelles. L'intérêt tient à un goulot d'étranglement bien connu de la manipulation d'objets linéaires déformables (câbles, fils, sutures). Leur simulation exige en général un réglage manuel de paramètres physiques (raideur, amortissement, frottement), long et peu transposable d'un matériau à l'autre. Estimer ces paramètres directement depuis la vidéo ouvre la voie à des jumeaux numériques calibrés automatiquement, utiles pour la chirurgie robotisée, la planification de suture et la génération de données de simulation. Cela concerne aussi le câblage industriel, où les harnais et câbles restent un cas difficile d'automatisation. Le choix d'un modèle structuré à peu de paramètres, plutôt que d'un réseau de bout en bout, va dans le sens d'une approche plus interprétable et plus contrôlable, qui limite l'écart sim-to-real. Les limites sont réelles : le résultat est présenté comme « un pas » vers la modélisation automatique, sans comparaison annoncée avec des méthodes de référence ni validation sur un robot en boucle fermée. Ces travaux s'inscrivent dans la robotique chirurgicale autonome, où la suture est une tâche emblématique (sur la lignée des démonstrations de type STAR) et où la dynamique du fil reste mal modélisée. Ils prolongent le modèle CBF-CLF-QP développé récemment, qui visait à simplifier la caractérisation du mouvement de cordes. Ils croisent aussi la recherche sur la simulation différentiable de matériaux déformables et l'identification de paramètres par apprentissage. Les prochaines étapes naturelles seraient une validation sur vidéos réelles de suture avec occlusions et reflets, une généralisation à d'autres matériaux et la fermeture de la boucle avec un contrôleur robotique. Aucun calendrier de déploiement ou partenaire industriel n'est mentionné à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

LD4WAM : apprendre les dynamiques latentes à partir de vidéos humaines pour des modèles d'action du monde

Des chercheurs ont publié en août 2026 sur arXiv un article présentant LD4WAM, une méthode pour entraîner des World Action Models à partir de vidéos humaines plutôt que de données de téléopération, coûteuses à collecter. Le système associe un Latent Dynamics Model, entraîné par reconstruction sémantique et alignement sur le mouvement réel, à un World Dynamics Action Model en mixture-of-transformers, qui génère des vidéos futures puis en extrait, via des requêtes apprenables, une dynamique latente conditionnant les actions du robot. Pré-entraîné sur un jeu de données unifié de plus de 5 000 heures de vidéos humaines et robotiques, le modèle affiche de bons résultats dans le simulateur RoboTwin et sur des robots réels équipés de pinces et de mains dexterisées, avec une généralisation à des objets et arrière-plans inédits. L'enjeu dépasse la prouesse technique. La vidéo humaine est bien plus abondante et moins chère à collecter que les démonstrations téléopérées, mais son exploitation butait sur un dilemme entre prédiction vidéo pixel par pixel, riche mais non actionnable, et retargeting du mouvement vers le squelette du robot, actionnable mais marqué par un fossé visuel entre corps humain et robot. En proposant une dynamique latente alignée sur le mouvement, agnostique à l'embodiment, LD4WAM cherche à combler ce fossé, ce qui pourrait réduire la dépendance des laboratoires aux campagnes de téléopération pour entraîner des politiques de manipulation, un des principaux goulots d'étranglement du passage à l'échelle des modèles vision-langage-action. Ce travail s'inscrit dans une vague de recherche plus large sur les modèles de monde en robotique, aux côtés d'efforts comme GR00T de NVIDIA, pi-0 de Physical Intelligence ou Helix de Figure, qui explorent aussi l'exploitation de données hétérogènes pour des politiques généralistes. LD4WAM se positionne explicitement contre les deux paradigmes qui l'ont précédé, prédiction vidéo pure et retargeting de mouvement. Il s'agit pour l'instant d'un article déposé sur arXiv, non encore relu par les pairs, sans code publié ni partenariat industriel annoncé, et les démonstrations réelles restent limitées au laboratoire, sans détail sur le taux de réussite.

RecherchePaper

1 source

4arXiv cs.RO

BoxTwin : apprendre la dynamique d'objets articulés élastoplastiques à partir de vidéos

BoxTwin est un framework de jumeau numérique interactif conçu pour apprendre, à partir de simples vidéos, la dynamique complète des objets articulés élastoplastiques (EAO) : des objets comme des boîtes en carton ou des structures pliables qui combinent élasticité non linéaire, déformation plastique irréversible et accumulation de dommages au fil des manipulations. Le pipeline reconstruit d'abord la scène filmée, puis identifie pour chaque objet un modèle constitutif informé par la physique, c'est-à-dire une représentation mathématique de son comportement mécanique réel plutôt qu'une approximation générique. Les auteurs ont testé leur méthode sur deux scénarios : le pliage manuel d'objets et leur manipulation par un bras robotique double (dual-arm). Résultat annoncé : le système suit précisément les trajectoires articulaires et reproduit le comportement plastique post-contact sur de longs horizons temporels, y compris après plusieurs cycles de déformation. Le travail est publié en préprint sur arXiv sous la référence 2607.17132v1. L'enjeu concret touche la logistique et la manipulation industrielle, deux domaines où le carton, les boîtes pliables et autres contenants déformables sont omniprésents mais mal pris en charge par les simulateurs actuels, la plupart supposant des objets rigides ou purement élastiques sans mémoire de déformation. Cette limite alimente l'écart classique entre simulation et réel (sim-to-real gap) : un robot entraîné sur un jumeau numérique qui ignore l'usure et le fluage plastique d'un carton risque d'échouer en conditions réelles après quelques manipulations répétées. En captant ce comportement directement depuis la vidéo plutôt que via un modelage manuel coûteux, BoxTwin ouvre une piste pour entraîner des politiques de manipulation plus robustes sur des entrepôts ou lignes d'emballage, notamment pour les systèmes de préparation de commandes ou de tri assistés par bras robotiques. Le sujet s'inscrit dans un champ de recherche encore restreint, à la croisée de la reconstruction 3D par vidéo, de la simulation physique différentiable et de la manipulation robotique de matériaux déformables (tissus, cartons, structures pliables), un terrain nettement moins mature que celui des jumeaux numériques pour robots rigides ou humanoïdes. S'agissant d'un préprint tout juste publié, aucun partenaire industriel, aucune intégration produit ni calendrier de déploiement n'est mentionné à ce stade : il s'agit d'une contribution académique, dont la suite logique serait une intégration dans des boucles de contrôle robotique pour une manipulation adaptative d'objets déformables en environnement non structuré, sans qu'un pilote concret soit annoncé pour l'instant.

RecherchePaper

1 source