RecherchearXiv cs.RO 21 juillet 2026

BoxTwin : apprendre la dynamique d'objets articulés élastoplastiques à partir de vidéos

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

BoxTwin est un framework de jumeau numérique interactif conçu pour apprendre, à partir de simples vidéos, la dynamique complète des objets articulés élastoplastiques (EAO) : des objets comme des boîtes en carton ou des structures pliables qui combinent élasticité non linéaire, déformation plastique irréversible et accumulation de dommages au fil des manipulations. Le pipeline reconstruit d'abord la scène filmée, puis identifie pour chaque objet un modèle constitutif informé par la physique, c'est-à-dire une représentation mathématique de son comportement mécanique réel plutôt qu'une approximation générique. Les auteurs ont testé leur méthode sur deux scénarios : le pliage manuel d'objets et leur manipulation par un bras robotique double (dual-arm). Résultat annoncé : le système suit précisément les trajectoires articulaires et reproduit le comportement plastique post-contact sur de longs horizons temporels, y compris après plusieurs cycles de déformation. Le travail est publié en préprint sur arXiv sous la référence 2607.17132v1.

L'enjeu concret touche la logistique et la manipulation industrielle, deux domaines où le carton, les boîtes pliables et autres contenants déformables sont omniprésents mais mal pris en charge par les simulateurs actuels, la plupart supposant des objets rigides ou purement élastiques sans mémoire de déformation. Cette limite alimente l'écart classique entre simulation et réel (sim-to-real gap) : un robot entraîné sur un jumeau numérique qui ignore l'usure et le fluage plastique d'un carton risque d'échouer en conditions réelles après quelques manipulations répétées. En captant ce comportement directement depuis la vidéo plutôt que via un modelage manuel coûteux, BoxTwin ouvre une piste pour entraîner des politiques de manipulation plus robustes sur des entrepôts ou lignes d'emballage, notamment pour les systèmes de préparation de commandes ou de tri assistés par bras robotiques.

Le sujet s'inscrit dans un champ de recherche encore restreint, à la croisée de la reconstruction 3D par vidéo, de la simulation physique différentiable et de la manipulation robotique de matériaux déformables (tissus, cartons, structures pliables), un terrain nettement moins mature que celui des jumeaux numériques pour robots rigides ou humanoïdes. S'agissant d'un préprint tout juste publié, aucun partenaire industriel, aucune intégration produit ni calendrier de déploiement n'est mentionné à ce stade : il s'agit d'une contribution académique, dont la suite logique serait une intégration dans des boucles de contrôle robotique pour une manipulation adaptative d'objets déformables en environnement non structuré, sans qu'un pilote concret soit annoncé pour l'instant.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

ChainSplat : un modèle inspiré de la physique et de la théorie des vis pour apprendre la dynamique d'objets linéaires déformables à partir de vidéos RGB multivues

Des chercheurs présentent ChainSplat, un cadre d'apprentissage qui reconstruit simultanément la géométrie 3D, l'apparence, la cinématique et la dynamique d'objets linéaires déformables (câbles, cordes, tuyaux) à partir de simples vidéos RGB multi-vues, sans capteur de profondeur. Publié sur arXiv (arXiv:2608.28570v1) le 28 août 2026, le système modélise l'objet déformable comme une chaîne ouverte de liaisons rigides reliées par des articulations rotoïdes, s'appuyant sur la théorie des vis (screw theory) pour obtenir une représentation d'état compacte paramétrée par les configurations articulaires. Cette formulation analytique est couplée au Gaussian splatting, ce qui permet un rendu RGB haute fidélité à partir de n'importe quel état reconstruit. Selon les auteurs, des expériences en conditions réelles montrent des performances état de l'art en prédiction de dynamique, reconstruction 3D et rendu visuel lors d'interactions dynamiques ; le code source et des vidéos de démonstration sont publiés sur chainsplat.github.io. Pour l'industrie robotique, l'enjeu dépasse la simple reconstruction visuelle : la manipulation de câbles, tuyaux et cordes reste un point faible connu des lignes d'assemblage automatisées, car les méthodes existantes reposent sur des pipelines multi-étapes fragiles et des entrées de profondeur auxiliaires peu fiables lors de mouvements rapides, tout en générant des espaces d'état de trop haute dimension pour un contrôle en temps réel. En réduisant la dynamique d'un objet déformable à un modèle articulaire compact exploitable pour l'optimisation de trajectoire, ChainSplat s'attaque directement au goulot d'étranglement du contrôle basé modèle. Les auteurs revendiquent une estimation d'état et de force en temps réel, un argument clé pour des intégrateurs cherchant à automatiser le câblage, le sertissage de tuyaux ou la manipulation de harnais électriques, tâches jusqu'ici largement dévolues à des opérateurs humains faute de modèles physiques suffisamment légers et précis. Ce travail s'inscrit dans une lignée de recherche académique visant à combiner modèles physiques explicites et représentations neuronales de scène, dans la continuité des avancées en Gaussian splatting pour la robotique. Contrairement aux approches purement data-driven à la Pi-0 ou GR00T N2 pour la manipulation générale, ChainSplat cible spécifiquement le sous-problème des objets linéaires déformables avec un a priori physique fort, une piste que plusieurs laboratoires explorent en parallèle pour contourner le coût d'apprentissage des dynamiques haute dimension. L'article ne précise pas de partenariat industriel ni de calendrier de transfert vers un produit commercial ; il s'agit à ce stade d'une contribution de recherche avec code ouvert, dont la prochaine étape naturelle serait une validation sur des tâches de manipulation robotique complètes plutôt que sur les seules métriques de reconstruction et de prédiction présentées ici.

RecherchePaper

1 source

2arXiv cs.RO

Apprendre à explorer la cinématique cachée pour manipuler des objets articulés

Une équipe de chercheurs publie sur arXiv (v1, septembre 2026) une méthode pour manipuler des objets articulés, comme des portes et des tiroirs, dont la cinématique réelle ne se devine pas à la seule vue. Le système maintient une distribution de croyance sur le type d'articulation (rotoïde, prismatique) et sur ses paramètres. Cette croyance est initialisée par un prior génératif, puis mise à jour par filtrage bayésien à partir du mouvement observé de la pièce. Pour la fournir à la politique, les auteurs la convertissent en champ de flux d'articulation par point : le mouvement que le postérieur actuel prédit pour chaque point de l'objet. La politique est entraînée par apprentissage par renforcement, avec pour récompense l'entropie retirée du postérieur par chaque interaction. Sur le benchmark PartManip, la méthode dépasse les approches précédentes en manipulation de portes et de tiroirs. Elle atteint 61,7 % de succès sur ArticuRiddle, un nouveau jeu de données d'objets dont l'apparence suggère une mauvaise articulation, contre 44,4 % pour la meilleure méthode antérieure. Les résultats proviennent de simulation, et le résumé ne mentionne aucun test sur robot physique. L'enjeu dépasse la performance brute. Les méthodes de perception active existantes cherchent, à chaque pas, l'action unique qui réduit le plus l'incertitude. Cette recherche gloutonne ne s'étend pas sur un horizon long, faute de modèles directs de la dynamique de contact et d'inertie, eux-mêmes inconnus. Déplacer ce coût vers l'entraînement, pour que l'exploration informative devienne un comportement appris, évite un calcul d'inférence à chaque pas. Le choix de la représentation compte aussi : selon les auteurs, le flux d'articulation généralise mieux qu'un encodage latent de la croyance ou qu'un flux suivi sur l'observation, car il porte le biais inductif du mouvement articulé. Pour un intégrateur, la portée est concrète. Les robots de service, de logistique ou de cuisine rencontrent des portes, tiroirs et armoires dont l'apparence trompe. Cela dit, un gain de 17 points reste un score de 61,7 %, loin d'une fiabilité de déploiement. La différence avec ce que les grands modèles VLA font aujourd'hui reste nette : ils imitent des démonstrations plutôt que de lever activement une ambiguïté. Ce travail s'inscrit dans la lignée de la perception interactive et de l'estimation de modèles articulés, où PartManip a servi de référence pour la manipulation de parties d'objets. ArticuRiddle cible un point faible connu : les priors visuels appris qui échouent quand la forme trompe. Les auteurs ne citent pas de partenaire industriel, ni de calendrier de transfert. Les suites logiques sont une validation sur bras réels, où le bruit tactile et le frottement compliquent le filtrage bayésien, puis l'intégration dans des politiques généralistes. Le projet est documenté sur hiddenkinematics.github.io.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

LD4WAM : apprendre les dynamiques latentes à partir de vidéos humaines pour des modèles d'action du monde

Des chercheurs ont publié en août 2026 sur arXiv un article présentant LD4WAM, une méthode pour entraîner des World Action Models à partir de vidéos humaines plutôt que de données de téléopération, coûteuses à collecter. Le système associe un Latent Dynamics Model, entraîné par reconstruction sémantique et alignement sur le mouvement réel, à un World Dynamics Action Model en mixture-of-transformers, qui génère des vidéos futures puis en extrait, via des requêtes apprenables, une dynamique latente conditionnant les actions du robot. Pré-entraîné sur un jeu de données unifié de plus de 5 000 heures de vidéos humaines et robotiques, le modèle affiche de bons résultats dans le simulateur RoboTwin et sur des robots réels équipés de pinces et de mains dexterisées, avec une généralisation à des objets et arrière-plans inédits. L'enjeu dépasse la prouesse technique. La vidéo humaine est bien plus abondante et moins chère à collecter que les démonstrations téléopérées, mais son exploitation butait sur un dilemme entre prédiction vidéo pixel par pixel, riche mais non actionnable, et retargeting du mouvement vers le squelette du robot, actionnable mais marqué par un fossé visuel entre corps humain et robot. En proposant une dynamique latente alignée sur le mouvement, agnostique à l'embodiment, LD4WAM cherche à combler ce fossé, ce qui pourrait réduire la dépendance des laboratoires aux campagnes de téléopération pour entraîner des politiques de manipulation, un des principaux goulots d'étranglement du passage à l'échelle des modèles vision-langage-action. Ce travail s'inscrit dans une vague de recherche plus large sur les modèles de monde en robotique, aux côtés d'efforts comme GR00T de NVIDIA, pi-0 de Physical Intelligence ou Helix de Figure, qui explorent aussi l'exploitation de données hétérogènes pour des politiques généralistes. LD4WAM se positionne explicitement contre les deux paradigmes qui l'ont précédé, prédiction vidéo pure et retargeting de mouvement. Il s'agit pour l'instant d'un article déposé sur arXiv, non encore relu par les pairs, sans code publié ni partenariat industriel annoncé, et les démonstrations réelles restent limitées au laboratoire, sans détail sur le taux de réussite.

RecherchePaper

1 source

4arXiv cs.RO

Secouer pour apprendre : interrogation dynamique de la physique cachée des objets par calcul à réservoir physique

Une prépublication arXiv (2609.20970v1) décrit un bras robotique souple inspiré de l'origami capable d'inférer des propriétés physiques cachées d'un objet, notamment la position de son centre de masse, simplement en le secouant après l'avoir saisi. Le bras fonctionne comme un "réservoir computer" physique : une vibration fixe est appliquée à sa base après la prise, et la réponse transitoire qui suit, le "ringdown", est captée par caméra ou par des capteurs embarqués, la dynamique du système bras-objet couplé encodant directement l'information recherchée, qu'un simple lecteur linéaire suffit ensuite à décoder. Le système a rempli trois tâches de difficulté croissante : déterminer l'orientation du centre de masse caché, estimer sa distance au point de préhension, puis exploiter cette estimation pour réaliser un regrasp mieux adapté. Une représentation résumée du signal de ringdown, développée par les auteurs, améliore encore la précision des prédictions. Cette démonstration propose une alternative aux approches de perception robotique reposant sur la vision ou des capteurs de force et de couple dédiés, inefficaces face à des objets scellés ou opaques dont le contenu et le centre de masse restent invisibles. En déportant une partie du calcul vers la dynamique mécanique du bras lui-même plutôt que vers un traitement numérique lourd, la méthode ouvre une piste peu coûteuse en énergie et en puissance de calcul, pertinente pour des intégrateurs travaillant sur la manipulation d'objets hétérogènes en logistique ou en tri. Elle montre surtout qu'une brève interaction physique, une simple secousse, peut remplacer des capteurs internes complexes pour guider une décision de re-prise. Il s'agit néanmoins d'un résultat de laboratoire, validé sur un nombre limité de tâches et d'objets, loin d'un système prêt pour un déploiement industriel. Ce travail relève du réservoir computing physique, un champ qui utilise un système physique non linéaire, ici un actionneur souple en origami, comme substrat de calcul plutôt qu'un réseau de neurones numérique classique, une approche déjà explorée avec des matériaux souples ou des structures mécaniques. Il rejoint les recherches en robotique souple sur la manipulation sous incertitude, où la plupart des méthodes existantes reposent sur l'estimation inertielle ou sur la vision plutôt que sur la réponse dynamique du couple robot-objet. Les auteurs présentent leurs résultats comme une validation de principe, baptisée "shake-to-learn", et évoquent l'extension de cette interrogation mécanique à d'autres propriétés cachées et à des scénarios de manipulation plus complexes, sans calendrier annoncé pour un transfert vers des applications industrielles.

RecherchePaper

1 source