Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
DeformSmith : génération hiérarchique d'objets déformables guidée par harnais physique pour la manipulation robotique
RecherchearXiv cs.RO 

DeformSmith : génération hiérarchique d'objets déformables guidée par harnais physique pour la manipulation robotique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un framework baptisé DeformSmith, décrit dans un article publié sur arXiv en septembre 2026 (arXiv:2609.18620v1) avec une page projet dédiée, automatise la création d'objets déformables physiquement crédibles pour la manipulation robotique, à partir d'un texte ou d'une seule image. Le système combine une construction agentique hiérarchique et un harnais physique partagé : il construit, teste puis affine la géométrie, le modèle physique, le comportement des matériaux et l'interaction avec un bras robotique, jusqu'à obtenir un asset prêt pour la simulation. La boucle se referme via un retour d'interaction robotique, les essais générant des données rejouables qui corrigent l'objet. Les auteurs comparent leur méthode à trois références, PhysGen3D, PhysGM et PhysX-Omni, revendiquant une meilleure qualité visuelle et physique, sans chiffres précis à l'appui.

L'enjeu dépasse la démonstration académique. La manipulation d'objets déformables (tissus, câbles, emballages souples, aliments) reste un angle mort des politiques de manipulation robotique actuelles, entraînées surtout sur des objets rigides faute d'assets simulés en nombre et en qualité suffisants. En automatisant leur génération et en bouclant la construction avec un retour d'interaction simulé, DeformSmith cible le goulot d'étranglement des données plus que celui des algorithmes. Pour les laboratoires et intégrateurs qui veulent entraîner des politiques capables de plier, saisir ou déformer des objets mous, un tel outil pourrait réduire la dépendance à la capture de données réelles, coûteuse et difficile à mettre à l'échelle, sans garantir pour autant un transfert direct au monde réel.

Le travail s'inscrit dans une lignée de générateurs d'assets physiques pour la simulation robotique, dont PhysGen3D, PhysGM et PhysX-Omni sont les références directes de comparaison. Ces outils partagent le même constat : les moteurs de simulation modernes manquent moins de puissance de calcul que de contenu physiquement cohérent, surtout pour les corps mous. DeformSmith se distingue par son traitement couplé, plutôt que séquentiel, de la géométrie, de la physique et de l'interaction. À ce stade, il s'agit d'une publication de recherche sans déploiement industriel ni partenaire annoncé ; aucun calendrier de validation sur bras robotiques physiques n'est précisé, ce qui reste l'étape suivante logique pour confirmer l'intérêt de la méthode hors simulation.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

DiagGen : génération à base d'agents d'objets déformables avec diagnostics par simulation pour la robotique
1arXiv cs.RO 

DiagGen : génération à base d'agents d'objets déformables avec diagnostics par simulation pour la robotique

DiagGen est un framework agentique de recherche qui transforme une simple photo prise en conditions réelles en un asset déformable prêt pour la simulation robotique, via une boucle génération-simulation-diagnostic-correction. Le système construit d'abord une géométrie décomposée par parties ainsi que des paramètres matériaux, puis un agent basé sur un VLM (vision-language model) sélectionne les régions sémantiquement informatives de l'objet, les sonde dans un simulateur physique, observe la réponse du matériau simulé et transmet des indices de correction ciblés à l'étape de génération responsable de l'erreur. Les auteurs ont testé l'approche sur 40 assets et montrent que ce diagnostic basé sur la simulation produit des indices de correction utiles et améliore modérément la qualité des objets déformables générés. Ils démontrent également que les assets issus de DiagGen peuvent être directement intégrés dans un simulateur physique haute fidélité pour planifier des tâches de manipulation pick-and-place en contact riche, contrairement aux objets générés par des modèles de fondation visuels qui ne sont pas toujours simulables. Le projet, décrit dans un preprint arXiv publié en septembre 2026, met à disposition un site web (diaggen.github.io) présentant les résultats. L'enjeu pratique est significatif pour quiconque construit des pipelines de manipulation robotique en simulation: générer un asset visuellement réaliste ne garantit pas qu'il se comporte correctement sous contact physique, ce qui pousse aujourd'hui les équipes à corriger manuellement les objets déformables (tissus, sacs, objets mous) avant de les utiliser pour entraîner ou valider des politiques. En rebouclant la simulation dans le processus de génération, plutôt que de l'utiliser seulement comme vérification finale, DiagGen s'attaque directement à l'écart entre génération visuelle et simulabilité physique, un problème récurrent pour les approches d'entraînement en environnement synthétique destinées aux tâches de préhension et de manipulation fine. Pour les intégrateurs et laboratoires qui construisent des bibliothèques d'assets pour entraîner des politiques VLA ou des contrôleurs de manipulation, cela laisse entrevoir une réduction du travail manuel de nettoyage géométrique et matériau, même si l'amélioration mesurée reste qualifiée de "modérée" par les auteurs eux-mêmes, sur un échantillon limité à 40 objets. DiagGen s'inscrit dans un mouvement de recherche plus large visant à produire des environnements et objets synthétiques exploitables pour l'entraînement de politiques robotiques, un domaine où la plupart des frameworks existants de génération d'assets déformables évaluent la plausibilité physique seulement après coup, sans réinjecter cette information dans le pipeline de génération. Le papier se positionne explicitement face aux approches qui s'appuient sur des modèles de fondation visuels généralistes pour produire des objets 3D, en pointant leur absence de garantie de simulabilité. Publié sur arXiv (2609.23103) en tant que preprint de recherche, DiagGen reste à ce stade un travail académique accompagné d'un site de démonstration, sans indication d'intégration à un moteur de simulation commercial ni de calendrier de diffusion plus large; la suite logique évoquée consiste à étendre les tests au-delà des 40 assets actuels et à affiner la boucle de diagnostic pour d'autres catégories de matériaux déformables.

RecherchePaper
1 source
GHOST : politiques hiérarchiques à sous-objectifs pour généraliser la manipulation robotique
2arXiv cs.RO 

GHOST : politiques hiérarchiques à sous-objectifs pour généraliser la manipulation robotique

Des chercheurs ont publié le 10 juin 2026 un preprint arXiv (2606.10025) présentant GHOST, un framework pour politiques visuomotrices de manipulation robotique capables de généraliser au-delà de leur distribution d'entraînement. L'architecture repose sur une factorisation hiérarchique en deux niveaux : une politique haut niveau qui prédit le prochain sous-objectif sous forme de distribution sur les poses 3D de l'effecteur terminal à partir d'observations RGB-D multi-vues, et un contrôleur bas niveau conditionné sur ces objectifs qui génère les actions spécifiques à l'embodiment physique du robot. Pour relier les deux niveaux, les auteurs introduisent une interface spatiale qui projette les sous-objectifs 3D prédits dans le plan image sous forme de heatmaps de l'effecteur, une représentation volontairement simple mais compatible avec les pipelines d'entraînement existants. La politique haut niveau est entraînée sur des vidéos de démonstrations humaines brutes, sans retargeting d'actions, tandis que la politique bas niveau reste entraînée exclusivement sur des données robot. Le résultat central est que cette décomposition hiérarchique améliore systématiquement les performances et la robustesse par rapport à une Diffusion Policy plate (architecture de référence populaire depuis les travaux de Chi et al. en 2023) sur une suite de tâches de manipulation. L'insight clé est que les sous-objectifs en espace cartésien de l'effecteur sont largement "embodiment-agnostic" : la même politique haut niveau peut s'appliquer à différentes architectures de robots sans réentraînement complet. Cela contourne un goulot d'étranglement majeur dans le domaine, le retargeting d'actions depuis les démonstrations humaines, qui introduit habituellement un bruit significatif et limite la qualité des données d'entraînement. GHOST s'inscrit dans un courant actif de recherche sur l'utilisation des vidéos humaines comme source de supervision low-cost pour la robotique de manipulation, aux côtés d'approches comme pi-0 de Physical Intelligence ou des travaux sur les VLA (Visual-Language-Action models) de Google DeepMind avec RT-2 et GR00T N2 de NVIDIA. La principale limitation à noter : il s'agit d'un preprint non encore peer-reviewed, sans données de déploiement réel ni métriques de cycle time en contexte industriel. Les résultats concernent une suite de tâches de laboratoire ; la tenue à l'échelle dans des environnements moins contrôlés reste à démontrer. Aucun partenariat industriel ni timeline de commercialisation n'est annoncé.

RecherchePaper
1 source
Génération et intégration guidées par représentation de programmes exécutables pour la manipulation robotique
3arXiv cs.RO 

Génération et intégration guidées par représentation de programmes exécutables pour la manipulation robotique

Des chercheurs présentent RIVET (Representation-guided Integration of VLM-generated Executable Task programs), un framework qui utilise un modèle vision-langage pour générer automatiquement l'ensemble d'un système de manipulation robotique, perception, rendu, inférence de relations et planification, autour d'une représentation partagée combinant des poses 6D par objet et un graphe de relations entre objets. Décrit dans un papier arXiv (2609.31337v1), le système a été testé sur trois tâches, l'empilement de cubes, le réarrangement de tangram et l'assemblage tridimensionnel, à la fois en simulation et sur un robot physique réel. Les programmes générés une seule fois pour un domaine de manipulation donné sont ensuite réutilisés tels quels sur des configurations de départ et d'objectif jamais vues, sans nouvelle génération de code. En conditions réelles, les auteurs rapportent un taux de réussite global de 83 % en réutilisant des systèmes générés hors ligne. L'intérêt pour l'industrie robotique tient au problème que RIVET cible directement : quand un VLM génère séparément les modules de perception, de planification et de contrôle, ceux-ci opèrent souvent sur des représentations géométriques incompatibles, ce qui casse le pipeline complet. En imposant une représentation commune à tous les modules générés, l'approche évite cette fragmentation typique des pipelines "code généré par IA" en robotique. Pour les intégrateurs, l'argument clé est économique autant que technique : le code n'est produit qu'une fois par domaine puis réemployé sans réinvoquer le VLM à chaque nouvelle configuration, ce qui limite le coût d'inférence en déploiement. Un taux de succès réel de 83 % reste notable dans un domaine où l'écart entre simulation et monde réel demeure un obstacle documenté, même s'il s'agit ici de résultats de laboratoire sur un nombre restreint de tâches, à ne pas confondre avec une validation à l'échelle industrielle. RIVET s'inscrit dans un courant de recherche qui explore la génération de code exécutable par VLM comme alternative aux politiques vision-langage-action entraînées de bout en bout, du type de celles popularisées par des modèles comme Pi-0 ou GR00T N2, qui apprennent une correspondance directe perception-action sans passer par du code interprétable. Ce travail reste à ce stade un résultat académique, validé en simulation et sur un seul bras robotique en conditions de laboratoire, sans partenaire industriel ni calendrier de déploiement annoncé, une nuance qui le distingue nettement d'une annonce produit.

RecherchePaper
1 source
Compréhension vidéo découplée centrée sur les objets pour la génération de commandes de manipulation robotique
4arXiv cs.RO 

Compréhension vidéo découplée centrée sur les objets pour la génération de commandes de manipulation robotique

Des chercheurs ont publié en juin 2026 sur arXiv (2606.16470) un framework de compréhension vidéo orienté objets, conçu pour traduire automatiquement des démonstrations gestuelles en commandes exécutables par un bras robotique, sans passer par une syntaxe de programmation classique. La méthode combine des modules TSM (Temporal Shift Module) pour la classification spatio-temporelle d'actions avec un algorithme original de sélection d'objets qui identifie, dans chaque séquence, les objets fonctionnellement pertinents via trois critères : classification de rôle par trajectoire, détection de flou, et minimisation de chevauchements. Les objets retenus sont ensuite analysés par des VLMs (Vision-Language Models) pour la reconnaissance de catégorie et la généralisation zero-shot. Évalué sur une version modifiée du benchmark Something-Something V2, le système atteint 86,79 % de précision en classification d'actions, un score BLEU-4 de 0,337 sur des objets connus et 0,261 sur des objets inédits, soit des gains respectifs de +80,2 % et +143,9 % face au meilleur baseline spécialisé. Sur METEOR et CIDEr, les gains montent à +157,9 % et +171,7 % pour les objets inconnus. Ce résultat est notable pour deux raisons distinctes. D'abord, la généralisation sur des objets non vus durant l'entraînement, qui est précisément le point de rupture habituel des systèmes task-specific : un robot industriel déployé dans un environnement variable ne peut pas être ré-entraîné pour chaque référence produit. Ensuite, l'architecture modulaire découplée (reconnaissance d'action d'un côté, identification d'objet de l'autre) facilite la maintenance et le débogage en production, à l'inverse des architectures bout-en-bout opaques. Sur le papier, ce type de système pourrait réduire la dépendance à la téléopération manuelle pour constituer des datasets de manipulation, un coût majeur pour les déploiements à grande échelle. Il s'agit ici d'un preprint académique, pas d'un produit validé en environnement réel : les métriques sont mesurées sur un benchmark vidéo, pas sur un robot physique, ce qui laisse entier le sim-to-real gap. Le benchmark Something-Something V2 reste un cadre contrôlé, éloigné du désordre d'un atelier de production. Ce travail s'inscrit dans un mouvement plus large de recherche sur les VLA (Vision-Language-Action models), où des acteurs comme Physical Intelligence (pi), Google DeepMind ou le MIT tentent de résoudre exactement ce problème : faire apprendre un robot par observation vidéo plutôt que par démonstration manuelle coûteuse. La prochaine étape naturelle serait une validation sur hardware réel avec un bras collaboratif standard (UR, Franka), ce que le papier ne documente pas encore.

RechercheOpinion
1 source