Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Sculpture visuelle : représentations de planification alignées visuellement pour la modélisation d'argile robotique sur de longues séquences
RecherchearXiv cs.RO 

Sculpture visuelle : représentations de planification alignées visuellement pour la modélisation d'argile robotique sur de longues séquences

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (référence 2605.17556, mai 2025) une méthode de sculpture robotisée de l'argile reposant sur une planification à long horizon dans un espace de représentation visuellement aligné. Le système, baptisé Visual Sculpting, formule la tâche comme un problème de correspondance entre formes : à partir d'une forme cible, le robot calcule une séquence de plus de 100 actions de poussée paramétrées avec un seul effecteur pour déformer progressivement la matière. La méthode a été validée sur trois matériaux déformables distincts et avec plusieurs types d'effecteurs. Les sculptures obtenues sont des reliefs en argile réalisés en boucle fermée, sans intervention humaine entre les passes.

La contribution centrale est un modèle de dynamique des matériaux déformables opérant dans un espace de représentation qui encode non seulement la géométrie, mais aussi la texture et l'éclairage de la surface, contrairement aux approches précédentes fondées sur des nuages de points épars. Cette différence est notable pour la manipulation de matières molles, où l'apparence visuelle conditionne la précision des estimations d'état. Les auteurs rapportent des performances comparables à l'état de l'art sur les métriques géométriques classiques, avec l'avantage supplémentaire d'une compatibilité native avec les planificateurs visuels, ouvrant la voie à une intégration plus directe avec des politiques de type VLA (Vision-Language-Action). L'article reconnaît cependant que planifier directement dans cet espace visuel reste plus difficile que dans un espace 3D structuré, un point de friction technique qui devra être résolu avant toute application industrielle.

Les travaux sur la manipulation d'objets déformables connaissent une accélération depuis 2022-2023, portés notamment par les progrès des modèles de dynamique neuronaux et l'essor des robots à manipulation dextre. La limite principale des systèmes précédents était la nécessité de réentraîner une politique par objectif, ce que cette approche cherche à contourner via une représentation généraliste. Aucune entreprise ni déploiement industriel n'est associé à ces travaux pour l'instant : il s'agit d'un preprint académique sans validation terrain. Les prochaines étapes probables incluent l'extension à des tâches de déformation bidirectionnelle et le test sur des bras industriels standards comme le Franka ou l'UR10.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Apprentissage de points latents structurels pour des représentations visuelles efficaces en manipulation robotique
1arXiv cs.RO 

Apprentissage de points latents structurels pour des représentations visuelles efficaces en manipulation robotique

Une équipe de recherche propose, dans un prépublication arXiv (identifiant 2605.21258, mai 2026), un nouveau cadre de pré-entraînement pour la perception 3D appliquée à la manipulation robotique. L'idée centrale est une représentation hybride baptisée "structural latent points" : les auteurs insèrent un variational autoencoder (VAE) point-à-point dans l'espace latent d'un autoencoder de nuages de points (point cloud), en régularisant simultanément les coordonnées et les features vers une distribution gaussienne. Le résultat est une représentation compacte qui capture des tendances structurelles globales, une forme approximative et une information sémantique, sans encoder une géométrie précise. Le pipeline de rendu repose sur la 3D Gaussian Splatting (3DGS), délibérément allégée pour laisser la capacité représentationnelle au module latent frontal. Les évaluations sont menées sur RLBench, ManiSkill2, et une plateforme robot réelle, avec des ablations confirmant la contribution de chaque composant. L'intérêt de cette approche tient à un problème connu des intégrateurs et des équipes de recherche en manipulation : les représentations implicites (champs neuronaux, NeRF) sont expressives mais manquent de repères structurels exploitables, tandis que les représentations explicites (primitives géométriques, meshes) préservent la géométrie au prix d'une résolution limitée et d'une faible généralisation hors distribution. L'architecture proposée tente de cumuler les avantages des deux familles. Les auteurs revendiquent des gains en taux de succès de tâche, en efficacité d'échantillonnage et en robustesse aux variations de point de vue, trois métriques directement pertinentes pour le déploiement industriel. Nuance à noter : l'abstract ne fournit aucun chiffre absolu, ce qui rend la comparaison indépendante impossible sans lire les tableaux complets du papier. Cette publication s'inscrit dans une vague dense de travaux sur le pré-entraînement 3D pour la manipulation incarnée, domaine en ébullition depuis l'émergence des VLA (Vision-Language-Action models) et des politiques diffusion comme pi0 ou ACT. Les benchmarks choisis, RLBench (simulation tabletop, DeepMind) et ManiSkill2 (simulation GPU-parallèle, UCSD), sont des standards de facto du domaine. L'absence de mention d'affiliation institutionnelle ou industrielle dans l'abstract empêche tout positionnement concurrentiel précis, mais la direction prise converge avec les efforts de groupes comme Physical Intelligence, Google DeepMind ou CMU sur la représentation perceptuelle robuste comme socle pour la généralisation des politiques de manipulation.

RecherchePaper
1 source
RARA : affinement robuste de politiques par alignement des représentations ancré sur la récupération, pour la manipulation robotique
2arXiv cs.RO 

RARA : affinement robuste de politiques par alignement des représentations ancré sur la récupération, pour la manipulation robotique

Des chercheurs proposent RARA (Retrieval-Anchored Representation Alignment), une méthode d'adaptation en deux étapes pour les politiques robotiques pré-entraînées, notamment les modèles VLA (Vision-Language-Action), publiée sur arXiv (2610.13578). Dans un premier temps, RARA récupère dans les données de pré-entraînement des démonstrations dont l'intention de tâche et le mouvement sont proches de la tâche cible. Il aligne ensuite les représentations internes de la politique sur les démonstrations cibles avec les représentations pré-entraînées des démonstrations récupérées. Dans un second temps, la politique est affinée sur les démonstrations cibles, tandis qu'une contrainte limite la variation de ses représentations des démonstrations récupérées. Les tests portent sur Diffusion Policy et GR00T, sur 13 tâches réparties entre les benchmarks de simulation RoboTwin et RoboCasa et un robot réel. Les auteurs annoncent un gain moyen de 9,5 points de taux de succès en distribution et de 13,6 points hors distribution par rapport à un fine-tuning classique, ainsi qu'une supériorité sur toutes les méthodes de référence comparées. Le problème visé est central pour quiconque veut déployer des modèles généralistes en production. Adapter un VLA à une nouvelle tâche avec quelques démonstrations suffit souvent à obtenir de bons résultats dans les conditions d'entraînement, mais ce fine-tuning direct déforme les représentations acquises lors du pré-entraînement. Le modèle perd alors une part de sa robustesse face à un changement d'éclairage, d'objet ou de configuration de scène. Pour un intégrateur, cet écart entre performance en laboratoire et fiabilité sur site constitue l'un des principaux freins au passage à l'échelle. Le gain hors distribution, plus marqué que le gain en distribution, va dans le sens de l'hypothèse selon laquelle la dérive des représentations est une cause réelle de fragilité, et pas seulement un détail de réglage. Il faut toutefois rester prudent. Il s'agit d'un preprint non évalué par les pairs, et les chiffres sont des moyennes sur seulement 13 tâches. Le détail du protocole de test en conditions réelles, la taille de l'échantillon et la variance des résultats ne sont pas précisés dans le résumé. Les coûts de l'étape de récupération, notamment l'accès aux données de pré-entraînement, ne sont pas non plus chiffrés. La méthode s'inscrit dans un courant plus large qui cherche à préserver les connaissances du pré-entraînement lors de l'adaptation, par analogie avec les travaux sur l'oubli catastrophique en modèles de langage et en vision. Le choix de GR00T, la famille de modèles fondation de NVIDIA pour l'humanoïde, et de Diffusion Policy, une référence académique pour l'imitation, montre que l'approche se veut indépendante de l'architecture. Elle reste à confirmer sur d'autres VLA, comme Pi-0 ou Helix, et sur des tâches plus longues et plus variées. Une limite pratique apparaît d'emblée: la méthode suppose de disposer des données de pré-entraînement, ce qui n'est pas toujours le cas pour les modèles ouverts dont seuls les poids sont publiés. Les auteurs mettent une page projet à disposition, ce qui devrait permettre aux équipes industrielles d'évaluer rapidement la reproductibilité.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Représentations sémantiques et géométriques des tâches pour la manipulation bimanuelles : des démonstrations humaines à la planification robotique
3arXiv cs.RO 

Représentations sémantiques et géométriques des tâches pour la manipulation bimanuelles : des démonstrations humaines à la planification robotique

Des chercheurs ont publié une approche pour apprendre des représentations structurées de tâches bimanuelles directement à partir de démonstrations humaines, sans annotation manuelle des actions. Le système, baptisé représentation sémantique-géométrique par graphe, combine un encodeur de type Message Passing Neural Network (MPNN) avec un décodeur Transformer. L'encodeur opère sur un graphe de scène temporel : il capture les identités des objets, leurs relations sémantiques mutuelles et l'historique de leurs mouvements. Le décodeur, conditionné par le contexte d'action, prédit l'action suivante, les objets impliqués et leurs trajectoires. L'ensemble a été évalué sur onze tâches bimanuelles issues de deux jeux de données distincts, et déployé avec succès sur deux tâches réelles en boucle fermée, via un planificateur couplant les prédictions à des Probabilistic Movement Primitives (ProDMP). L'apport principal réside dans le découplage entre encodeur et décodeur : l'encodeur produit des représentations dites agnostiques à la tâche, réutilisables sur différents robots via un simple fine-tuning du décodeur sur un petit dataset robot. En pratique, cela réduit significativement le coût de ré-entraînement lors d'un changement de plateforme ou d'effecteur. Les résultats montrent que le bénéfice des représentations sémantiques-géométriques sur les modèles séquentiels plus simples s'accentue avec la variabilité des tâches : plus l'ordre des actions et les objets impliqués varient d'une exécution à l'autre, plus l'avantage est marqué. Le système surpasse des baselines incluant un Transformer pur, un décodeur seul, et des modèles vision-langage fine-tunés (VLM), ce qui est notable même si les benchmarks utilisés restent internes aux auteurs et non standardisés dans la communauté. Ce travail s'inscrit dans un effort plus large visant à combler le fossé entre manipulation bimanuelle en laboratoire et déploiement industriel, là où la reproductibilité d'exécutions variables reste un verrou. Il fait écho à des approches concurrentes comme les Vision-Language-Action models (VLA) de Google DeepMind ou les travaux sur les graphes de tâches de l'ETH Zurich, mais se distingue par son orientation vers le transfert inter-robots à faible coût de données. Les auteurs n'annoncent pas de partenaire industriel ni de timeline de déploiement commercial ; il s'agit d'un résultat académique, présenté en version révisée sur arXiv (v2, janvier 2026), dont les suites probables incluent une extension à des scènes plus encombrées et à des horizons de planification plus longs.

RecherchePaper
1 source
Planification séquentielle par points d'ancrage pour la robotique
4arXiv cs.RO 

Planification séquentielle par points d'ancrage pour la robotique

Des chercheurs de la Case Western Reserve University ont publié SPARK (Sequential Planning via Anchored Robotic Keypoints), un système neurosymbolique de manipulation robotique sans entraînement supplémentaire. Sur LIBERO-PRO, benchmark évaluant la robustesse face aux changements de position et de tâche, SPARK atteint 43,7 % sur six configurations, soit plus du double de CaP-Agent0 (18,2 %) et des baselines Vision-Language-Action. L'architecture repose sur deux appels Gemini : le premier génère un arbre de comportement (behavior tree) typé composé de primitives précodées intégrant le contrôle bas niveau (mouvement, préhension, géométrie de profondeur) ; le second propose trois formulations textuelles alternatives par objet, que SAM3 évalue pour retenir la détection la plus confiante. Un mécanisme de récupération relance toute primitive échouée sur des objets re-détectés, sans nouvel appel LLM. Le système a été validé sur trois familles de robots (UR10e, Franka FR3, Franka bimanuels) pour neuf tâches à vingt essais chacune, avec une moyenne de 68 %. Le résultat central est architectural : SPARK identifie la perception comme le principal point de rupture des pipelines de manipulation, non la planification. Les formulations alternatives par objet apportent +27,7 points sur les tâches spatiales et +10,0 sur la suite objet ; la boucle de récupération ajoute +5,0 points globalement. Là où CaP-Agent0 re-interroge un LLM en repartant de zéro à chaque échec, SPARK ne replanifie que la détection, réduisant significativement le coût computationnel. Point stratégique : chaque essai produit automatiquement une trajectoire vérifiée et étiquetée, permettant à un planificateur training-free de générer les données dont les VLAs ont besoin sans téleopération humaine. SPARK s'inscrit dans le débat entre architectures VLA end-to-end (pi-0 de Physical Intelligence, RT-2 de Google DeepMind, OpenVLA de Berkeley) et approches hybrides symboliques. Les VLAs misent sur la généralisation apprise de données massives mais restent fragiles aux distributions non vues à l'entraînement, précisément ce que LIBERO-PRO mesure. SPARK démontre qu'une conception neurosymbolique rigoureuse peut surpasser des modèles foundation sur des configurations difficiles. La validation reste limitée à neuf tâches sur trois plateformes, sans timeline de déploiement industriel annoncée. La modularité du système -- détecteur, planificateur et contrôleur remplaçables indépendamment -- ouvre la voie à des intégrations sur de nouvelles plateformes sans réentraînement.

RecherchePaper
1 source