Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
TaCauchy : un framework FEM extensible pour la simulation tactile basée sur la vision
RecherchearXiv cs.RO 

TaCauchy : un framework FEM extensible pour la simulation tactile basée sur la vision

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié TaCauchy, un cadre de simulation par éléments finis (FEM) conçu pour les capteurs tactiles à vision, intégré directement dans Isaac Sim, la plateforme de simulation GPU d'NVIDIA. Basé sur le solveur UIPC (Unified Incremental Potential Contact), TaCauchy calcule des tenseurs de contrainte de Cauchy à partir de lois constitutives hyperélastiques, puis projette ces contraintes sur les surfaces de contact pour obtenir les forces de traction et les distributions de pression. Il prend en charge trois capteurs courants, GelSight Mini, DIGIT et 9DTact, via une interface modulaire permettant une intégration rapide par simple configuration. Sur le plan des performances, le framework atteint 33,40 FPS en environnement unique et 555 FPS de débit agrégé sur 60 environnements parallèles, avec un overhead d'extraction des contraintes inférieur à 1 ms. La validation physique montre un SSIM supérieur à 0,93 sur une plage de forces allant de 1,26 N à 4,73 N.

L'enjeu principal est le fossé sim-to-real qui pénalise l'entraînement par renforcement des politiques de manipulation tactile. Les approches existantes recourent généralement à des estimations empiriques des champs de contraintes, ce qui introduit des biais difficiles à corriger une fois déployé sur robot réel. TaCauchy propose à la place une vérité terrain mécanique dérivée des premiers principes physiques, ce qui représente un changement de paradigme pour les ingénieurs qui cherchent à entraîner des politiques de préhension fine sans collecter massivement de données réelles. Le débit de 555 FPS en parallèle rend cette précision physique compatible avec les pipelines d'apprentissage par renforcement à grande échelle.

Les capteurs tactiles à vision de type GelSight ont émergé comme une alternative économique aux capteurs de force-couple classiques, mais leur simulation restait un goulot d'étranglement dans les environnements GPU-parallèles comme Isaac Lab ou Orbit. TaCauchy s'inscrit dans une dynamique plus large de "physiques différentiables" qui cherchent à remplacer les proxies heuristiques par des modèles rigoureux directement différenciables. Du côté concurrentiel, des travaux comme Taxim ou DigiTac ont proposé des approches optiques ou basées sur des réseaux de neurones pour la simulation GelSight, mais sans calcul de champ de contraintes FEM intégré à un environnement GPU. La prochaine étape probable pour TaCauchy sera l'intégration avec des politiques de type diffusion ou VLA (Vision-Language-Action) pour des tâches d'assemblage ou de manipulation déformable.

Dans nos dossiers

NVIDIA Isaac & Cosmos

À lire aussi

FeudalNav : un framework simple pour la navigation visuelle
1arXiv cs.RO 

FeudalNav : un framework simple pour la navigation visuelle

Des chercheurs ont publié sur arXiv (référence 2602.06974) FeudalNav, un cadre hiérarchique de navigation visuelle pour robots mobiles qui ne requiert ni carte métrique, ni GPS, ni données odométriques en phase d'entraînement ou d'inférence. Le système décompose la prise de décision en plusieurs niveaux : un réseau de sélection de sous-objectifs (waypoints) léger et transférable choisit des points intermédiaires, tandis qu'un module de mémoire dans l'espace latent organise les observations visuelles passées par similarité visuelle, utilisée comme proxy de distance. Ce module de mémoire remplace les représentations topologiques classiques basées sur des graphes, sans dégradation notable des performances. Les résultats sont obtenus dans les environnements simulés Habitat AI, un benchmark standard du domaine, et montrent des scores compétitifs face aux méthodes état de l'art. Les auteurs explorent également une modalité d'navigation interactive : ils quantifient la quantité minimale d'intervention humaine nécessaire pour atteindre un taux de succès de 100% sur l'ensemble des trajectoires testées. L'intérêt de FeudalNav réside dans sa sobriété architecturale. Là où la plupart des navigateurs apprenants reposent sur des graphes topologiques coûteux à maintenir ou sur des représentations métriques qui échouent dans des environnements non cartographiés, FeudalNav prouve qu'une mémoire visuelle latente simple suffit pour guider un agent vers un objectif en terrain inconnu. Cette approche réduit les exigences d'infrastructure embarquée (pas de capteur odométrique requis) et améliore la transférabilité entre environnements, deux critères directement pertinents pour les intégrateurs de robots de service ou d'inspection industrielle. La composante interactive est notable : même une intervention humaine minimale et ponctuelle augmente significativement le taux de réussite global, ce qui ouvre la voie à des architectures human-in-the-loop adaptatives. FeudalNav s'inscrit dans un courant de recherche actif visant à dépasser les navigateurs métriques classiques (SLAM, cartographie 2D/3D) en faveur d'approches fondées sur l'apprentissage et la mémoire sémantique, directement inspirées de la cognition spatiale humaine. Le benchmark Habitat AI, développé par Meta AI Research, est devenu la référence pour évaluer ce type de systèmes en simulation. Les méthodes concurrentes incluent les approches à graphes topologiques (NoMaD, ViNT de Berkeley) et les navigateurs basés sur des Vision-Language Models (VLMaps, CoW). FeudalNav se distingue par sa légèreté et l'absence d'odométrie, mais reste pour l'instant cantonné à la simulation, sans validation sur robot physique annoncée dans cet article.

RecherchePaper
1 source
Vers le paradigme vision-son-langage-action : le framework HEAR pour la manipulation centrée sur le son
2arXiv cs.RO 

Vers le paradigme vision-son-langage-action : le framework HEAR pour la manipulation centrée sur le son

Une équipe de recherche a publié sur arXiv (2603.16086v2) une version révisée de l'article "Towards the Vision-Sound-Language-Action Paradigm: The HEAR Framework for Sound-Centric Manipulation", qui formalise le paradigme Vision-Sound-Language-Action (VSLA), étendant les modèles Vision-Language-Action (VLA) avec un flux audio continu, en plus de la vision, du langage et de la proprioception. L'instanciation HEAR combine quatre modules: un Historizer qui maintient un contexte audio causal compact malgré les interruptions d'exécution, un Envisioner dérivé de modèles de fondation omni-modaux, un Advancer qui prédit les codes audio à court terme pour modéliser la dynamique temporelle, et un Realizer, une politique par flow-matching générant les chunks d'action. Les auteurs publient aussi OpenX-Sound pour le pré-entraînement et HEAR-Bench, premier benchmark de manipulation centré sur le son. Code et vidéos sont disponibles sur hear.irmv.top. Les modèles VLA actuels traitent le son comme une instruction ponctuelle donnée avant l'exécution ou se limitent à la parole humaine, restant aveugles aux sons transitoires de l'environnement pendant la tâche, alors qu'un objet qui glisse, un liquide qui déborde ou une pièce mal vissée constituent souvent le seul signal de vérification d'état disponible en temps réel. Le papier nomme ce trou le "Blind Execution Interval": le chunking d'actions en boucle ouverte, largement utilisé pour la fluidité des mouvements, rend le robot sourd aux événements sonores survenant entre deux fenêtres d'observation audio. Pour les intégrateurs et chercheurs en manipulation robotique, ce travail montre que la perception "vision plus langage" ne suffit pas quand le retour sonore prime sur le visuel, et qu'il faut traiter l'audio comme un problème d'apprentissage temporel à part entière, pas comme un simple capteur additionnel. Ce travail s'inscrit dans la généralisation des VLA comme standard du contrôle robotique de bout en bout, où l'ajout de modalités comme le tactile, la force et désormais l'audio continu devient un axe de différenciation académique une fois l'architecture vision-langage-action stabilisée. Contrairement à une annonce produit, HEAR reste à ce stade un résultat de recherche publié sur arXiv, accompagné de code et de bancs d'essai ouverts, sans déploiement industriel ni partenariat robotique annoncé. Les auteurs le présentent comme une étape pratique vers des modèles de fondation multi-sensoriels pour les agents incarnés. La suite logique est l'adoption de HEAR-Bench et d'OpenX-Sound comme références par d'autres équipes pour comparer de futures architectures intégrant un canal audio continu, avant une éventuelle intégration chez des fabricants de robots manipulateurs.

RechercheActu
1 source
BayesContact : estimation incertaine de la pose via propositions visuo-tactiles et inférence basée sur la simulation
3arXiv cs.RO 

BayesContact : estimation incertaine de la pose via propositions visuo-tactiles et inférence basée sur la simulation

Des chercheurs présentent BayesContact, un système d'estimation de pose par inférence basée sur la simulation pour la manipulation robotique en contact, appliqué en priorité aux tâches d'insertion de type peg-in-hole (goujon dans trou). Le système maintient une croyance probabiliste sous forme d'un nuage de particules sur la pose de l'objet manipulé, et fusionne deux sources de données : les observations de profondeur issues du capteur visuel et les indices de contact dérivés des mesures de force/couple. Pour chaque hypothèse de pose testée, un moteur de rendu simule les mesures de profondeur attendues, tandis qu'un simulateur physique prédit les résultats de contact obtenus lors de mouvements de sondage prudents (guarded probing) ; les deux prédictions sont comparées aux observations réelles du robot pour affiner la croyance sur la pose. Cette croyance multimodale permet en outre de choisir activement, par gain d'information, la prochaine action de sondage la plus utile pour lever l'ambiguïté sur la pose estimée. Les auteurs ont testé BayesContact à la fois sur des géométries simulées et sur un robot réel, et rapportent une amélioration de 30% de l'observabilité de la pose et du taux de succès d'insertion par rapport à une inférence basée uniquement sur la vision. Pour l'assemblage industriel et les tâches d'insertion de précision, en particulier pour les intégrateurs robotiques travaillant sur des lignes d'assemblage automatisées, l'estimation de pose reste un goulot d'étranglement quand la seule profondeur ne suffit pas à distinguer des géométries proches ou partiellement occluses. Les approches existantes combinant vision et contact reposent généralement sur un entraînement hors ligne coûteux, qu'il faut recommencer à chaque nouvel environnement ou nouvelle géométrie de pièce, ce qui limite leur déploiement sur des lignes de production changeantes. En s'appuyant sur des modèles génératifs de simulation plutôt que sur un apprentissage supervisé figé, BayesContact promet une adaptation plus rapide à de nouvelles pièces sans réentraînement complet, un argument qui, s'il se confirme à plus grande échelle, intéresserait directement les fabricants de bras robotiques et les intégrateurs cherchant à réduire le temps de reconfiguration des cellules d'assemblage. Ce travail s'inscrit dans le champ de la manipulation robotique riche en contact, où la fusion vision-tactile est étudiée depuis plusieurs années comme alternative à la vision seule pour des tâches fines comme l'insertion de connecteurs ou l'assemblage de petites pièces. Contrairement aux méthodes d'apprentissage par renforcement ou aux réseaux entraînés hors ligne sur de larges jeux de données, l'inférence bayésienne basée sur la simulation cherche à s'affranchir du coût de réentraînement en s'appuyant directement sur des modèles physiques et de rendu, calibrés en ligne face aux observations réelles. Publié sur arXiv (2607.16123), ce travail reste à ce stade une contribution de recherche académique, validée sur un nombre limité de géométries et un seul robot réel ; les auteurs ne mentionnent ni partenariat industriel ni calendrier de transfert vers un produit commercial, et la généralisation à des tâches d'assemblage plus complexes que le peg-in-hole reste à démontrer.

RecherchePaper
1 source
Manipulation Tactile et Visuelle Centrée sur le Contact pour la Manipulation du Bras Complet
4arXiv cs.RO 

Manipulation Tactile et Visuelle Centrée sur le Contact pour la Manipulation du Bras Complet

Des chercheurs du laboratoire EMPRISE de l'université Cornell présentent TACTIC (Tactile and Vision Conditioned Contact-Centric Control), un contrôleur pour la manipulation "bras entier", où le robot touche l'environnement avec plusieurs segments de son bras et non plus seulement sa pince. Décrit dans un preprint arXiv (2607.09218), le système combine images RGB-D, capteurs tactiles distribués et une carte de proximité 2D compacte pour prédire comment les contacts se forment, glissent ou se rompent au fil du mouvement. Un modèle de dynamique appris est couplé aux jacobiennes de contact pour simuler à l'avance forces d'interaction et configurations futures, et alimente un planificateur prédictif (MPC) à échantillonnage dont les trajectoires candidates sont orientées vers des directions qui modulent les forces plutôt que de les subir. En simulation, TACTIC dépasse les méthodes de référence à base de modèle et les approches purement apprises. Sur un bras réel équipé de peau tactile, l'équipe démontre trois tâches multi-contacts : retourner et repositionner un mannequin, et atteindre un objectif dans un labyrinthe 3D dynamique. La manipulation bras entier est un angle mort des pipelines d'apprentissage actuels, taillés pour un contact unique au niveau de la pince. Dès que plusieurs segments touchent l'environnement simultanément, mouvement et forces de contact deviennent étroitement couplés, l'état de contact reste partiellement caché sous occlusion, et les politiques purement apprises se désynchronisent physiquement hors distribution, faute de données sur les configurations multi-contacts. En hybridant apprentissage et modèle physique explicite, TACTIC illustre une tendance de fond en robotique de manipulation : combiner du model-based pour la garantie physique et de l'apprenant pour la perception, plutôt que tout confier à un modèle de bout en bout type VLA. Pour les intégrateurs visant des bras opérant en espace encombré (tri, logistique, désassemblage), c'est un manque réel comblé, la plupart des démonstrateurs actuels évitant soigneusement tout contact hors pince. Le travail émane du laboratoire EMPRISE de Cornell, spécialisé en manipulation riche en contact et perception tactile, et s'inscrit dans une littérature plus large sur le contrôle prédictif informé par le contact, aux côtés de recherches comparables au MIT ou à CMU. Contrairement aux annonces commerciales de robots humanoïdes comme Figure, Optimus ou les modèles VLA de Physical Intelligence et NVIDIA, il s'agit ici d'un résultat académique validé en simulation puis sur un unique bras de laboratoire, pas d'un produit commercialisé. Aucun acteur français ou européen n'est associé à cette publication. Les auteurs mettent en ligne une page projet (emprise.cs.cornell.edu/tactic) sans calendrier annoncé de transfert vers des plateformes commerciales.

RecherchePaper
1 source