HapticVLA : manipulation riche en contacts via un modèle vision-langage-action sans détection tactile à l'inférence

CompVLA : un modèle vision-langage-action à conformité variable pour la manipulation en contact riche

CompVLA est un modèle Vision-Language-Action présente dans un preprint arXiv (2609.23614v1), consacre a la manipulation dite contact-rich, ces taches ou un robot doit réguler la force qu'il exerce et céder de manière contrôlée aux forces externes, pas seulement se déplacer. La ou les VLA classiques ne produisent que des commandes de position, CompVLA prédit conjointement, a partir d'une image RGB et d'une instruction en langage naturel, un mouvement et une matrice de raideur, via un module dédié, le Compliance Expert, qui génère des profils de raideur variables dans le temps et de déplacement virtuel, exécutés par contrôle d'impédance géométrique. Les auteurs revendiquent le meilleur taux de réussite moyen sur des taches variées avec contact, devant les VLA classiques et compliance-aware existants, sans toutefois publier de chiffres précis ni détailler les taches testées ou la plateforme robotique utilisée. Cette approche vise un angle mort connu des VLA généralistes, tels Pi-0, GR00T N2 ou Helix, qui réussissent bien en espace libre mais peinent des qu'il faut insérer un connecteur ou assembler des pièces avec du jeu mécanique. En intégrant la prédiction de raideur dans le modèle langage-vision plutôt qu'un contrôleur sépare code a la main, CompVLA esquisse une piste pour rapprocher les VLA des usages industriels réels, la ou le fosse entre démonstration et déploiement reste le plus large. Pour les intégrateurs qui évaluent ces modèles, le travail reste un résultat de recherche en preprint, sans benchmark standardise ni validation industrielle, ce qui appelle a la prudence avant d'y voir une preuve d'adoption a l'échelle. Le contrôle en impédance et les approches hybrides force-position existent depuis longtemps en robotique industrielle, mais leur intégration dans des politiques VLA apprises reste récente, aux cotes des travaux de Physical Intelligence, Nvidia ou Figure sur leurs propres modèles. Publie en preprint arXiv sans mention d'un laboratoire ou d'une entreprise précise, le document ne fixe aucun calendrier de suite ni de partenariat industriel. Les prochaines étapes attendues restent classiques pour ce type de travail : validation sur une flotte de robots plus large, comparaison a des benchmarks reconnus du secteur, puis éventuelle reprise par un acteur commercial du marche des VLA.

ForeTac-VLA : un modèle vision-langage-action tactile basé sur la prévision pour la manipulation robotique en contact riche

Publié en septembre 2026 sur arXiv sous la référence 2609.20980, ForeTac-VLA est un modèle vision-langage-action (VLA) qui ajoute une couche tactile prédictive pour la manipulation robotique en environnement riche en contacts physiques. Le système encode les observations tactiles récentes en représentations temporelles, les fusionne avec les caractéristiques vision-langage par attention croisée bidirectionnelle, puis un module de prévision fondé sur un transformeur anticipe l'état tactile sur plusieurs pas de temps futurs avant d'injecter ces prédictions dans le backbone VLA qui génère l'action. Un curriculum passant progressivement des données tactiles réelles aux données prédites stabilise l'entraînement lorsque les premières prévisions sont peu fiables. Sur quatre tâches de manipulation réelles à fort contact physique, ForeTac-VLA atteint un taux de réussite moyen de 95%, avec un gain de 36,25 points de pourcentage sur un VLA simplement affiné et de plus de 22 points sur les meilleures méthodes tactiles-VLA existantes, tout en maintenant ses performances en faible luminosité et en environnement visuellement encombré. Ce travail cible une faiblesse connue des modèles VLA, très dépendants de la vision, alors que des états physiques critiques comme le glissement d'un objet ou l'alignement lors d'une insertion ne sont pas observables visuellement. Les approches tactiles existantes se contentaient de réagir au contact déjà survenu; ForeTac-VLA propose de l'anticiper, ce qui change la nature du signal exploité par le modèle d'action. Pour les intégrateurs industriels, l'intérêt pratique tient à la robustesse démontrée en conditions dégradées, faible éclairage ou encombrement visuel, des situations fréquentes en usine ou en entrepôt où la vision seule échoue souvent. Si ces écarts se confirment au-delà des quatre tâches testées, cela conforterait l'idée qu'une fusion tactile prédictive, plutôt que purement réactive, est une piste sérieuse pour fiabiliser la manipulation en contact riche, un point faible récurrent des démonstrations VLA actuelles. ForeTac-VLA s'inscrit dans la lignée des modèles VLA génériques qui unifient perception, langage et contrôle moteur, et dans la sous-famille plus récente des VLA tactiles qui ajoutent un capteur de contact au pipeline vision-langage. Il se positionne explicitement contre ces baselines tactiles-VLA de l'état de l'art, qu'il dépasse de plus de 22 points, ainsi que contre un VLA classique simplement affiné sur les mêmes tâches. La publication reste un preprint arXiv, sans nom d'entreprise ni calendrier de déploiement industriel associé: il s'agit d'un résultat de recherche évalué sur quatre tâches choisies par les auteurs et illustré par des vidéos sélectionnées sur le site du projet, pas d'un produit commercialisé. Les suites attendues sont l'élargissement à davantage de tâches et de plateformes robotiques, ainsi qu'une évaluation indépendante confirmant que l'écart de performance tient face à des scénarios plus variés que le banc d'essai initial.

HapticWAM : distiller le toucher imaginé dans un modèle monde-action sans détection tactile à l'inférence

Un article déposé sur arXiv (référence 2609.23888v1) présente HapticWAM, un modèle combinant perception et action (« world-action model ») pour la manipulation robotique, testé sur trois tâches réelles de prise et dépose impliquant des contacts physiques délicats. Sa version « élève » atteint un taux de réussite moyen de 77% par tâche, soit 41 essais réussis sur 50 (82% en cumulé sur l'ensemble des tâches), avec un pic à 95% sur la tâche la plus favorable, devançant à la fois le modèle « enseignant » dont elle dérive et les configurations de référence testées. Sa particularité : elle agit sans aucun capteur tactile physique au moment de l'exécution, alors que son apprentissage s'appuie sur des données tactiles riches (images de gel déformable, déformation, cisaillement, forces distribuées, couple résultant) issues de capteurs optiques de contact. Ces capteurs tactiles optiques, coûteux et fragiles, restent difficiles à généraliser sur des pinces industrielles ou des mains humanoïdes déployées en volume, ce qui forçait jusqu'ici un choix entre finesse du toucher et robustesse mécanique. HapticWAM contourne ce compromis par une distillation enseignant-élève : le modèle apprend à anticiper les futurs événements de contact (géométrie, glissement, effort) plutôt qu'à seulement reproduire des pixels tactiles, et conserve cette capacité de prédiction pour guider ses actions même sans capteur au déploiement. Pour les intégrateurs et décideurs de la robotique industrielle, cela suggère qu'un savoir-faire tactile appris en laboratoire peut se transférer vers du matériel moins instrumenté, donc moins coûteux, sans perdre la capacité à manipuler des objets fragiles ou glissants, un point de friction connu entre démonstrations et déploiements réels. Le travail reste un article de recherche publié sur arXiv, et non un produit commercial : les résultats se limitent à trois tâches et 50 essais par tâche en environnement contrôlé, sans partenaire industriel annoncé ni calendrier de transfert vers un système de production. Il s'inscrit dans la lignée des capteurs tactiles optiques désormais associés aux modèles de manipulation fine, mais s'en distingue en structurant explicitement la prédiction du contact au sein du même modèle génératif que la politique d'action, plutôt qu'en la traitant comme un simple signal auxiliaire. La contribution reste pour l'instant une preuve de concept technique destinée à la communauté de recherche en apprentissage robotique.

HapTile : un jeu de données vision-tactile-langage-action pour l'apprentissage par imitation en contact riche

Une équipe de recherche a publié sur arXiv (2606.04825) HapTile, un jeu de données visuotactile destiné à l'apprentissage par imitation sur des tâches de manipulation à fort contact. Le dataset capture les interactions physiques à deux niveaux simultanément : des capteurs tactiles installés en bout d'effecteur sur les doigts du robot, et un retour haptique transmis en temps réel à l'opérateur humain lors de la télé-opération. Les tâches couvertes incluent le saisissement, le pliage de tissu, l'appui sur des boutons, l'empilement d'objets et d'autres activités courantes. Chaque séquence est associée à une instruction en langage naturel qui conditionne la politique de contrôle sur l'objectif de manipulation, avec des observations visuotactiles synchronisées et les trajectoires d'action correspondantes. Les chercheurs publient également un benchmarking avec deux modèles de base pour évaluer l'apport concret du signal tactile sur la qualité des politiques apprises. Ce travail s'attaque à un verrou bien identifié du domaine : la quasi-totalité des datasets VLA (Vision-Language-Action) existants sont purement visuels, ce qui limite les performances des politiques sur des tâches nécessitant un contrôle fin de la force ou du contact. Introduire le retour haptique côté opérateur lors de la collecte de données est particulièrement notable, les études antérieures ont montré que la qualité des démonstrations se dégrade sans ce retour, générant des trajectoires moins stables et moins reproductibles. HapTile tente de combler cette lacune en combinant dans un seul dataset la diversité des tâches, le conditionnement par le langage, les trajectoires d'action et la perception tactile, une combinaison jusqu'ici absente dans la littérature selon les auteurs. Reste à vérifier si l'amélioration mesurée sur les deux baselines se généralise à des architectures plus récentes comme Pi-0 ou OpenVLA. Ce preprint s'inscrit dans un courant de recherche actif autour de la perception multimoale pour la manipulation dextère, portée notamment par des labos comme le CMU Robotics Institute, MIT CSAIL et des groupes européens comme le LASA à l'EPFL. Du côté industriel, Apptronik, Figure et 1X investissent dans des mains instrumentées, mais les datasets publics à retour haptique restent rares. Le projet est reproductible sur un système robotique standard avec des capteurs tactiles de conception custom, ce qui peut faciliter l'adoption par d'autres équipes. Le dataset et les détails techniques sont accessibles sur haptile-dataset.github.io ; aucune timeline de publication formelle ni partenariat industriel n'est annoncé à ce stade.

💬 Le truc vraiment malin ici, c'est pas le capteur tactile sur le robot, c'est le retour haptique côté opérateur pendant la collecte de démos. Ça change la qualité des trajectoires à la source, et c'est exactement ce que les autres datasets VLA n'ont jamais pris la peine de faire. Deux baselines pour le benchmark, bon, c'est un début, reste à voir si le gain tient face à Pi-0 ou OpenVLA.