RecherchearXiv cs.RO 17 septembre 2026

ForceDelta-VLA : distiller les corrections d'action conditionnées par la force pour la manipulation à contact riche

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (2609.18242v1) ForceDelta-VLA, une méthode destinée à améliorer les politiques Vision-Language-Action (VLA) sensibles à la force pour la manipulation robotique en contact riche, comme l'insertion ou l'assemblage de pièces. Le problème de départ: les VLA actuels fusionnent mouvement de tâche et ajustement de contact en une seule prédiction, sans distinguer une action de référence réutilisable d'une correction. ForceDelta-VLA construit cette correction à partir des prédictions d'un modèle enseignant gelé, comparées en mode conditionné par la force et en mode agnostique, complétées par une correction de délai gérant le décalage de l'action de référence. La politique légère qui en résulte ajuste les actions via l'historique de force récent, sans régénérer de séquences complètes à chaque contact. Sur neuf tâches en bras unique et bimanuelles, le taux de réussite moyen atteint 82,2%, contre 54,4% pour la référence ForceVLA; le "Stage-1 Temporal Teacher" seul atteint 70,6%, et le système complet réduit la force de contact de crête d'environ 26% sur les deux plateformes testées.

Ce résultat vise d'abord les chercheurs et intégrateurs travaillant sur la manipulation fine (insertion de connecteurs, assemblage, montage électronique), un point faible connu des VLA généralistes, plus à l'aise sur la préhension grossière que sur les tâches exigeant un retour de force précis. En découplant mouvement macro et correction de contact, ForceDelta-VLA évite de régénérer un chunk d'action complet à chaque micro-ajustement, ce qui allège le calcul et améliore la réactivité pour un déploiement industriel manipulant des pièces fragiles ou mal positionnées. La baisse de 26% du pic de force est aussi pertinente pour la sécurité du matériel et la durée de vie des effecteurs. Ces gains restent toutefois mesurés sur seulement neuf tâches en environnement de recherche, sans indication de déploiement industriel ni de plateforme commerciale nommée.

ForceDelta-VLA se positionne comme une amélioration du système ForceVLA, pris comme référence de comparaison tout au long de l'article, et s'inscrit dans la lignée des modèles Vision-Language-Action, à l'image de Pi-0, GR00T N2 ou Helix, qui cherchent à généraliser la manipulation robotique à partir de démonstrations, la manipulation à contact riche restant un angle mort persistant de ces architectures. Publié sans affiliation industrielle citée, le travail ne mentionne ni entreprise ni date de déploiement: c'est une contribution méthodologique pour la communauté robotique, dont l'extension à davantage de tâches et de plateformes physiques serait la suite logique.

Dans nos dossiers

NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Force-based memory pour les modèles vision-langage-action dans la manipulation à contacts riches

Une équipe de recherche propose FM-VLA, un modèle vision-langage-action (VLA) doté d'une mémoire basée sur la force plutôt que sur l'image, décrit dans un article publié sur arXiv (référence 2607.18231v1) daté de juillet 2026. Le système encode l'historique des forces de contact captées par le robot dans des tokens de mémoire compacts, générés par un autoencodeur variationnel (VAE) pré-entraîné à reconstruire des séries temporelles de force. Ces représentations latentes sont ensuite injectées, avec un court historique d'état, comme tokens de conditionnement supplémentaires dans le module d'action du VLA. L'équipe a testé FM-VLA sur trois tâches nécessitant une mémoire temporelle : retrouver un bloc caché, appuyer plusieurs fois sur un bouton, et essuyer une vaisselle un nombre précis de fois. Résultat annoncé : plus de 80% de taux de réussite, avec un surcoût de calcul à l'inférence jugé minime, et des performances nettement supérieures aux approches de référence. L'enjeu dépassé le simple gain de précision : les VLA actuels reposent souvent sur une hypothèse markovienne, où l'action ne dépend que de l'observation présente, ce qui les rend aveugles à des événements répétitifs difficiles à distinguer visuellement, comme plusieurs pressions rapides sur un même bouton. Les approches existantes de mémoire visuelle, qui rééchantillonnent des images passées, sont coûteuses en calcul et échouent justement sur ces cas ambigus. En s'appuyant sur le signal de force, disponible nativement sur la plupart des bras manipulateurs équipés de capteurs, FM-VLA offre une alternative légère pour la manipulation en contact riche, un domaine clé pour l'assemblage industriel, l'insertion de pièces ou la manipulation fine où la vision seule ne suffit pas à lever l'ambiguïté temporelle. Ce travail s'inscrit dans la lignée des modèles VLA généralistes comme Pi-0 ou GR00T N2, qui ont démontré la capacité de ces architectures à généraliser sur des tâches de manipulation variées, mais peinent encore sur les scénarios non markoviens. FM-VLA se positionne comme une brique modulaire plutôt qu'un système complet, testée pour l'instant en conditions contrôlées sur un nombre restreint de tâches. Les auteurs mettent à disposition une page de projet dédiée pour les détails techniques et démonstrations, sans annoncer pour l'instant de déploiement industriel ou de partenariat commercial.

RechercheActu

1 source

2arXiv cs.RO

TacPAC : prédiction tactile, correction d'action en temps réel, modèles monde-action pour manipulation à contacts riches

Des chercheurs du Logos Robotics Group ont publié le 7 septembre 2026 sur arXiv (2609.05266) TacPAC, un mécanisme de correction tactile en temps réel pour les modèles monde-action de manipulation robotique. Alors que ces modèles planifient habituellement leurs actions à partir de prédictions purement visuelles des observations futures, TacPAC met en cache le contact prédit lors de la planification, ainsi que la représentation du plan lui-même, puis compare chaque image tactile réellement perçue à ce cache pour corriger, en cours d'exécution, les actions pas encore jouées. Sur cinq tâches réalisées avec un robot réel, insertion de précision, manipulation d'objets fragiles, réorientation d'objets et manipulation à long horizon, le taux de réussite moyen passe de 22% pour le modèle de référence purement visuel à 64% avec TacPAC, pour un coût de correction 20,7 fois inférieur à celui d'une régénération complète du segment d'actions. Le code est publié sur GitHub sous LogosRoboticsGroup/TacPAC. Ce résultat cible une faiblesse connue des modèles vision-langage-action et monde-action: leur cécité aux repères de contact locaux, pourtant déterminants dans les tâches riches en contact comme l'assemblage de précision ou la manipulation d'objets fragiles. Les auteurs montrent surtout qu'ajouter la prédiction tactile comme simple vue supplémentaire ne récupère qu'un tiers du gain possible, à cause d'un décalage temporel entre la prédiction, qui précède l'action, et le retour tactile, qui arrive pendant son exécution. Pour les intégrateurs industriels, la leçon dépasse le simple ajout d'un capteur tactile: sans boucle de correction dédiée exploitant ce que le plan avait anticipé, le tactile apporte peu de gain réel, un point qui tempère l'enthousiasme actuel autour des modèles génératifs multimodaux appliqués à la manipulation fine. Le travail prolonge la lignée des modèles monde-action qui conditionnent la génération d'actions sur des observations futures prédites, une approche jusqu'ici centrée sur la vision et illustrée par des systèmes comme Pi-0, GR00T N2 ou Helix. TacPAC reste un article de recherche déposé sur arXiv, pas un produit commercial ni un déploiement industriel: ses résultats portent sur cinq tâches en laboratoire avec un seul robot, sans précision sur le nombre d'essais ni sur une généralisation à d'autres plateformes ou bras robotiques. Le code source ouvert laisse toutefois la porte à une reprise par d'autres équipes de recherche en manipulation robotique. Aucun acteur français ou européen n'apparaît dans cette publication.

RechercheActu

1 source

3arXiv cs.RO

VT-WAM : modèle du monde et action visuo-tactile pour la manipulation à contacts riches

Des chercheurs présentent VT-WAM, un modèle de manipulation robotique combinant vision et toucher, décrit dans un article déposé sur arXiv (2607.02503v1) et accompagné d'un site dédié (vt-wam.github.io). Le système, un "Visual-Tactile World Action Model", apprend simultanément trois choses dans un même cadre de flow matching : prédire les images visuelles futures, prédire la déformation tactile future, et prédire l'action à exécuter. Deux mécanismes techniques soutiennent cette approche : une attention "Asymmetric Mixture-of-Transformers" (MoT) qui relie une première image de référence à la dynamique tactile dans le temps, et un module nommé AVTAG (Action-Visual-Tactile Attention Guidance) qui force le modèle à s'appuyer davantage sur le signal tactile pendant les phases de contact. Sur six tâches de manipulation en conditions réelles impliquant un contact physique important, VT-WAM atteint un taux de réussite moyen de 71,67%, contre des scores inférieurs de 26,67 points pour Fast-WAM et de 35,84 points pour OmniVTLA, deux modèles de référence utilisés en comparaison. L'enjeu dépasse la simple performance chiffrée : les politiques visuo-tactiles existantes se contentent généralement d'injecter le signal tactile brut dans la prédiction d'action, sans modéliser comment cette déformation évolue dans le temps. Or c'est précisément sur les tâches à fort contact (insertion, préhension d'objets déformables, gestion du glissement) que les modèles purement visuels ou de type VLA (vision-language-action) échouent le plus souvent, malgré des démonstrations impressionnantes en environnement contrôlé. Pour les intégrateurs industriels qui cherchent à automatiser des opérations d'assemblage fin, ce travail illustre une piste concrète pour combler l'écart entre démonstration et fiabilité réelle. Le papier s'inscrit dans la lignée des "world models" appliqués à la robotique, dont Fast-WAM constitue un prédécesseur direct servant de base de comparaison, aux côtés de familles de modèles VLA comme OmniVTLA. Il s'agit toutefois d'une publication académique, sans acteur industriel identifié ni date de déploiement annoncée : les résultats restent circonscrits à six tâches de laboratoire, et les auteurs eux-mêmes soulignent via leurs ablations que la modélisation de la dynamique tactile reste un problème ouvert plutôt qu'une solution définitivement close.

RecherchePaper

1 source

4arXiv cs.RO

ZeroTouch : estimation visuelle du contact supervisée par le tactile pour la manipulation riche en contacts

Des chercheurs publient ZeroTouch, un système de préhension robotique qui prédit la déformation de contact, le torseur d'effort à six axes et une cible de compression optimale à partir de la seule vision embarquée au poignet, de l'état de la pince et de la direction de la gravité locale, sans capteur tactile physique au moment de l'exécution. Décrit dans un article déposé sur arXiv (2609.21726v1), le modèle est entraîné avec des mesures tactiles réelles comme supervision privilégiée, puis s'en passe totalement en déploiement. Sur l'ensemble de validation complet, l'erreur moyenne de force normale chute de 2,017 N pour une base de référence n'utilisant que l'état du système à 0,531 N avec l'architecture complète. En évaluation physique, avec vingt essais par condition, ZeroTouch atteint 95% de réussite sur un objet inédit, 80% sur une combinaison objet connu et prise inédite, et 90% en cas de changement de contenu ou de charge. Sous le même protocole, deux modèles génération vision-langage-action de référence, OpenVLA et SmolVLA, plafonnent respectivement à 25%, 40% et 55%, puis 10%, 25% et 35%. L'écart de performance, jusqu'à quatre fois supérieur à OpenVLA sur certaines conditions, pointe une limite concrète des politiques VLA généralistes actuelles: la régulation fine de la force de préhension et de la compression reste un point faible, alors qu'elle conditionne la manipulation d'objets fragiles ou déformables en logistique et en industrie. L'intérêt de ZeroTouch tient surtout à son architecture: transférer l'information tactile en phase d'entraînement seulement supprime la dépendance à un matériel dédié coûteux et fragile au déploiement, ce qui simplifie l'intégration sur des bras ou des mains déjà équipés d'une simple caméra poignet. Ces résultats restent toutefois issus d'un cadre de laboratoire, avec seulement vingt essais par condition et sans validation industrielle annoncée. Le problème de la régulation de force sans capteur tactile dédié touche l'ensemble des approches VLA récentes, de Pi-0 à GR00T N2 en passant par Helix, qui s'appuient historiquement sur des capteurs tactiles embarqués type GelSight pour ce type de retour. ZeroTouch s'inscrit dans une tendance plus large consistant à utiliser le tactile comme professeur à l'entraînement plutôt que comme dépendance matérielle permanente. L'article ne précise ni laboratoire ni feuille de route produit, et reste à ce stade une contribution de recherche publiée sans revue par les pairs.

RecherchePaper

1 source