FWBC-VLA : compensation corporelle sensible aux…

1arXiv cs.RO

Opt2VLA : modèle vision-langage-action sensible à la force pour la manipulation humanoïde à corps entier avec contacts

Un preprint arXiv publié le 22 septembre 2026 (2609.23968v1) présente Opt2VLA, un framework vision-language-action (VLA) pour la manipulation corps-entier de robots humanoïdes dans des tâches à contact riche. Le système introduit des commandes de force explicites à l'interface entre la politique VLA et les contrôleurs bas niveau : une seule politique multi-tâches prédit à la fois des objectifs de mouvement géométriques et des références de force de contact continues, suivies par des contrôleurs entraînés par apprentissage par renforcement. Les données d'entraînement sont générées par optimisation de trajectoire avec références de force explicites, garantissant des trajectoires dynamiquement réalisables. Le système a été testé sur trois tâches humanoïdes à contact riche, en simulation et sur matériel robotique réel. L'enjeu dépasse la démonstration académique. La plupart des modèles VLA actuels pour humanoïdes, à l'image de Pi-0, GR00T N2 ou Helix, représentent les actions uniquement par des objectifs de mouvement géométriques, sans raisonnement explicite sur les forces d'interaction, une limite critique dans les tâches où des mouvements similaires exigent des régimes de force différents, ou où la vision devient peu fiable après contact. Les auteurs montrent que le conditionnement explicite par la force améliore la précision et la stabilité de la régulation, et que la supervision physique issue de l'optimisation de trajectoire renforce encore ce suivi. Pour les intégrateurs industriels, cela suggère qu'une politique VLA unique peut arbitrer entre précision géométrique et contrôle de force sans multiplier les contrôleurs ad hoc, un prérequis pour des tâches fines comme le vissage ou l'insertion de connecteurs. Opt2VLA s'inscrit dans la vague de modèles VLA pour humanoïdes portée par des acteurs comme Physical Intelligence, NVIDIA ou Figure AI, jusqu'ici centrés sur la sémantique visuelle et le suivi de mouvement plutôt que sur la dynamique de contact. L'abstract ne précise ni l'affiliation des auteurs ni le modèle de robot utilisé pour les essais matériels, et les résultats restent ceux d'un preprint non encore relu par les pairs, validé sur trois tâches expérimentales. Les prochaines étapes attendues portent sur l'extension à davantage de tâches à contact riche et la validation de la génération de données par optimisation de trajectoire sur d'autres plateformes matérielles.

IA physiqueActu

1 source

2arXiv cs.RO

FAWAM : modèles d'action du monde sensibles aux forces pour la manipulation en boucle fermée à contacts multiples

Une équipe de chercheurs a publié sur arXiv (référence 2606.08555) FAWAM, un modèle d'action robotique intégrant les signaux de force à trois niveaux distincts du pipeline de manipulation : la perception, la prédiction et l'exécution en boucle fermée. Concrètement, le système encode des signaux force/couple sur six axes (6-DoF wrench) pour moduler la génération d'actions, prédit conjointement les actions futures et les efforts en bout d'effecteur afin de modéliser explicitement l'évolution du contact, puis utilise cette trajectoire de wrench prédite comme référence d'exécution pour corriger les actions en temps réel via un module de correction résiduelle. Sur plusieurs tâches de manipulation nécessitant des contacts riches -- vissage, insertion, assemblage par contrainte -- FAWAM affiche un taux de succès moyen supérieur de 36,25 % aux baselines purement visuelles et de 21,25 % aux baselines force-aware existantes. Il s'agit d'un preprint, sans déploiement industriel annoncé à ce stade. L'apport technique est notable pour les intégrateurs et les équipes R&D en manipulation apprise : la plupart des politiques modernes type Diffusion Policy, ACT ou des VLA (Vision-Language-Action models) traitent la force comme une modalité d'observation annexe, sans lui donner de rôle prédictif dans la dynamique future du contact. FAWAM repositionne le signal force comme variable de première classe dans l'architecture du modèle, ce qui permet une correction online des actions sans nécessiter de replanification complète. C'est précisément ce découplage entre prédiction de wrench et correction résiduelle qui explique le gain de performance : le robot anticipe l'effort attendu avant de l'observer, et ajuste en conséquence dès qu'un écart apparaît. Pour un COO ou un directeur technique envisageant des cellules d'assemblage automatisées, cela représente une réduction significative du gap simulation-réalité sur les tâches à contact fort. La manipulation en contact riche reste l'un des derniers verrous majeurs de la robotique industrielle polyvalente, là où les approches vision-seule échouent dès que les tolérances sont serrées ou les surfaces glissantes. Des travaux récents comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou les politiques de manipulation de Google DeepMind intègrent parfois la proprioception mais rarement le couple d'axe complet en boucle de prédiction. FAWAM s'inscrit dans un courant émergent de world action models orientés contact, aux côtés de travaux comme RoboDex ou des approches de manipulation tactile de Berkeley et Carnegie Mellon. La prochaine étape logique serait une validation sur robot humanoïde ou sur bras industriel en environnement semi-structuré, ce que le preprint ne couvre pas encore.

IA physiqueOpinion

1 source

3arXiv cs.RO

Apprendre à sentir le futur : DreamTacVLA pour la manipulation riche en contacts

Des chercheurs ont publié DreamTacVLA, un framework qui dote les modèles Vision-Language-Action (VLA) d'un sens du toucher anticipatif. Ces architectures, parmi lesquelles Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, généralisent des comportements robotiques à partir de connaissances web-scale, mais restent aveugles à la physique du contact : force, texture et glissement. DreamTacVLA introduit une perception hiérarchique à trois niveaux : images tactiles haute résolution (micro-vision), caméra poignet (vision locale) et vue tierce (macro-vision), le tout aligné par une perte baptisée Hierarchical Spatial Alignment (HSA). Le système est ensuite affiné par un modèle de monde tactile prédisant des états de contact futurs, ce qui lui permet de conditionner ses décisions à la fois sur des observations réelles et sur des conséquences anticipées ; sur des benchmarks de manipulation contact-riche (vissage, pelage, textiles), il atteint jusqu'à 95 % de succès face aux baselines VLA état de l'art, appuyé par un dataset hybride combinant simulation haute-fidélité (digital twin) et expériences en monde réel. Ce résultat quantifie concrètement le "gap tactile" des VLA modernes : intégrer des signaux de contact haute résolution est discriminant pour des tâches industrielles entières, de l'assemblage de précision au conditionnement de composants déformables. Conditionner les décisions sur des conséquences tactiles anticipées, et non seulement sur des observations en temps réel, rapproche les VLA du raisonnement physique implicite des opérateurs expérimentés. Pour les intégrateurs B2B, cela laisse entrevoir une prochaine génération de politiques robotiques capables de manipulation fine sans capteurs de force-couple coûteux, à condition d'embarquer des capteurs tactiles conformes haute résolution. La démonstration reste cependant purement académique : aucun déploiement industriel ni partenariat de production n'est annoncé dans le papier. Le travail s'inscrit dans un mouvement d'enrichissement des VLA au-delà du seul canal vision-langage, aux côtés d'approches intégrant proprioception, retour de force ou audio. DreamTacVLA se distingue par l'application au domaine tactile de techniques issues des modèles de monde visuels (Dreamer, RSSM), une transposition méthodologiquement originale. L'article est à sa troisième révision arXiv (v3), signe d'une évaluation par les pairs active. Parmi les acteurs à surveiller : Sanctuary AI et Agility Robotics sur les politiques de manipulation, GelSight et Contactile sur les capteurs tactiles, et en Europe, Pollen Robotics qui explore des effecteurs sensoriellement enrichis.

UEPollen Robotics, identifié comme acteur européen explorant des effecteurs sensoriellement enrichis, est directement positionné pour intégrer ce type d'avancée tactile dans ses politiques de manipulation VLA.

IA physiqueOpinion

1 source

4arXiv cs.RO

CompVLA : un modèle vision-langage-action à conformité variable pour la manipulation en contact riche

CompVLA est un modèle Vision-Language-Action présente dans un preprint arXiv (2609.23614v1), consacre a la manipulation dite contact-rich, ces taches ou un robot doit réguler la force qu'il exerce et céder de manière contrôlée aux forces externes, pas seulement se déplacer. La ou les VLA classiques ne produisent que des commandes de position, CompVLA prédit conjointement, a partir d'une image RGB et d'une instruction en langage naturel, un mouvement et une matrice de raideur, via un module dédié, le Compliance Expert, qui génère des profils de raideur variables dans le temps et de déplacement virtuel, exécutés par contrôle d'impédance géométrique. Les auteurs revendiquent le meilleur taux de réussite moyen sur des taches variées avec contact, devant les VLA classiques et compliance-aware existants, sans toutefois publier de chiffres précis ni détailler les taches testées ou la plateforme robotique utilisée. Cette approche vise un angle mort connu des VLA généralistes, tels Pi-0, GR00T N2 ou Helix, qui réussissent bien en espace libre mais peinent des qu'il faut insérer un connecteur ou assembler des pièces avec du jeu mécanique. En intégrant la prédiction de raideur dans le modèle langage-vision plutôt qu'un contrôleur sépare code a la main, CompVLA esquisse une piste pour rapprocher les VLA des usages industriels réels, la ou le fosse entre démonstration et déploiement reste le plus large. Pour les intégrateurs qui évaluent ces modèles, le travail reste un résultat de recherche en preprint, sans benchmark standardise ni validation industrielle, ce qui appelle a la prudence avant d'y voir une preuve d'adoption a l'échelle. Le contrôle en impédance et les approches hybrides force-position existent depuis longtemps en robotique industrielle, mais leur intégration dans des politiques VLA apprises reste récente, aux cotes des travaux de Physical Intelligence, Nvidia ou Figure sur leurs propres modèles. Publie en preprint arXiv sans mention d'un laboratoire ou d'une entreprise précise, le document ne fixe aucun calendrier de suite ni de partenariat industriel. Les prochaines étapes attendues restent classiques pour ce type de travail : validation sur une flotte de robots plus large, comparaison a des benchmarks reconnus du secteur, puis éventuelle reprise par un acteur commercial du marche des VLA.

IA physiqueOpinion

1 source

FWBC-VLA : compensation corporelle sensible aux forces pour la locomanipulation riche en contacts

À lire aussi

Opt2VLA : modèle vision-langage-action sensible à la force pour la manipulation humanoïde à corps entier avec contacts

FAWAM : modèles d'action du monde sensibles aux forces pour la manipulation en boucle fermée à contacts multiples

Apprendre à sentir le futur : DreamTacVLA pour la manipulation riche en contacts

CompVLA : un modèle vision-langage-action à conformité variable pour la manipulation en contact riche