IA physiquearXiv cs.RO 9 juin 2026

FAWAM : modèles d'action du monde sensibles aux forces pour la manipulation en boucle fermée à contacts multiples

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié sur arXiv (référence 2606.08555) FAWAM, un modèle d'action robotique intégrant les signaux de force à trois niveaux distincts du pipeline de manipulation : la perception, la prédiction et l'exécution en boucle fermée. Concrètement, le système encode des signaux force/couple sur six axes (6-DoF wrench) pour moduler la génération d'actions, prédit conjointement les actions futures et les efforts en bout d'effecteur afin de modéliser explicitement l'évolution du contact, puis utilise cette trajectoire de wrench prédite comme référence d'exécution pour corriger les actions en temps réel via un module de correction résiduelle. Sur plusieurs tâches de manipulation nécessitant des contacts riches -- vissage, insertion, assemblage par contrainte -- FAWAM affiche un taux de succès moyen supérieur de 36,25 % aux baselines purement visuelles et de 21,25 % aux baselines force-aware existantes. Il s'agit d'un preprint, sans déploiement industriel annoncé à ce stade.

L'apport technique est notable pour les intégrateurs et les équipes R&D en manipulation apprise : la plupart des politiques modernes type Diffusion Policy, ACT ou des VLA (Vision-Language-Action models) traitent la force comme une modalité d'observation annexe, sans lui donner de rôle prédictif dans la dynamique future du contact. FAWAM repositionne le signal force comme variable de première classe dans l'architecture du modèle, ce qui permet une correction online des actions sans nécessiter de replanification complète. C'est précisément ce découplage entre prédiction de wrench et correction résiduelle qui explique le gain de performance : le robot anticipe l'effort attendu avant de l'observer, et ajuste en conséquence dès qu'un écart apparaît. Pour un COO ou un directeur technique envisageant des cellules d'assemblage automatisées, cela représente une réduction significative du gap simulation-réalité sur les tâches à contact fort.

La manipulation en contact riche reste l'un des derniers verrous majeurs de la robotique industrielle polyvalente, là où les approches vision-seule échouent dès que les tolérances sont serrées ou les surfaces glissantes. Des travaux récents comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou les politiques de manipulation de Google DeepMind intègrent parfois la proprioception mais rarement le couple d'axe complet en boucle de prédiction. FAWAM s'inscrit dans un courant émergent de world action models orientés contact, aux côtés de travaux comme RoboDex ou des approches de manipulation tactile de Berkeley et Carnegie Mellon. La prochaine étape logique serait une validation sur robot humanoïde ou sur bras industriel en environnement semi-structuré, ce que le preprint ne couvre pas encore.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Opt2VLA : modèle vision-langage-action sensible à la force pour la manipulation humanoïde à corps entier avec contacts

Un preprint arXiv publié le 22 septembre 2026 (2609.23968v1) présente Opt2VLA, un framework vision-language-action (VLA) pour la manipulation corps-entier de robots humanoïdes dans des tâches à contact riche. Le système introduit des commandes de force explicites à l'interface entre la politique VLA et les contrôleurs bas niveau : une seule politique multi-tâches prédit à la fois des objectifs de mouvement géométriques et des références de force de contact continues, suivies par des contrôleurs entraînés par apprentissage par renforcement. Les données d'entraînement sont générées par optimisation de trajectoire avec références de force explicites, garantissant des trajectoires dynamiquement réalisables. Le système a été testé sur trois tâches humanoïdes à contact riche, en simulation et sur matériel robotique réel. L'enjeu dépasse la démonstration académique. La plupart des modèles VLA actuels pour humanoïdes, à l'image de Pi-0, GR00T N2 ou Helix, représentent les actions uniquement par des objectifs de mouvement géométriques, sans raisonnement explicite sur les forces d'interaction, une limite critique dans les tâches où des mouvements similaires exigent des régimes de force différents, ou où la vision devient peu fiable après contact. Les auteurs montrent que le conditionnement explicite par la force améliore la précision et la stabilité de la régulation, et que la supervision physique issue de l'optimisation de trajectoire renforce encore ce suivi. Pour les intégrateurs industriels, cela suggère qu'une politique VLA unique peut arbitrer entre précision géométrique et contrôle de force sans multiplier les contrôleurs ad hoc, un prérequis pour des tâches fines comme le vissage ou l'insertion de connecteurs. Opt2VLA s'inscrit dans la vague de modèles VLA pour humanoïdes portée par des acteurs comme Physical Intelligence, NVIDIA ou Figure AI, jusqu'ici centrés sur la sémantique visuelle et le suivi de mouvement plutôt que sur la dynamique de contact. L'abstract ne précise ni l'affiliation des auteurs ni le modèle de robot utilisé pour les essais matériels, et les résultats restent ceux d'un preprint non encore relu par les pairs, validé sur trois tâches expérimentales. Les prochaines étapes attendues portent sur l'extension à davantage de tâches à contact riche et la validation de la génération de données par optimisation de trajectoire sur d'autres plateformes matérielles.

IA physiqueActu

1 source

2arXiv cs.RO

FWBC-VLA : compensation corporelle sensible aux forces pour la locomanipulation riche en contacts

Le preprint arXiv publie le 3 septembre 2026 (arXiv:2609.03889v1) présente FWBC-VLA, un framework qui relie génération d'action sémantique et contrôle du contact physique pour des robots a roues et jambes. Sa pièce centrale, HSR-Force, est un estimateur de couple résiduel sans capteur dédié: il infere la force de contact et son évolution a partir des seules données proprioceptives, converties en tokens injectes dans le modèle vision-language-action pendant la génération d'action. Le backbone VLA a été entièrement finetune sur le WL&Arm Dataset, plus de 5 000 épisodes de loco-manipulation, et un générateur de compensation combine état proprioceptif, force estimée et état de contact pour produire des actions correctrices envoyées au contrôle du corps entier. Les auteurs valident l'approche sur deux taches réelles: essuyage d'un tableau blanc et ouverture d'une porte munie d'un ferme-porte. Le problème cible est connu du secteur: les VLA génèrent des actions sans percevoir les forces physiques induites au contact, les politiques de contrôle du corps entier stabilisent le robot sans distinguer force utile a la tache et perturbation externe, et des capteurs dédiés alourdissent cout et intégration. En démontrant qu'une estimation logicielle du contact suffit a fiabiliser des taches de manipulation en contact riche, l'étude répond a l'écart persistant entre démonstrations VLA en laboratoire et déploiement robuste sur du matériel standard. Pour les intégrateurs qui évaluent des plateformes a roues et jambes pour des taches de service en environnement encombre, cela ouvre une piste pour réduire l'instrumentation couteuse sans sacrifier la robustesse au contact. Ce travail s'inscrit dans la vague des modèles vision-language-action, aux cotes de références comme Pi-0, GR00T N2 ou Helix, conçues pour des bras manipulateurs ou des humanoïdes et rarement testées sur des plateformes a roues et jambes. L'abstract ne précise ni l'affiliation des auteurs ni le robot exact utilise, et le document reste a ce stade un preprint non évalué par les pairs, sans annonce de produit ni de partenariat industriel. Les résultats se limitent a deux taches démonstratives en conditions réelles, ce qui laisse ouverte la question du passage a l'échelle, dans un secteur ou la robustesse au contact reste l'un des principaux verrous avant un déploiement commercial etendu.

IA physiqueActu

1 source

3arXiv cs.RO

Modèle de diffusion sensible aux correspondances pour la manipulation robotique en contact étroit (Robot-DIFT)

La manipulation robotique échoue souvent dans les derniers millimètres : un bras peut identifier le bon objet mais rater l'alignement de pose ou le contact précis nécessaire à l'action. Robot-DIFT (arXiv:2602.11934) est une architecture d'encodeur visuel présentée dans un preprint académique pour combler ce manque, en exposant aux politiques de contrôle des features de correspondance sensibles aux variations fines de pose et de géométrie de contact. L'approche repose sur la distillation de variété (Manifold Distillation) : un modèle de diffusion bruit-conditionné sert de Teacher et transfère sa structure de représentation à un Student déterministe à passe unique, compatible avec le contrôle temps réel. Un réseau pyramidal spatial-sémantique (S2-FPN) fusionne ensuite les features multirésolution pour exposer à la politique à la fois contexte global et détail de contact fin. Évalué sur RoboCasa, LIBERO-10 et sur robots physiques, Robot-DIFT dépasse les encodeurs VLA, auto-supervisés, géométriques et diffusion directe sur les tâches sensibles au contact. L'enjeu est structurant pour la robotique de précision et les intégrateurs industriels. Les encodeurs sémantiques qui équipent les VLA modernes, comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, reconnaissent les objets à l'échelle scène mais écrasent les indices de correspondance fine dont le contrôle en boucle fermée a besoin : c'est ce qui bloque l'assemblage de précision, l'insertion et la manipulation en milieu non structuré. Les modèles de diffusion encodent naturellement ces correspondances denses, mais leur stochasticité et leur latence élevée les rendaient inutilisables directement. Robot-DIFT propose une alternative : distiller ces features en un backbone déterministe temps réel sans perdre leur avantage de correspondance. Les travaux sur les features de diffusion en vision 2D (DIFT, Diffusion Hyperfeatures) avaient posé les bases théoriques sans transposition robotique praticable. Robot-DIFT se positionne face aux encodeurs auto-supervisés établis comme R3M, MVP et VC-1, et aux représentations issues des VLA. Aucun acteur européen n'est cité dans ce travail, mais des entreprises comme Enchanted Tools ou Wandercraft, dont les cas d'usage requièrent une précision millimétrique, sont dans le périmètre d'application direct. Les prochaines étapes logiques incluent l'intégration dans des politiques diffusion (Diffusion Policy, ACT) et des évaluations sur benchmarks industriels plus représentatifs que les suites académiques actuelles.

UEDes entreprises françaises comme Enchanted Tools et Wandercraft, dont les cas d'usage requièrent une précision millimétrique, pourraient bénéficier de cette architecture si elle est intégrée dans des politiques de contrôle open-source diffusion ou ACT.

IA physiquePaper

1 source

4arXiv cs.RO

EWAM : un modèle d'action du monde amélioré pour l'adaptation en ligne en boucle fermée dans l'IA incarnée

Une équipe de recherche publie sur arXiv (arXiv:2606.12690, juin 2026) une architecture baptisée EWAM (Enhanced World Action Model), conçue pour adapter un robot à de nouvelles configurations de tâches sans aucun jeu de démonstrations supplémentaires et sans réentraîner le réseau de base. EWAM s'appuie sur Cosmos3, le modèle fondationnel de simulation-prédiction monde développé par NVIDIA, maintenu entièrement gelé. Quatre couches neuronales légères y sont greffées : une couche mémoire d'expérience (Neural Experience Memory Layer) insérée dans les couches intermédiaires du Diffusion Transformer (DiT), qui injecte du contexte d'exécution ; une couche de détection d'anomalies (Neural Anomaly Detection Layer) placée après la tête de prédiction d'état, qui mesure en temps réel la divergence entre état prédit et état observé ; une couche de routage de politique (Neural Policy Routing Layer) qui choisit dynamiquement entre exécution directe, replanification conservative ou rollback de récupération selon la sévérité de l'anomalie ; et une couche de correction d'action (Neural Action Correction Layer) qui affine les séquences d'actions générées à partir des diagnostics d'exécution. L'ensemble est évalué exclusivement en protocole zéro-shot. Ce que montre EWAM, c'est qu'il est possible d'obtenir des gains de performance significatifs à l'inférence uniquement, sans toucher aux poids du modèle de base et sans collecter de nouvelles démonstrations spécifiques à chaque tâche. Pour un intégrateur industriel ou un COO, c'est un signal important : le coût de redéploiement sur de nouveaux layouts d'atelier, qui constitue aujourd'hui l'un des freins majeurs à la généralisation des robots mobiles et des manipulateurs apprenants, pourrait être absorbé par de l'adaptation en ligne plutôt que par des cycles coûteux de collecte de données et de fine-tuning. Le module de détection d'anomalies couplé au routage de récupération adresse directement le "demo-to-reality gap" : les modèles génératifs de type monde peuvent prédire des états plausibles mais diverger sur le terrain ; EWAM tente de corriger cette dérive en boucle fermée. La différenciabilité des modules mémoire, détection et correction dans le chemin forward de Cosmos3 distingue cette approche d'une simple fusion de features en post-processing. Cosmos3 est le modèle monde physique de NVIDIA, successeur de Cosmos1 et Cosmos2, entraîné sur des volumes massifs de vidéos de manipulation et de navigation pour prédire des trajectoires d'états futurs vraisemblables. L'architecture EWAM s'inscrit dans une vague de travaux qui cherchent à exploiter ces fondations gelées plutôt qu'à les réentraîner, une tendance que l'on retrouve aussi dans Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA Robotics) ou les approches VLA (Vision-Language-Action) basées sur des backbones pré-entraînés. Les acteurs concurrents sur ce créneau de l'adaptation légère incluent les équipes de DeepMind (RT-2, AutoRT), de Physical Intelligence et de plusieurs laboratoires universitaires américains et chinois. EWAM est pour l'instant un résultat de recherche académique non déployé en production, et les auteurs ne précisent pas de partenaires industriels ni de calendrier de transfert. Les prochaines étapes naturelles seraient une validation sur hardware réel à grande échelle et une comparaison directe en termes de coût de déploiement face aux méthodes de fine-tuning léger (LoRA, QLoRA) appliquées à ces mêmes backbones.

IA physiqueOpinion

1 source