RecherchearXiv cs.RO 12 juin 2026

GeoHAT : un transformeur hybride adaptatif à la géométrie pour la manipulation mobile

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié le 16 juin 2026 sur arXiv (arXiv:2606.13394) GeoHAT, un framework end-to-end basé sur la diffusion pour la manipulation mobile whole-body. L'architecture atteint 79,3 % de taux de succès moyen sur le benchmark de simulation ManiSkill-HAB, surpassant la baseline précédente la plus forte de 23,7 points. Le coeur du système repose sur un encodeur spatial Fourier léger qui projette les coordonnées 3D pixel par pixel en tokens géométriques, sans backbone 3D dédié, puis les injecte sélectivement dans les features d'un modèle de vision de fondation via une fusion gated par token, modulée par la validité de profondeur. Pour la génération d'actions, un Hybrid Whole-Body Action Decoder décompose les commandes du bras et de la base mobile en sous-espaces distincts, chacun relié à son contexte visuel propre via cross-attention sparse. Des expériences en environnement réel sur tâches variées confirment les gains observés en simulation.

Le verrou visé est structurel: coordonner base mobile et bras manipulateur exige de gérer des points de vue changeants et des régimes de contrôle fondamentalement différents. Les politiques existantes encodent bras et base dans un unique vecteur d'action, écrasant leurs contraintes propres, et s'appuient sur des représentations 3D parses ou des features 2D qui manquent de structure spatiale dense. La décomposition en sous-espaces d'action que propose GeoHAT est une réponse directe à ce mélange contre-productif. Le signal le plus intéressant pour les intégrateurs n'est pas le score sur benchmark, mais la confirmation en conditions réelles: le sim-to-real gap, souvent fatal aux approches académiques, semble partiellement contenu. Cela suggère qu'une politique de manipulation mobile généraliste pourrait être déployée sans recalibration majeure entre simulation et terrain, ce qui reste rare dans la littérature récente.

GeoHAT s'inscrit dans la lignée des politiques de diffusion pour la robotique, dont Diffusion Policy (Chi et al., 2023) et Pi-0 de Physical Intelligence sont les références les plus citées, étendues ici à la manipulation mobile. Le benchmark ManiSkill-HAB, maintenu par l'équipe de Hao Su à l'UC San Diego, est devenu une mesure standard pour les agents mobilise-manipulateurs en scènes domestiques simulées. Les travaux concurrents les plus proches incluent Mobile ALOHA (Stanford, 2024) et les approches VLA comme OpenVLA-OFT. La légèreté computationnelle de GeoHAT, obtenue en évitant un backbone 3D séparé, le distingue des stratégies de fusion dense qui risquent de corrompre les représentations préentraînées. Aucun déploiement industriel ni partenariat n'est annoncé; il s'agit d'un résultat de recherche avec validation réelle, préalable nécessaire avant toute mise en production.

Dans nos dossiers

Physical Intelligence — π0 OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

Un cadre de contrôle adaptatif à commutation pour manipulateurs aériens lors de transitions dynamiques

Des chercheurs proposent, dans une prépublication arXiv déposée sous la référence 2609.24761v1, un nouveau cadre de contrôle destiné aux manipulateurs aériens, ces drones équipés d'un bras robotique capable d'interagir physiquement avec leur environnement. Le problème visé est celui des transitions dynamiques qui surviennent en cours de mission, par exemple quand le bras passe du vol libre au contact avec un objet ou une structure, provoquant des changements brusques et discontinus dans la dynamique du système. Les auteurs, dont l'identité et l'institution ne sont pas précisées dans le résumé, développent une approche dite « à commutation » (switched control) couplée à un contrôle adaptatif, qui ne nécessite pas de connaissance préalable des couplages entre le véhicule volant et son bras, ni des incertitudes qui dépendent de l'état du système et qui sont, par nature, difficiles à modéliser à l'avance. Le cœur de la contribution est une classe de signaux de commutation garantissant mathématiquement que le système reste stable pendant ces phases de transition. Les auteurs indiquent avoir validé leur méthode par des expériences comparatives face à des approches existantes, sans toutefois communiquer de chiffres précis, comme un payload, un nombre de degrés de liberté ou un temps de cycle. Pour l'industrie de la robotique aérienne, ce travail s'attaque à un verrou concret plutôt qu'à une démonstration spectaculaire. Les manipulateurs aériens sont annoncés depuis plusieurs années comme la prochaine frontière après le vol stationnaire stabilisé, avec des applications visées en inspection industrielle, maintenance en hauteur ou manutention légère, mais leur contrôle reste fragile dès que le bras interagit réellement avec un objet, à cause du couplage mécanique fort entre le châssis volant et l'actionneur. En prouvant qu'une loi de commande peut rester stable sans modèle précis de ce couplage, la recherche répond directement à l'un des écarts les plus cités entre démonstrations en laboratoire et usage réel sur le terrain. Le papier s'inscrit dans une littérature déjà abondante sur la manipulation aérienne, où la plupart des méthodes existantes traitent la dynamique comme continue et s'appuient sur des modèles a priori des interactions bras-drone, une hypothèse jugée insuffisante par les auteurs pour les phases de transition brutales. Aucun calendrier de pilote industriel ni de partenaire de déploiement n'est mentionné à ce stade, le travail restant à ce jour une contribution académique en attente de validation par la communauté scientifique.

RecherchePaper

1 source

2arXiv cs.RO

DECOWAM : un modèle monde-action pour la manipulation mobile de robots à pattes

Des chercheurs présentent DECOWAM (Decoupled Whole-Body World-Action Model), un modèle monde-action conçu pour la manipulation mobile sur robots à pattes équipés d'un bras, décrit dans une prépublication arXiv (2608.20114v1) mise en ligne fin août 2026. Le système part d'un backbone FastWAM adapté et gelé, sur lequel sont entraînés uniquement des adaptateurs résiduels, soit 25,95 millions de paramètres entraînables. L'architecture ajoute un goulot d'étranglement futur équivalent-action distillé à partir d'observations privilégiées, des représentations latentes de la base et du bras séparées de manière adversariale, ainsi qu'un conditionnement par la vitesse de la base pour la prédiction vidéo. Les auteurs introduisent également ARMDOG, un nouveau jeu de données collecté sur robot réel qui synchronise vidéo, état corps entier, actions et instructions en langage naturel. Sur un protocole de rejeu fixe, DECOWAM réduit l'erreur quadratique moyenne de prédiction d'action de 21,7% par rapport à FastWAM. Sur 79 essais en boucle fermée par méthode, il obtient la meilleure coordination corps entier et la meilleure robustesse au déplacement de la base parmi les systèmes comparés, tandis que le taux de complétion des tâches reste comparable au meilleur système de référence, sans amélioration nette sur ce critère précis. L'apport principal tient à la séparation explicite du mouvement propre de la caméra (lié au déplacement de la base) des actions du bras, un problème que les modèles monde-action existants, conçus pour des plateformes à base fixe, ignorent largement. Pour les intégrateurs travaillant sur des robots mobiles à bras (quadrupèdes ou plateformes à roues), cela suggère qu'un modèle de prédiction vidéo pré-entraîné peut être adapté à moindre coût, via peu de paramètres, plutôt que réentraîné intégralement pour gérer un point de vue mobile. Le résultat reste toutefois nuancé: les gains portent sur la coordination et la robustesse mesurées en simulation de rejeu, pas sur un saut de performance en complétion de tâche réelle. Le travail se positionne comme une extension aux plateformes mobiles des modèles monde-action initialement développés pour bras fixes, sans nommer de backbone concurrent autre que FastWAM ni d'entreprise partenaire. Il s'agit d'une contribution académique publiée en prépublication, sans annonce de déploiement commercial ni de calendrier de mise en production; le jeu de données ARMDOG pourrait toutefois servir de futur benchmark pour la manipulation mobile corps entier.

RecherchePaper

1 source

3arXiv cs.RO

Imp-ACT : contrôle d'impédance adaptatif et segmentation d'action par transformers pour la manipulation en contact

Des chercheurs présentent Imp-ACT, une méthode de contrôle robotique pour la manipulation en contact riche, décrite dans une prépublication arXiv (2609.31225v1, non encore relue par les pairs). Le principe consiste à intégrer la modulation de rigidité cartésienne directement dans la phase de collecte de démonstrations par téléopération, plutôt que de fixer cette rigidité au niveau du contrôleur comme le font la plupart des politiques vision-action actuelles. Un contrôleur d'impédance auto-ajustable adapte la rigidité selon la direction instantanée du mouvement tout en conservant de la souplesse dans les directions orthogonales, sans sélection manuelle ni reconstruction de cible hors ligne. Cette rigidité adaptée est enregistrée en même temps que les observations visuelles, proprioceptives et de force, puis utilisée pour entraîner une architecture Action Chunking with Transformer (ACT) qui prédit conjointement la pose de l'effecteur, l'action du gripper et la rigidité directionnelle. Sur deux tâches test, essuyage de surface et insertion de fiche, Imp-ACT égale ou dépasse le taux de réussite de deux références à rigidité fixe (basse et haute), tout en réduisant les forces de contact : la vibration des forces de contact chute d'environ 29 fois par rapport à la référence souple et 180 fois par rapport à la référence rigide lors de l'essuyage, et les forces orthogonales à l'axe d'insertion baissent de 43% par rapport à la meilleure référence à rigidité fixe lors de l'insertion. L'enjeu dépasse la simple démonstration académique : la plupart des politiques d'apprentissage par imitation actuelles séparent l'apprentissage du mouvement de la gestion de la compliance, laissant les intégrateurs choisir manuellement un compromis rigide/souple selon la tâche, un réglage coûteux et rarement optimal pour l'ensemble d'une opération de contact. En montrant qu'une politique unique peut apprendre à moduler sa rigidité en fonction de la direction, à partir de simples démonstrations téléopérées, Imp-ACT suggère une voie pour automatiser ce réglage dans des tâches industrielles sensibles comme l'assemblage, le câblage ou le nettoyage de surfaces, où un excès de rigidité génère des forces dommageables et un excès de souplesse compromet la précision. Le travail s'appuie sur l'architecture ACT, déjà répandue dans l'apprentissage par imitation robotique, et se distingue des politiques généralistes de type VLA en se concentrant spécifiquement sur le sous-problème du contrôle de compliance plutôt que sur la généralisation multi-tâches. Il s'agit à ce stade d'une évaluation de laboratoire sur deux tâches ciblées, sans annonce de déploiement industriel ni de partenariat commercial.

RecherchePaper

1 source

4arXiv cs.RO

AeRSoM : un manipulateur aérien hybride rigide-souple pour la manipulation à contacts multiples

Une publication arXiv (référence 2609.28044v1) décrit AeRSoM, un robot aérien manipulateur combinant rigidité et souplesse pour la manipulation en contact riche. Le système associe une plateforme volante entièrement actionnée, un bras hybride rigide-souple et un mécanisme de raideur variable qui repartit la compliance dans toute la structure, afin d'absorber passivement les chocs sans sacrifier la précision. Un cadre de contrôle composite assure le suivi de trajectoire de l'effecteur terminal malgré les incertitudes et perturbations extérieures. Les expériences en conditions réelles portent sur quatre taches représentatives : saisie dynamique de lignes électriques, interaction physique avec une pale d'éolienne, insertion peg-in-hole et opérations de vissage. Les auteurs rapportent une robustesse et une adaptabilité accrues face au contact, sans perte de précision de manipulation. L'enjeu vise un problème connu des concepteurs de drones manipulateurs : les forces de contact se transmettent directement a la plateforme et la déstabilisent, ce qui cantonne en général les manipulateurs aériens a des taches sans contact ou peu précises. Les bras souples réduisent ce risque mais perdent en exactitude, ce qui empêchait jusqu'ici des opérations fines comme le vissage ou l'insertion serrée. En distribuant la compliance dans la conception mécanique elle-même plutôt que dans le seul contrôle logiciel, cette approche cherche a lever ce compromis. Pour les intégrateurs d'inspection et de maintenance aérienne, sur lignes haute tension ou parcs éoliens, cela ouvre une voie vers une interaction physique réelle avec les infrastructures, au-delà de la simple observation ou du transport de charge. Ce travail s'inscrit dans la recherche académique sur la manipulation aérienne, un domaine ou les systèmes existants privilégient généralement soit des bras rigides précis mais fragiles au contact, soit des mécanismes souples ou a câbles plus surs mais moins exacts. AeRSoM se positionne comme une alternative intermédiaire fondée sur une répartition mécanique de la compliance plutôt que sur un seul point flexible. Classee comme nouvelle soumission arXiv, l'étude reste a un stade expérimental : les essais ont été menés en conditions contrôlées, sans annonce de partenariat industriel, de calendrier de déploiement ni de produit commercial. Les auteurs présentent leur architecture comme une piste de conception pour renforcer la sécurité et la polyvalence des futurs robots aériens manipulateurs, sans indiquer de suite prévue au-delà de cette publication scientifique.

RecherchePaper

1 source