RecherchearXiv cs.RO 21 juillet 2026

HCPG-Flow : guidage hiérarchique de progression de contact pour la manipulation robotique par politique de flux

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Les chercheurs à l'origine de HCPG-Flow présentent une nouvelle méthode de sélection d'actions pour les politiques de manipulation robotique de type "flow", publiée sur arXiv (2607.17651). Le problème visé est concret : ces politiques génèrent plusieurs propositions d'actions multimodales à chaque étape de contrôle, mais le robot ne peut en exécuter qu'une seule, et le classement habituel par un critique (critic-based ranking) fausse la collecte de données lorsque les candidates sont mal représentées dans le buffer de replay. HCPG-Flow ajoute à SAC-Flow un mécanisme de guidage hiérarchique centré sur l'objet, actif au moment du rollout, sans modifier les objectifs d'acteur et de critique existants. Le système bascule d'abord sur l'approche de l'effecteur terminal, puis, une fois le contact établi, sur la progression de la tâche, en notant chaque proposition selon la réduction de premier ordre d'une distance pertinente pour la tâche, standardisée au sein de l'ensemble de candidats, avant d'exécuter une combinaison d'actions contrôlée par température. Sur dix tâches simulées, la méthode améliore le taux de succès moyen par rapport à SAC-Flow sur les deux bancs d'essai testés, avec un gain de 9,5 points de pourcentage sur Maniskill. En conditions réelles, sur quatre tâches physiques, HCPG-Flow atteint un haut taux de succès tout en réduisant de 17,4 % le nombre d'étapes nécessaires pour compléter une tâche avec succès.

Pour le secteur de la robotique manipulative, ce travail s'attaque à un goulot d'étranglement bien identifié des politiques par apprentissage par renforcement à base de flow matching : la fiabilité de la sélection d'action au moment de l'exécution, distincte de la qualité de l'apprentissage lui-même. En s'appuyant sur une heuristique physique simple, le progrès de contact plutôt qu'une pure estimation de valeur, la méthode réduit la dépendance à des estimations de critique potentiellement biaisées, un point sensible pour les intégrateurs qui cherchent des politiques robustes et transférables du simulateur au réel (sim-to-real), notamment sur des tâches de manipulation fine où le contact physique conditionne la réussite.

HCPG-Flow s'inscrit dans la lignée des travaux récents combinant flow policies et SAC (Soft Actor-Critic), une famille de méthodes qui a gagné en popularité pour représenter des distributions d'actions multimodales en robotique, en concurrence directe avec les approches par diffusion. Les auteurs mettent à disposition une page de projet (hitxraz.github.io/HCPG-Flow) présentant probablement code et démonstrations, sans toutefois préciser à ce stade de calendrier de déploiement industriel ni de partenariat avec des acteurs commerciaux du secteur.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

HiTac-WAM : un modèle hiérarchique d'action du monde tactile pour la manipulation robotique à contacts riches

Un preprint publié sur arXiv le 21 août 2026 décrit HiTac-WAM, un modèle monde d'action tactile et hiérarchique pour la manipulation robotique en contact riche (arXiv:2608.19574v1). Le système décompose la prévision tactile en trois étages successifs, état de contact, champ de déformation 3D, puis risque de glissement, et classe les segments d'action candidats selon ces prévisions avant de déclencher une replanification si l'écart entre tactile prédit et observé persiste à l'exécution. À budget d'entraînement égal, cette hiérarchie réduit l'erreur de déplacement 3D de 17,6% et améliore la détection de glissement de 60,4% par rapport à des prédicteurs non hiérarchiques. Sur trois tâches robotiques réelles, préhension de puces électroniques, effacement de tableau, insertion de connecteur USB, cette sélection fait passer le taux de réussite moyen de 31,1% à 61,1%, et le système complet atteint 72,2%, avec un F1 de contact moyen de 0,921. Ces résultats indiquent qu'une modélisation structurée du signal tactile, plutôt que la représentation en image ou en flux latent utilisée par les approches existantes, améliore nettement la fiabilité de la manipulation en contact riche, un point de friction connu pour l'assemblage fin, l'insertion de connecteurs ou la manipulation d'objets fragiles. Le taux de réussite plus que doublé par rapport à une sélection sans hiérarchie tactile suggère que séparer contact, déformation et glissement capture mieux la physique du contact que les architectures bout en bout existantes, un argument utile pour les intégrateurs cherchant à dépasser la démonstration contrôlée. Pour les équipes travaillant sur des modèles monde ou des architectures vision-langage-action, ce travail illustre une piste pour fiabiliser l'action à partir du retour tactile sans nécessairement accroître le volume de données. Le travail s'inscrit dans la lignée des modèles monde d'action qui prédisent conjointement observations et actions, en corrigeant une limite des variantes tactiles existantes: l'absence de dépendances physiques structurées entre contact, déformation et glissement. Il s'agit à ce stade d'un preprint arXiv nouvellement soumis, validé sur trois tâches de manipulation en laboratoire et non d'un produit déployé ou d'un pilote industriel, sans calendrier de commercialisation annoncé, les gains restant à confirmer au-delà de ces trois tâches.

RecherchePaper

1 source

2arXiv cs.RO

GeCCo : une politique généraliste conditionnée par le contact pour la loco-manipulation des robots à pattes

GeCCo, pour Generalist Contact-Conditioned Policy, est une politique de bas niveau entraînée par apprentissage par renforcement profond (DRL) capable de suivre des points de contact arbitraires sur un robot quadrupède, décrite dans un article arXiv (2509.17582v2, version révisée). Plutôt que d'apprendre une politique de bout en bout spécifique à chaque tâche, les auteurs proposent une architecture hiérarchique modulaire où cette unique politique de suivi de contacts sert d'interface entre un planificateur de haut niveau et le contrôle bas niveau du robot. Le système a été testé sur un large éventail de tâches de locomotion et de manipulation avec une seule politique généraliste : différentes allures, franchissement de terrains complexes comme des escaliers et des pentes, traversée de pierres de gué et de poutres étroites jamais vues à l'entraînement, ainsi que des interactions physiques comme appuyer sur un bouton ou pousser un tonneau. L'intérêt principal pour l'industrie robotique tient à la promesse de rompre avec le goulot d'étranglement classique du RL en locomotion quadrupède : la définition et l'ajustement itératifs de fonctions de récompense pour chaque nouvelle application, un processus chronophage qui limite le passage à l'échelle. En stabilisant l'exécution des contacts malgré l'incertitude dynamique et les erreurs de planification, GeCCo permet d'échanger ou de composer des planificateurs (codés à la main, appris ou basés sur de l'optimisation) sans réentraîner la couche de contrôle. Pour des intégrateurs cherchant à combiner locomotion et manipulation sur une même plateforme, cela suggère la possibilité de construire de nouveaux comportements en assemblant un planificateur spécifique à la tâche avec une politique pré-entraînée générique, plutôt qu'en repartant de zéro à chaque fois. L'article se positionne face aux méthodes dominantes de RL end-to-end en locomotion quadrupède, qu'il cherche explicitement à dépasser en généralité et en modularité. Aucune affiliation industrielle ni partenaire commercial n'est mentionné dans le résumé, ce qui situe ce travail comme une contribution de recherche plutôt qu'une annonce produit. Des démonstrations vidéo sont disponibles sur le site du projet, vassil-atn.github.io/gecco.github.io, mais l'article ne précise ni feuille de route de déploiement ni pilote industriel annoncé.

RecherchePaper

1 source

3arXiv cs.RO

Cue the Flow : guider les politiques de flow matching pour la manipulation robotique en livraison en milieu ouvert

Des chercheurs proposent une méthode, baptisée « Cue the Flow », pour piloter une politique de manipulation sans la réentraîner. Elle vise la livraison d'objets en environnement ouvert, où un manipulateur mobile doit suivre des instructions libres de l'utilisateur et saisir des objets potentiellement inconnus. Le travail, publié sur arXiv (2609.38989), part d'un modèle vision-langage-action (VLA) préentraîné à flow matching, utilisé comme interface de contrôle bas niveau. Un modèle de grounding de haut niveau convertit la consigne en indice spatial, et celui-ci sert à orienter la politique. Les auteurs ajoutent un adaptateur léger conditionné par cet indice. Il est d'abord entraîné par objectifs contrastifs, afin de produire des représentations saillantes et spatialement discriminantes. Il est ensuite supervisé pour prédire une transformation affine diagonale appliquée au bloc d'actions généré (action chunk), ce qui aligne l'action sur la cible désignée. Les tests couvrent des configurations sur table et sur base mobile, avec des objets vus ou non à l'entraînement. Les auteurs annoncent jusqu'à près de 2 fois le taux de réussite moyen des tâches, pour un surcoût d'inférence négligeable. Il s'agit d'un résultat de laboratoire, sans produit ni déploiement associé, et l'extrait disponible ne donne ni nom de modèle de base, ni plateforme, ni nombre d'essais. L'enjeu est de savoir où placer la frontière entre planification et contrôle. Les architectures à double système, avec un modèle de grounding en amont et un contrôleur en aval, restent fragiles face au bruit de perception, aux scènes dynamiques et aux contacts riches. Ici, les auteurs conservent la réactivité d'un VLA à flow matching et ne lui injectent que l'information manquante : quelle est la cible. Cela suggère que le préentraînement fournit déjà l'essentiel du savoir-faire de manipulation, et que le goulot se situe dans l'association entre langage et objet nouveau. Pour un intégrateur, l'intérêt pratique est qu'un adaptateur léger, sans surcoût de calcul notable, peut s'ajouter à une politique existante sans réentraînement complet. La formulation « jusqu'à près de 2× » désigne toutefois le meilleur cas. Elle ne dit rien de la robustesse sur des déploiements longs, et les performances moyennes restent à vérifier dans l'article complet. Ce travail s'inscrit dans la course aux VLA généralistes, avec des modèles à flow matching comme Pi-0 de Physical Intelligence, et dans l'essor des architectures à double système comme Helix de Figure ou GR00T de NVIDIA. La livraison en milieu ouvert est un cas d'usage logique pour les manipulateurs mobiles, mais l'écart entre démonstration et fiabilité réelle y reste important. L'approche par adaptateur laisse entrevoir une adaptation rapide à de nouveaux objets, sans collecte massive de données. Les prochaines étapes à surveiller sont la validation sur d'autres VLA de base, des tests en conditions non contrôlées et une éventuelle publication du code, qui n'est pas mentionnée dans le résumé.

RecherchePaper

1 source

4arXiv cs.RO

GHOST : politiques hiérarchiques à sous-objectifs pour généraliser la manipulation robotique

Des chercheurs ont publié le 10 juin 2026 un preprint arXiv (2606.10025) présentant GHOST, un framework pour politiques visuomotrices de manipulation robotique capables de généraliser au-delà de leur distribution d'entraînement. L'architecture repose sur une factorisation hiérarchique en deux niveaux : une politique haut niveau qui prédit le prochain sous-objectif sous forme de distribution sur les poses 3D de l'effecteur terminal à partir d'observations RGB-D multi-vues, et un contrôleur bas niveau conditionné sur ces objectifs qui génère les actions spécifiques à l'embodiment physique du robot. Pour relier les deux niveaux, les auteurs introduisent une interface spatiale qui projette les sous-objectifs 3D prédits dans le plan image sous forme de heatmaps de l'effecteur, une représentation volontairement simple mais compatible avec les pipelines d'entraînement existants. La politique haut niveau est entraînée sur des vidéos de démonstrations humaines brutes, sans retargeting d'actions, tandis que la politique bas niveau reste entraînée exclusivement sur des données robot. Le résultat central est que cette décomposition hiérarchique améliore systématiquement les performances et la robustesse par rapport à une Diffusion Policy plate (architecture de référence populaire depuis les travaux de Chi et al. en 2023) sur une suite de tâches de manipulation. L'insight clé est que les sous-objectifs en espace cartésien de l'effecteur sont largement "embodiment-agnostic" : la même politique haut niveau peut s'appliquer à différentes architectures de robots sans réentraînement complet. Cela contourne un goulot d'étranglement majeur dans le domaine, le retargeting d'actions depuis les démonstrations humaines, qui introduit habituellement un bruit significatif et limite la qualité des données d'entraînement. GHOST s'inscrit dans un courant actif de recherche sur l'utilisation des vidéos humaines comme source de supervision low-cost pour la robotique de manipulation, aux côtés d'approches comme pi-0 de Physical Intelligence ou des travaux sur les VLA (Visual-Language-Action models) de Google DeepMind avec RT-2 et GR00T N2 de NVIDIA. La principale limitation à noter : il s'agit d'un preprint non encore peer-reviewed, sans données de déploiement réel ni métriques de cycle time en contexte industriel. Les résultats concernent une suite de tâches de laboratoire ; la tenue à l'échelle dans des environnements moins contrôlés reste à démontrer. Aucun partenariat industriel ni timeline de commercialisation n'est annoncé.

RecherchePaper

1 source