RecherchearXiv cs.RO 28 septembre 2026

Vers une représentation unifiée inter-domaines pour la manipulation par pince à deux doigts, centrée sur l'interaction

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article publié le 28 septembre 2026 sur arXiv (référence 2609.31207) décrit une méthode d'apprentissage par imitation pour pinces robotiques à deux doigts, censée transférer une politique d'un robot à un autre sans réentraînement. Un modèle vision-langage interprète une instruction et un flux RGB-D pour former un triplet pince, objet tenu, objet cible, tandis que SAM 2.1, de Meta, suit les masques et limite les appels au VLM. La scène est encodée dans une représentation canonique centrée sur la pince, combinée à des champs de potentiel pour le guidage global et des nuages de points en repère pince pour la géométrie locale, puis traduite en actions lisses à 7 degrés de liberté par un Flow-Matching Transformer. Les auteurs rapportent des tests en simulation et en conditions réelles, avec transfert zero-shot vers des plateformes robotiques et angles de caméra inédits.

La question visée, la généralisation cross-embodiment, est centrale pour l'industrie: la plupart des politiques de manipulation restent liées à la géométrie du bras et de la pince d'entraînement, obligeant à tout recollecter dès qu'un intégrateur change de matériel ou de caméra. En séparant sémantique de la tâche et géométrie matérielle, l'approche vise directement ce goulot d'étranglement, potentiellement utile aux intégrateurs opérant des flottes hétérogènes de bras et de pinces. Les auteurs revendiquent être les premiers à conjuguer scores de benchmark compétitifs et transfert sim-to-real zero-shot aussi étendu, une affirmation d'abstract académique à prendre avec prudence tant qu'elle n'a pas été reproduite sur du matériel industriel varié, le travail restant un résultat de recherche, non un produit déployé.

Cette contribution s'inscrit dans la vague actuelle des modèles vision-langage-action (VLA) généralistes pour la robotique, tels Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, qui butent sur cet enchevêtrement entre sémantique et géométrie matérielle, ici traité pour les pinces à deux doigts, configuration la plus répandue en manipulation industrielle. Le recours à SAM 2.1 et à un Flow-Matching Transformer, courants dans les politiques d'action génératives récentes, relève de la boîte à outils standard du secteur plutôt que d'une rupture technologique. Aucun acteur ni institution française ou européenne n'apparaît dans cet article. Les étapes suivantes attendues sont la publication du code et des poids, une validation sur davantage de plateformes et une revue par les pairs avant toute reprise commerciale.

Dans nos dossiers

Figure IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Un modèle de représentation universel pour la manipulation dextérique unifiée

Une équipe de chercheurs propose OHRA (One Hand to Rule Them All), un cadre de représentation canonique paramétrisée visant à unifier les politiques de manipulation dextère sur des mains robotiques de morphologies très différentes. Constat de départ : les politiques d'apprentissage actuelles supposent une architecture de main fixe et ne se transfèrent pas sans réentraînement complet. Le système combine un espace de paramètres unifié capturant les variations cinématiques et morphologiques essentielles, et un format URDF canonique standardisant l'espace d'action tout en préservant les propriétés dynamiques de chaque main d'origine. Un VAE (Variational Autoencoder) est entraîné sur cet espace pour produire un plongement latent compact et sémantiquement cohérent. Résultat clé : la politique de préhension conditionnée sur cette représentation atteint 81,9 % de succès en transfert zéro-shot sur une LEAP Hand à 3 doigts, morphologie non vue pendant l'entraînement, validée en simulation et sur tâches réelles. L'enjeu est directement industriel : la fragmentation des designs de mains, Shadow Robotics, LEAP, Allegro, Ability Hand, rend les politiques non portables d'un hardware à l'autre. Un cadre partagé permettrait à un intégrateur de réentraîner une politique existante sur un nouveau manipulateur sans repartir de zéro, comprimant les coûts de déploiement. Le score de 81,9 % en zéro-shot sur une configuration inédite est un signal mesurable que le "morphology gap", l'analogue du sim-to-real gap appliqué aux architectures de mains, commence à être adressé. Le fait que les interpolations dans l'espace latent produisent des transitions morphologiques physiquement cohérentes indique que le VAE capture une géométrie fonctionnelle, pas seulement statistique. Ce travail s'inscrit dans la dynamique plus large de l'apprentissage cross-embodiment, aux côtés de travaux comme UniDexGrasp, DexGraspNet ou les approches fondées sur des VLA (Vision-Language-Action models). Sur le plan concurrentiel, Google DeepMind, Physical Intelligence (Pi-0) et Unitree investissent dans des politiques généralisables, mais l'angle "unification par représentation canonique de la morphologie de main" reste peu exploré industriellement. Les suites naturelles incluent l'extension à la manipulation bimanuelle, aux mains à plus de 5 doigts, et l'intégration dans des pipelines de téléopération. Aucun déploiement commercial ni partenariat industriel n'est annoncé à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

Coordi-pi : une représentation d'actions des deux mains tenant compte de la coordination pour la manipulation dextre bimanuelle

Des chercheurs proposent Coordi-π, une nouvelle représentation des actions pour les politiques VLA (vision-language-action) appliquées à la manipulation dextre bimanuelle, décrite dans un preprint arXiv (2610.19753). Les politiques bimanuelles existantes concatènent, à chaque pas de contrôle, les actions bras-main droite et gauche dans un seul vecteur, ce qui laisse les interactions entre les deux mains implicites. Coordi-π fait autrement. Chaque côté (bras plus main) devient un token d'action distinct, et les tokens sont organisés en une séquence entrelacée où les deux côtés apparaissent explicitement. Un embedding d'identité de main apprenable distingue la droite de la gauche. Un codage positionnel rotatif (RoPE) factorisé sépare la position dans la séquence du pas de contrôle. Les deux actions d'un même pas partagent ainsi une coordonnée temporelle, tout en gardant des positions distinctes dans la séquence. Sur les cinq tâches bimanuelles dextres du benchmark DexJoCo, Coordi-π dépasse π0.5, la référence de Physical Intelligence. Le taux de succès moyen passe de 31,9 % à 51,3 % en configuration rand-obj, et de 18,3 % à 32,3 % en configuration rand-full. Les auteurs annoncent aussi des résultats supérieurs à π0.5 sur quatre tâches réelles, sans en donner les chiffres dans le résumé. L'intérêt est d'abord méthodologique. La manipulation bimanuelle avec mains dextres multiplie les degrés de liberté, et le goulot d'étranglement n'est plus seulement la perception ou le langage, mais la façon dont la politique modélise la coordination entre les deux côtés. Ce travail suggère qu'un choix de structuration des actions, sans changement de backbone, peut apporter un gain notable. Il faut toutefois relativiser. Les taux de succès restent modestes en valeur absolue, autour de 51 % et 32 %, ce qui est loin d'un niveau exploitable en production. Les résultats sont obtenus en simulation sur un benchmark précis, et la version rand-full, plus difficile, montre que la généralisation reste fragile. Les essais réels ne sont pas chiffrés dans le résumé. Pour un intégrateur ou un décideur industriel, cela relève de la recherche, pas d'un produit livrable. Le contexte est celui de la course aux modèles VLA généralistes, où la famille π de Physical Intelligence sert de référence ouverte. Les acteurs de l'humanoïde développent des architectures concurrentes, comme Helix chez Figure ou GR00T chez NVIDIA, avec des mains à nombreux degrés de liberté. Le passage de la pince à la main dextre bimanuelle est l'un des verrous les plus cités. Les prochaines étapes à surveiller sont la publication des détails des essais réels, la disponibilité du code, et la reproduction des résultats sur d'autres benchmarks et matériels. C'est ce qui dira si la représentation entrelacée tient hors de DexJoCo.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Sparse2Act : apprendre des représentations 3D éparses alignées sur l'action pour la manipulation robotique multi-domaines

Des chercheurs ont déposé le 12 juin 2026 sur arXiv (référence 2606.12759) Sparse2Act, un cadre de pré-entraînement pour encodeurs de nuages de points 3D épars appliqués à la manipulation robotique. La méthode exploite les actions de l'effecteur terminal en espace tâche comme supervision géométrique : des tokens 3D masqués sont entraînés à organiser les features de scène autour du mouvement de l'espace de travail associé à l'observation. Sur le benchmark LIBERO-10, le système atteint 86,9 % de taux de succès moyen après seulement 500 étapes de fine-tuning. Le même encodeur pré-entraîné permet un transfert inter-domaines de LIBERO vers Meta-World, avec 73,4 % de succès moyen sur le benchmark Meta-World-5. En condition réelle, après pré-entraînement en simulation suivi d'un fine-tuning limité sur données réelles, le système obtient 72,5 % de succès sur quatre tâches de manipulation distinctes. Ce que démontre Sparse2Act, c'est qu'un encodeur 3D peut être pré-entraîné de façon générique et réutilisé tel quel par des politiques aux architectures et espaces d'action différents, y compris des commandes en espace articulaire. C'est un changement de paradigme par rapport aux représentations 3D apprises via des objectifs de tâche spécifiques, qui restent liées à une distribution de données particulière et ne se transfèrent pas. Le sim-to-real à 72,5 % avec fine-tuning limité est un résultat concret que les pipelines VLA (Vision-Language-Action) comme Pi-0 de Physical Intelligence ou OpenVLA peinent à reproduire proprement sur des tâches de manipulation fine. Les ablations publiées dans le papier confirment que le gain provient du signal d'alignement action-masque, et non de la capacité du décodeur, ce qui oriente les futures architectures vers une supervision géométrique légère. L'intérêt pour les représentations 3D explicites en manipulation robotique s'est accentué depuis 2023, en réponse aux limites des politiques purement pixel-based sur les saisies occludées ou en précision sub-centimétrique. Sparse2Act s'inscrit dans le courant du pré-entraînement de représentations robotiques génériques, aux côtés de R3M, MVP ou SPA, mais se distingue par l'usage des actions comme signal de supervision géométrique plutôt que du contrastif visuel ou de la reconstruction d'image. Les concurrents directs incluent les fondations visuelles fine-tunées (DINO, SAM) adaptées à la manipulation et les politiques diffusion-based comme Pi-0.2 ou RDT-1B. La prochaine étape naturelle pour ce travail est l'extension à des morphologies variées (bras bimanuel, robot mobile) et à des scènes hors environnements tabletop standardisés comme LIBERO et Meta-World.

RecherchePaper

1 source

4arXiv cs.RO

STORM : représentation par slots centrée objet et sensible à la tâche pour la manipulation robotique

Des chercheurs ont publié STORM (Slot-based Task-aware Object-centric Representation for robotic Manipulation), un module d'adaptation léger conçu pour augmenter les modèles visuels de fondation figés avec des représentations centrées sur les objets. Plutôt que de réentraîner de grands backbones visuels, coûteux en calcul et en données étiquetées, STORM insère un ensemble restreint de "slots", des vecteurs appris qui capturent chaque objet de la scène de manière distincte. L'entraînement se déroule en deux phases : un préentraînement visuo-sémantique qui stabilise les slots via des embeddings de langage, puis une adaptation conjointe avec la politique de manipulation. Les expériences, menées sur des benchmarks de découverte d'objets et des tâches de manipulation simulée, montrent des gains de robustesse face aux distracteurs visuels et une meilleure performance de contrôle par rapport à l'utilisation directe des features figées ou à l'entraînement end-to-end de représentations object-centriques. L'enjeu est structurel pour la robotique de manipulation. Les modèles visuels de fondation comme DINOv2 ou SigLIP fournissent des features perceptuelles puissantes, mais leurs représentations denses traitent la scène comme une grille de pixels sans distinguer explicitement les objets. Pour une tâche du type "saisir la boîte rouge parmi plusieurs objets", cette absence de structure oblige le réseau de politique à apprendre lui-même la décomposition de la scène, ce qui nuit à la généralisation hors distribution. STORM contourne ce problème sans toucher au backbone. Le résultat valide l'hypothèse que l'adaptation multi-phase (stabilisation sémantique d'abord, alignement tâche ensuite) évite la dégénérescence des slots, phénomène où plusieurs slots capturent le même objet ou des régions non pertinentes pour la tâche. La ligne de recherche sur les représentations object-centriques remonte à Slot Attention (Locatello et al., 2020, DeepMind) et à MONet. L'originalité de STORM est d'ancrer ces slots dans la sémantique linguistique et de les greffer sur des fondations pré-entraînées plutôt que de repartir de zéro. Dans un écosystème où les VLA (Vision-Language-Action models) comme pi0 de Physical Intelligence ou OpenVLA cherchent à intégrer langage et action de bout en bout, STORM propose une alternative modulaire et économe. Les résultats restent limités à la simulation, ce qui laisse entière la question du sim-to-real gap. Les prochaines étapes logiques incluent la validation sur robots physiques et le test face à des perturbations visuelles plus agressives que les benchmarks actuels.

RecherchePaper

1 source