RecherchearXiv cs.RO 15 octobre 2026

Coordi-pi : une représentation d'actions des deux mains tenant compte de la coordination pour la manipulation dextre bimanuelle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent Coordi-π, une nouvelle représentation des actions pour les politiques VLA (vision-language-action) appliquées à la manipulation dextre bimanuelle, décrite dans un preprint arXiv (2610.19753). Les politiques bimanuelles existantes concatènent, à chaque pas de contrôle, les actions bras-main droite et gauche dans un seul vecteur, ce qui laisse les interactions entre les deux mains implicites. Coordi-π fait autrement. Chaque côté (bras plus main) devient un token d'action distinct, et les tokens sont organisés en une séquence entrelacée où les deux côtés apparaissent explicitement. Un embedding d'identité de main apprenable distingue la droite de la gauche. Un codage positionnel rotatif (RoPE) factorisé sépare la position dans la séquence du pas de contrôle. Les deux actions d'un même pas partagent ainsi une coordonnée temporelle, tout en gardant des positions distinctes dans la séquence. Sur les cinq tâches bimanuelles dextres du benchmark DexJoCo, Coordi-π dépasse π0.5, la référence de Physical Intelligence. Le taux de succès moyen passe de 31,9 % à 51,3 % en configuration rand-obj, et de 18,3 % à 32,3 % en configuration rand-full. Les auteurs annoncent aussi des résultats supérieurs à π0.5 sur quatre tâches réelles, sans en donner les chiffres dans le résumé.

L'intérêt est d'abord méthodologique. La manipulation bimanuelle avec mains dextres multiplie les degrés de liberté, et le goulot d'étranglement n'est plus seulement la perception ou le langage, mais la façon dont la politique modélise la coordination entre les deux côtés. Ce travail suggère qu'un choix de structuration des actions, sans changement de backbone, peut apporter un gain notable. Il faut toutefois relativiser. Les taux de succès restent modestes en valeur absolue, autour de 51 % et 32 %, ce qui est loin d'un niveau exploitable en production. Les résultats sont obtenus en simulation sur un benchmark précis, et la version rand-full, plus difficile, montre que la généralisation reste fragile. Les essais réels ne sont pas chiffrés dans le résumé. Pour un intégrateur ou un décideur industriel, cela relève de la recherche, pas d'un produit livrable.

Le contexte est celui de la course aux modèles VLA généralistes, où la famille π de Physical Intelligence sert de référence ouverte. Les acteurs de l'humanoïde développent des architectures concurrentes, comme Helix chez Figure ou GR00T chez NVIDIA, avec des mains à nombreux degrés de liberté. Le passage de la pince à la main dextre bimanuelle est l'un des verrous les plus cités. Les prochaines étapes à surveiller sont la publication des détails des essais réels, la disponibilité du code, et la reproduction des résultats sur d'autres benchmarks et matériels. C'est ce qui dira si la représentation entrelacée tient hors de DexJoCo.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

DexJoCo-X : évaluation comparative des représentations d'action pour la manipulation dextère à plusieurs mains

Des chercheurs ont publié sur arXiv (2610.03278) DexJoCo-X, un benchmark et une boîte à outils pour comparer, dans un cadre contrôlé, les représentations d'actions utilisées en manipulation dextre multi-mains. Le protocole couvre sept mains dextres représentatives, six tâches (mono-bras et bimanuelles) et 2 100 démonstrations équilibrées. Il impose des scènes, des critères de succès et des interfaces d'exécution communs. Il propose aussi des mappings gant-vers-main redessinés, ainsi qu'un pipeline automatisé qui étend des démonstrations validées à des scènes randomisées. Trois modèles sont testés : π0.5, Ego-Pi et Being-H0.5. Étendre π0.5 à une sortie bimanuelle de 80 dimensions donne un succès proche de zéro. Ego-Pi conserve la tête d'action pré-entraînée grâce à une prédiction entrelacée et fonctionne en multi-tâche pour une main donnée, mais échoue en entraînement conjoint sur les sept mains. Being-H0.5 réunit pré-entraînement cross-embodiment, espace d'action unifié et experts propres à chaque morphologie, et une seule politique pilote alors les sept mains. Dans cette architecture, des « slots d'action » alignés sur les fonctions atteignent 47,7 % de succès moyen. Les coordonnées natives font 47,0 % et DexLatent 33,1 %. Le résultat contredit l'idée qu'il suffirait de concaténer ou d'élargir l'espace d'action d'un VLA existant pour couvrir de nouvelles mains. L'échec quasi total de π0.5 à 80 dimensions montre que la dimension de sortie n'est pas un simple paramètre à augmenter. Pour les fabricants de mains dextres et les intégrateurs, la perspective d'une seule politique partagée entre morphologies reste ouverte, mais elle dépend de la combinaison pré-entraînement, architecture et représentation. Un changement de coordonnées seul ne l'apporte pas. L'écart entre slots fonctionnels (47,7 %) et coordonnées natives (47,0 %) est minime, et les auteurs ne donnent pas de dispersion dans le résumé. Il est donc prudent de n'y voir qu'un avantage marginal. Le chiffre le plus net est l'infériorité de DexLatent (33,1 %). Surtout, un succès moyen proche de 48 % montre que le problème est loin d'être résolu pour un usage industriel. Le travail répond à une prolifération de mains dextres qui rend peu réaliste la collecte de données et l'entraînement séparés pour chaque morphologie. Jusqu'ici, les études cross-embodiment variaient en même temps les mains, les tâches, les jeux de données et les interfaces de contrôle, ce qui empêchait d'isoler l'effet de la représentation, du pré-entraînement et de l'architecture. DexJoCo-X vise à combler ce manque. Il s'inscrit dans la famille des politiques VLA de type π0.5, avec Ego-Pi et Being-H0.5 comme variantes testées. Il s'agit d'un benchmark de recherche, sans produit ni déploiement réel annoncé, et le résumé ne précise pas si les résultats sont obtenus en simulation ou sur matériel. La suite logique serait l'adoption du protocole par d'autres équipes pour comparer de nouvelles architectures à action unifiée.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

BiRoAD : apprentissage de représentations partagées et adaptatives par rôle pour la manipulation bimanuelle

Publiée en septembre 2026 sur arXiv sous la référence 2609.23445v1, BiRoAD (Bimanual Role-Adaptive Decomposition) est une méthode d'apprentissage par imitation pour robots à deux bras. Elle s'attaque à un défaut courant des politiques bimanuelles: celles-ci prédisent des actions dans des espaces fixes bras gauche et bras droit, sans indiquer comment un comportement doit changer quand les rôles s'échangent selon la scène, alors que les démonstrations d'entraînement sont souvent déséquilibrées entre rôles. BiRoAD décompose les représentations de trajectoire en une composante symétrique, qui capture la coordination invariante entre les deux bras, et une composante antisymétrique, propre à chaque rôle, recombinées ensuite en mises à jour résiduelles des représentations d'origine. Le module ne modifie ni les entrées de la politique ni l'objectif d'apprentissage par imitation, et se passe d'étiquetage manuel des rôles. Le problème visé est concret: un opérateur humain privilégie souvent un bras pour une sous-tâche donnée, et les politiques bimanuelles classiques généralisent mal quand un objet apparaît du côté opposé à celui majoritairement vu à l'entraînement, un cas fréquent hors environnement contrôlé. En se greffant sur des politiques déjà entraînées plutôt qu'en exigeant une nouvelle architecture, BiRoAD propose une correction peu coûteuse pour les équipes qui entraînent des robots humanoïdes ou des bras doubles fixes. Les auteurs rapportent des gains de robustesse par rapport aux politiques de base, particulièrement marqués sur les configurations de rôles sous-représentées, un enjeu directement lié à l'écart entre performance en démonstration et généralisation réelle qui préoccupe tout le secteur des politiques de manipulation apprises. Le travail s'inscrit dans la recherche sur l'apprentissage par imitation bimanuelle, où la paramétrisation bras gauche/bras droit hérite directement des interfaces de téléopération sans mécanisme dédié à l'échange de rôles. BiRoAD est présenté comme un module additionnel comparé à des politiques de base, et non comme une architecture concurrente autonome. L'article, classé comme nouvelle soumission arXiv, ne précise ni la plateforme robotique utilisée pour les évaluations ni la disponibilité d'un code source: il s'agit pour l'instant d'une contribution méthodologique, à un stade de recherche, plutôt que d'un système prêt à être déployé.

RecherchePaper

1 source

3arXiv cs.RO

DeltaWAM : modèles delta monde-action pour la manipulation bimanuelle

Des chercheurs du AIGeeksGroup publient DeltaWAM (Delta World Action Models), une nouvelle architecture pour piloter des bras robotiques bimanuels via l'apprentissage vidéo, détaillée dans un article arXiv (2609.28811v1) diffusé fin septembre 2026, avec code et démonstrations disponibles sur GitHub. Les modèles World-Action (WAM) classiques transfèrent les connaissances visuelles et de mouvement de générateurs vidéo préentraînés vers le contrôle robotique, mais ils prédisent à chaque étape des images futures complètes, ce qui recalcule inutilement du contenu inchangé et ralentit la génération d'actions en temps réel. DeltaWAM sépare le flux en trois composantes, une ancre dense, un delta visuel épars et un flux d'actions, déclinées en trois architectures selon le partage de calcul et de représentation. Le système ajoute une Streaming Delta Memory (SDM) qui met à jour un contexte d'ancrage en cache à partir des seuls changements observés, évitant de repasser par le lourd module vidéo à chaque pas. Sur le benchmark RoboTwin, DeltaWAM avec SDM porte le taux de réussite moyen de 81,3% à 85,4% en conditions standard, et de 75,8% à 83,9% avec randomisation visuelle, par rapport à la référence Fast-WAM. Les trois architectures réduisent le coût de calcul à l'entraînement de 17,78 à 23,77%, tandis que la SDM abaisse la latence d'inférence de 36,57% et le calcul associé de 31,55%. Pour l'industrie robotique, ce travail cible un goulot d'étranglement concret: les modèles génératifs vidéo, puissants pour transférer des priors de mouvement, restent trop lourds pour du contrôle en quelques pas de temps, un frein direct pour des manipulations bimanuelles réactives en usine ou en logistique. En découplant la dynamique liée à l'action des variations d'apparence parasites, DeltaWAM répond à un doute récurrent sur les architectures VLA à grande échelle: leur capacité à généraliser sans reconstruire l'intégralité de la scène à chaque inférence. Les gains annoncés en conditions réelles restent toutefois évalués par les auteurs eux-mêmes, face à un nombre limité de politiques concurrentes, sans validation indépendante à ce stade. L'article s'inscrit dans la lignée des WAM apparus pour exploiter les générateurs vidéo comme source de priors physiques, avec Fast-WAM comme point de comparaison direct explicitement cité. Aucun acteur industriel ni équipe européenne n'est mentionné, le travail restant à ce stade une contribution académique avec code ouvert, sans annonce de déploiement matériel ni de partenariat commercial.

RechercheActu

1 source

4arXiv cs.RO

Vers une représentation unifiée inter-domaines pour la manipulation par pince à deux doigts, centrée sur l'interaction

Un article publié le 28 septembre 2026 sur arXiv (référence 2609.31207) décrit une méthode d'apprentissage par imitation pour pinces robotiques à deux doigts, censée transférer une politique d'un robot à un autre sans réentraînement. Un modèle vision-langage interprète une instruction et un flux RGB-D pour former un triplet pince, objet tenu, objet cible, tandis que SAM 2.1, de Meta, suit les masques et limite les appels au VLM. La scène est encodée dans une représentation canonique centrée sur la pince, combinée à des champs de potentiel pour le guidage global et des nuages de points en repère pince pour la géométrie locale, puis traduite en actions lisses à 7 degrés de liberté par un Flow-Matching Transformer. Les auteurs rapportent des tests en simulation et en conditions réelles, avec transfert zero-shot vers des plateformes robotiques et angles de caméra inédits. La question visée, la généralisation cross-embodiment, est centrale pour l'industrie: la plupart des politiques de manipulation restent liées à la géométrie du bras et de la pince d'entraînement, obligeant à tout recollecter dès qu'un intégrateur change de matériel ou de caméra. En séparant sémantique de la tâche et géométrie matérielle, l'approche vise directement ce goulot d'étranglement, potentiellement utile aux intégrateurs opérant des flottes hétérogènes de bras et de pinces. Les auteurs revendiquent être les premiers à conjuguer scores de benchmark compétitifs et transfert sim-to-real zero-shot aussi étendu, une affirmation d'abstract académique à prendre avec prudence tant qu'elle n'a pas été reproduite sur du matériel industriel varié, le travail restant un résultat de recherche, non un produit déployé. Cette contribution s'inscrit dans la vague actuelle des modèles vision-langage-action (VLA) généralistes pour la robotique, tels Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, qui butent sur cet enchevêtrement entre sémantique et géométrie matérielle, ici traité pour les pinces à deux doigts, configuration la plus répandue en manipulation industrielle. Le recours à SAM 2.1 et à un Flow-Matching Transformer, courants dans les politiques d'action génératives récentes, relève de la boîte à outils standard du secteur plutôt que d'une rupture technologique. Aucun acteur ni institution française ou européenne n'apparaît dans cet article. Les étapes suivantes attendues sont la publication du code et des poids, une validation sur davantage de plateformes et une revue par les pairs avant toute reprise commerciale.

RechercheOpinion

1 source