RecherchearXiv cs.RO 14 septembre 2026

MoPA : manipulation mobile coordonnée grâce à l'alignement de la perception par sous-système

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente MoPA, un nouveau framework pour la manipulation mobile coordonnée, détaillé dans un article publié sur arXiv (2609.12081) en septembre 2026. Le système s'attaque au problème central de la manipulation mobile, où le contrôle de la base et celui du bras exigent des informations perceptuelles à des échelles spatiales différentes tout en restant cinématiquement couplés. MoPA repose sur trois mécanismes: des "Dual Perceptual Streams" qui utilisent deux banques de requêtes mutuellement masquées pour extraire des représentations perceptuelles séparées à partir d'un même contexte vision-langage, un module de "Perception2Action Adaptation" qui met à jour conjointement chaque banque de requêtes et son flux d'action correspondant à chaque couche d'un décodeur de type Mixture-of-Transformers, et un "coupled conditional flow matching" qui apprend un champ vectoriel unique pour générer de façon coordonnée les deux segments d'action, base et bras. Sur le benchmark de simulation ManiSkill-HAB, MoPA atteint des performances état de l'art sur les trois suites de tâches testées. Sur quatre tâches réelles en laboratoire, le système obtient un taux de réussite complet moyen de 76,3%, soit 12,5 points de pourcentage de mieux que la meilleure méthode concurrente évaluée par les auteurs.

Cette contribution vise un angle mort précis des politiques de manipulation mobile actuelles: la plupart des architectures existantes génèrent des actions spécialisées pour la base et pour le bras, mais conditionnent ces deux branches hétérogènes sur une seule représentation perceptuelle partagée, sans expliciter la correspondance perception-action propre à chaque sous-système. Pour les intégrateurs et équipes robotique qui déploient des manipulateurs mobiles ou des humanoïdes en environnement industriel, ce travail pointe un levier d'optimisation encore peu exploité: aligner la perception elle-même sur la granularité spatiale requise par chaque modalité d'action, plutôt que de tout faire reposer sur un encodeur vision-langage générique unique. Le gain de 12,5 points en conditions réelles, s'il se confirme au-delà des quatre tâches testées, alimente le débat sur la capacité des politiques génériques de type VLA à passer à l'échelle sur des tâches combinant navigation et manipulation fine.

Le papier s'inscrit dans le courant de recherche sur les politiques vision-langage-action appliquées à la manipulation mobile, où la coordination entre navigation et dextérité reste un défi ouvert malgré les progrès récents des architectures transformer et des méthodes de flow matching pour la génération d'actions continues. Les auteurs positionnent MoPA face aux approches existantes qui séparent la génération d'actions par sous-système sans traiter l'alignement perceptuel correspondant, une limite corrigée ici par construction. À ce stade, MoPA reste une contribution académique validée en simulation et sur un nombre restreint de tâches réelles, sans annonce de déploiement industriel ni de partenariat commercial. Un site associé (mopa-policy.github.io) propose code et démonstrations, et des études d'ablation détaillées dans l'article visent à isoler la contribution de chacun des trois mécanismes proposés.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Un système robotique de perception-manipulation pour la découpe alimentaire

Une équipe de recherche publie sur arXiv (juillet 2026) un système de perception et manipulation robotique dédié à la découpe alimentaire, l'une des tâches les plus délicates pour les robots de cuisine. Le système combine deux modules : un premier de sélection du couteau, qui s'appuie sur les données de force capturées lors d'une coupe d'essai fixe pour identifier automatiquement l'outil adapté à l'aliment présenté, et un second de découpe adaptative piloté par apprentissage par renforcement (RL), qui ajuste en continu la trajectoire pour équilibrer vitesse de coupe et consommation d'énergie. Dans les expériences menées par les auteurs, le module de sélection de couteau atteint un taux de réussite de 100% sur des aliments jamais vus à l'entraînement, et les chercheurs comparent trois approches, une politique fixe préprogrammée, la politique RL, et des opérateurs humains, sur les mêmes tâches de découpe. L'enjeu dépasse la simple démonstration technique. La découpe alimentaire est réputée difficile à automatiser car les propriétés mécaniques des aliments, texture, dureté, élasticité, varient énormément d'un ingrédient à l'autre, ce qui oblige souvent à changer d'outil et de stratégie de coupe en cours de préparation. En obtenant des performances comparables à celles d'opérateurs humains, tout en automatisant le choix de l'outil via un simple test de force, cette approche adresse un goulot d'étranglement concret pour les robots de cuisine commerciaux, qu'il s'agisse de restauration automatisée, de traitement agroalimentaire ou de cuisine domestique assistée. Ce travail s'inscrit dans un courant de recherche plus large sur les robots de cuisine, un segment encore largement expérimental où la plupart des démonstrations restent limitées à des gestes simples ou répétitifs. Contrairement à une annonce produit, il s'agit ici d'un article de recherche, sans mention de partenaire industriel ni de calendrier de commercialisation. Les auteurs eux-mêmes cadrent leurs résultats comme une preuve de concept, ouvrant la voie à des tests sur une gamme plus large d'aliments et, potentiellement, à une intégration future dans des systèmes robotiques de cuisine plus complets.

RecherchePaper

1 source

2arXiv cs.RO

VidAct : apprendre la manipulation à partir de vidéos réelles grâce à une perception 3D centrée sur les objets

VidAct est un framework « vidéo vers robot » décrit dans un préprint arXiv (2609.36870v1) qui apprend des politiques de manipulation à partir d'une seule vidéo monoculaire par tâche, puis les déploie sur un robot réel en zero-shot. Le système repose sur trois briques. La première reconstruit le maillage des objets et leur mouvement à partir de vidéos quelconques, puis exprime ce mouvement dans le repère statique de l'objet. Cela évite tout retargeting spécifique à l'embodiment (le passage d'une main humaine à une pince) et accepte des points de vue de caméra variés. La deuxième brique, un transfert de trajectoire résiduel, adapte le mouvement reconstruit à de nouvelles configurations d'objets en conservant la forme de la trajectoire. La troisième, au cœur de l'apprentissage, demande à la politique de prédire à chaque image le nuage de points complet de l'objet, fourni en privilège par la simulation, comme tâche auxiliaire. Le déploiement reste en RGB seul. Les expériences couvrent des vidéos humaines, robotiques, générées et issues d'internet. Le résumé ne donne aucun chiffre de taux de réussite, de nombre de tâches ni de plateforme robotique. Pour les intégrateurs et les équipes R&D, l'intérêt tient à la réduction du coût de la donnée. La téléopération reste l'étalon de la collecte de démonstrations, mais elle est chère et peu extensible. Apprendre à partir d'une vidéo par tâche, y compris générée, déplace le goulot d'étranglement de la collecte vers la reconstruction 3D. L'approche traite aussi deux limites connues des méthodes de reconstruction : la dépendance à des caméras contraintes et la déformation des trajectoires face à un nouvel agencement d'objets. La supervision par nuage de points complet par image suggère que la conscience de la géométrie 3D des objets, souvent absente des politiques RGB, améliore la généralisation et le transfert simulation-réel. Ces conclusions restent à confirmer : les auteurs affirment des gains, mais l'abstract ne les quantifie pas. Les résultats viennent de tâches de laboratoire, sans indication de robustesse en environnement industriel ni de comparaison publiée avec des VLA généralistes. Ce travail s'inscrit dans une lignée qui cherche à remplacer la démonstration robotique par de la vidéo, en concurrence avec la collecte téléopérée à grande échelle et les modèles fondation type VLA, qui misent sur le volume de données plutôt que sur la reconstruction explicite. Il s'agit d'un préprint en première version, sans code, produit ni déploiement annoncé à ce stade. Les prochaines étapes à surveiller sont la publication des taux de réussite détaillés, la diffusion du code et, surtout, une validation sur des tâches longues, contraintes ou déformables, où la reconstruction monoculaire est la plus fragile.

RecherchePaper

1 source

3arXiv cs.RO

COMPASS : planification de la manipulation en espace confiné par perception active

Des chercheurs ont publié COMPASS (Confined-space Manipulation Planning with Active Sensing Strategy), un framework multi-étapes destiné à résoudre la manipulation robotique en environnements confinés et encombrés. La méthode repose sur trois composants enchaînés : un scan de proximité dit "near-field awareness" qui construit une carte locale de collision avant tout mouvement, une fonction d'utilité multi-objectifs qui sélectionne des points de vue à la fois informatifs et compatibles avec les poses de saisie ultérieures, et un optimiseur de manipulation contraint qui génère des configurations de préhension respectant les obstacles détectés. Les auteurs proposent également un benchmark structuré en quatre niveaux de difficulté croissante pour évaluer les méthodes d'exploration et de manipulation en espace restreint. En simulation, COMPASS affiche un gain de 24,25 points de pourcentage sur le taux de succès de manipulation par rapport aux méthodes d'exploration conçues pour d'autres types de robots ou n'optimisant que le gain d'information. Des expériences en conditions réelles confirment la faisabilité de l'approche. Ce résultat est significatif parce qu'il adresse directement l'un des angles morts du champ NBV (Next Best View) : les stratégies d'exploration existantes maximisent la couverture informationnelle sans tenir compte de la faisabilité de la manipulation qui suit. En couplant explicitement exploration et planification de saisie dans une même fonction d'utilité, COMPASS réduit l'écart entre "voir la scène" et "agir dessus". Pour un intégrateur industriel, cela signifie une réduction du nombre de cycles d'observation improductifs avant une prise, ce qui devient critique dans des applications comme la désassembly, le picking en bacs profonds, ou la maintenance en espaces contraints. La validation sim-to-real, même partielle, réduit le scepticisme habituel sur le transfert des méthodes d'exploration en laboratoire vers des contextes terrain. Le problème de la manipulation en espace confiné est étudié depuis plusieurs années dans la communauté planification-perception, mais reste ouvert faute de benchmarks standardisés et de méthodes intégrant les deux dimensions simultanément. COMPASS s'inscrit dans un mouvement plus large qui voit des frameworks comme Active Neural Mapping ou des planificateurs basés sur l'échantillonnage (RRT, STOMP) être revisités pour intégrer des contraintes de manipulation dès la phase d'exploration. Aucune entreprise n'est associée à cette publication académique (arXiv:2509.14787), et aucune timeline de commercialisation n'est mentionnée. Les prochaines étapes naturelles seraient d'étendre le benchmark à des objets déformables ou à des scènes dynamiques, et de tester la robustesse face à des capteurs de profondeur bruités, condition sine qua non pour un déploiement industriel.

RecherchePaper

1 source

4arXiv cs.RO

Une main à cinq doigts actionnée par tendons, dotée d'une perception tactile distribuée pour la manipulation dextérique

Des chercheurs ont publié en août 2026 sur arXiv (référence 2608.25547v1) une nouvelle conception de main robotique à cinq doigts actionnée par tendons, dotée d'une perception tactile distribuée. La structure adopte une architecture hybride souple-rigide, pensée pour combiner compliance mécanique et force opérationnelle suffisante pour manipuler des objets. Des capteurs tactiles à double modalité sont répartis sur les phalanges distales et médianes des cinq doigts, permettant de détecter simultanément le contact statique et les variations de force dynamique lors d'une prise. Les auteurs ont validé le système par une série de manipulations : gestes de comptage sur les doigts, pincement pouce-index, saisie d'objets variés, et un enregistrement tactile lors de la préhension d'une bouteille. Ces expériences visent à démontrer la faisabilité d'un couplage étroit entre actionnement et perception au sein d'une même main robotique. Pour l'industrie robotique, la main reste le goulot d'étranglement le plus critique des robots humanoïdes : la dextérité fine et le retour tactile conditionnent la capacité d'un système à manipuler des objets imprévus, un prérequis pour toute application logistique ou domestique au-delà des démonstrations scénarisées. En couvrant l'ensemble des cinq doigts avec des capteurs tactiles doubles plutôt que quelques points de contact isolés, cette approche répond à une limite souvent pointée par les intégrateurs : la plupart des mains commerciales actuelles restent tactilement pauvres, ce qui cantonne des modèles vision-langage-action comme Pi-0 ou Helix à une perception essentiellement visuelle. Un retour de force distribué et fiable est une brique nécessaire pour fermer la boucle entre perception et contrôle fin, condition souvent citée pour réduire l'écart persistant entre démonstrations vidéo soignées et manipulation réelle robuste. La course aux mains dextres s'est intensifiée ces deux dernières années à mesure que les plateformes humanoïdes elles-mêmes progressaient : Tesla travaille sur la main d'Optimus, Figure a itéré sur ses propres designs entre Figure 02 et Figure 03, tandis que des acteurs spécialisés comme Shadow Robot, PSYONIC ou Sanctuary AI développent depuis plusieurs années des mains à forte densité de capteurs. Ce travail reste à ce stade une publication de recherche académique, sans nom d'entreprise ni de produit associé, et sans partenariat industriel ou calendrier de déploiement annoncé : il s'agit d'une preuve de concept en laboratoire, pas d'un système prêt à l'intégration commerciale. Sa contribution s'inscrit néanmoins dans une tendance de fond du secteur, où la perception tactile distribuée devient un axe de différenciation aussi disputé que la dextérité mécanique elle-même, avec pour prochaine étape probable l'intégration de ce type de main sur un bras ou un torse humanoïde complet pour des essais de manipulation en conditions réelles.

RecherchePaper

1 source