Mobile UMI : politique de diffusion multi-vues à…

1arXiv cs.RO

LTLDiff : génération de données et politiques de diffusion guidées par la LTL finie pour la manipulation multi-agents

LTLDiff, un cadre combinant logique temporelle linéaire finie (LTLf) et politiques de diffusion pour la manipulation robotique multi-agents, a été présenté dans un article déposé sur arXiv (arXiv:2609.11043v1). Pour chaque tâche, une formule LTLf est apprise à partir d'instructions en langage naturel via un grand modèle de langage, puis convertie en arbre syntaxique abstrait afin de produire un vecteur d'embedding de dimension fixe. Cet embedding conditionne à la fois la génération de démonstrations et l'entraînement de la politique de diffusion, dans le but de forcer des trajectoires respectant l'ordre et la coordination attendus entre agents. Les auteurs rapportent des taux de réussite supérieurs à une base de référence sur leurs tâches de test, sans préciser de chiffres exacts, de nombre de robots impliqués, ni s'il s'agit de simulation ou de matériel réel. L'intérêt tient au problème visé : les politiques de diffusion, efficaces pour imiter des démonstrations isolées, se désynchronisent souvent, inversent l'ordre des actions ou échouent à coordonner plusieurs agents dès qu'une tâche exige une interaction simultanée ou séquentielle stricte. En ajoutant une couche de spécification logique et symbolique à l'apprentissage génératif, LTLDiff s'attaque à une faiblesse connue des approches de bout en bout de type VLA, qui peinent à garantir un séquencement fiable. Pour les intégrateurs qui envisagent des cellules multi-bras ou de la manipulation collaborative en logistique, ce travail illustre un retour des méthodes formelles pour combler les lacunes de fiabilité des modèles purement appris, plutôt que de tout miser sur l'échelle des données. LTLDiff s'inscrit dans une recherche académique qui marie logique temporelle et apprentissage de politiques, à distance de la course commerciale des modèles vision-langage-action comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, tous fondés sur l'échelle des données plutôt que sur des contraintes symboliques explicites. Contrairement à ces annonces produits, LTLDiff reste une publication scientifique sans partenaire industriel ni déploiement annoncé, et ses résultats se limitent à des comparaisons internes avec une base de référence sur des tâches définies par les auteurs eux-mêmes. Aucun acteur français ou européen n'apparaît dans cette étude. Les suites attendues pour ce type de travaux incluent l'extension à un plus grand nombre d'agents et une validation sur du matériel réel.

RecherchePaper

1 source

2arXiv cs.RO

MAVP : politiques visuomotrices tenant compte de la carte pour la manipulation mobile

Un travail de recherche en robotique publié sur arXiv le 23 septembre 2026 sous la référence 2609.26378v1 présente MAVP (Map-Aware Visuomotor Policies), un framework destiné à fiabiliser l'exécution des robots à manipulation mobile, c'est-à-dire combinant base roulante et bras articulé. Le constat de départ : les politiques entraînées par démonstration peinent souvent à reproduire fidèlement le déplacement de la base, ce qui provoque un désalignement spatial et fait échouer la manipulation qui suit. MAVP reconstruit une carte statique à partir de démonstrations téléopérées, exprime les trajectoires de base démontrées dans ce référentiel cartographique commun, puis, à l'exécution, prédit conjointement des poses cibles de base, des actions du bras et de la pince à partir d'images RGB, de l'état des articulations et de la pose courante du robot sur la carte. Un contrôleur de bas niveau suit ensuite ces cibles par anticipation de mouvement et retour d'erreur de pose, avec un bruit ajouté sur la pose pendant l'entraînement pour renforcer la robustesse. Sur six tâches de manipulation réelles et trois familles de politiques testées, MAVP obtient un taux de succès supérieur au contrôle de vitesse "non ancré" dans l'ensemble des cas, sans que le résumé ne publie de chiffres agrégés précis. Le résultat cible un point de friction bien identifié dans l'apprentissage par imitation appliqué à la manipulation mobile : le contrôle de vitesse pur de la base dérive avec le temps et casse la coordination entre déplacement et geste de préhension, un problème qui freine aujourd'hui le passage des démonstrations de laboratoire à des déploiements fiables en usine ou en entrepôt. En ancrant explicitement chaque politique à une carte et à une pose absolue plutôt qu'à une commande de vitesse relative, MAVP s'attaque directement à l'écart documenté entre démonstrations réussies et exécution robuste en conditions réelles, un enjeu central pour les intégrateurs qui évaluent des politiques génératives type VLA pour des robots mobiles manipulateurs ou des humanoïdes à base roulante. Pour les décideurs B2B, l'apport n'est pas un nouveau modèle de fondation mais une brique de contrôle complémentaire, validée sur trois familles de politiques différentes, ce qui suggère une méthode transposable plutôt qu'une solution propriétaire liée à un seul modèle. Le travail s'inscrit dans la lignée des recherches académiques cherchant à corriger les limites du contrôle de vitesse non ancré, pratique héritée de la robotique mobile classique et transposée telle quelle aux politiques d'apprentissage par imitation. Le site dédié au projet, hébergé sous une adresse GitHub Pages anonymisée, suggère un papier soumis en évaluation en double aveugle à une conférence de robotique ou d'apprentissage automatique, sans que les auteurs ni leur affiliation ne soient révélés à ce stade : il s'agit donc d'une contribution de recherche et non d'un produit commercial. Aucun acteur français ou européen n'apparaît dans ces travaux. Les auteurs annoncent la mise à disposition de vidéos et de résultats complémentaires en ligne, mais ne communiquent ni feuille de route produit ni partenariat industriel ; la suite logique, en cas d'acceptation, sera l'extension de la méthode à davantage de tâches et de plateformes pour confirmer sa généralité au-delà des six cas testés.

RecherchePaper

1 source

3arXiv cs.RO

DROM : un cadre de diffusion guidé par le langage pour la manipulation robotique multi-compétences

DROM, un cadre génératif décrit dans un préprint arXiv (v1), vise un problème classique de la manipulation robotique : apprendre à partir de peu de démonstrations des politiques robustes, capables d'enchaîner plusieurs compétences sur des tâches longues. Les auteurs utilisent des Dynamic Movement Primitives (DMP) pour multiplier un petit nombre de démonstrations expertes en jeux de données multi-compétences. Ils affirment que cela réduit la collecte de données et étend la généralisation spatiale au-delà de la zone démontrée. Le modèle prolonge Motion Planning Diffusion (MPD) avec une attention croisée conditionnée par le langage. Un seul réseau génère alors des trajectoires cohérentes pour plusieurs primitives, y compris des comportements sensibles à l'orientation, difficiles à programmer avec un planificateur classique ou un contrôleur codé en dur. Pour les tâches longues, un grand modèle de langage (LLM) découpe la demande d'un opérateur en séquence de compétences exécutables. La validation a eu lieu sur un Franka Emika Panda, un FANUC CRX25ia et en simulation MuJoCo. Selon les auteurs, DROM dépasse les références MPD et Behavior Cloning. Le résumé ne donne aucun chiffre : ni taux de réussite, ni nombre de démonstrations, ni nombre de compétences, ni temps de cycle. Les jeux de données, les environnements de simulation et le code sont publiés sur GitHub. L'intérêt tient d'abord à la combinaison de trois briques déjà connues, DMP, diffusion et LLM, dans une architecture unique et exploitable en atelier. Pour un intégrateur, la promesse est de réduire le coût de programmation et de téléopération à chaque nouvelle variante de tâche. Un opérateur pourrait piloter une cellule en langage naturel, sans écrire de trajectoires. La présence d'un FANUC CRX25ia, cobot industriel de 25 kg de charge, est un signal plus pertinent que le seul Panda, plateforme de laboratoire. Elle indique une volonté de transfert vers du matériel de production. Il faut toutefois rester prudent. Sans métriques publiées, sans précision sur le sim-to-real, sur la robustesse face aux perturbations ni sur la latence d'inférence de la diffusion, le gain sur les références reste invérifiable à ce stade. L'écart entre une démonstration de laboratoire et une cadence industrielle n'est pas comblé. Ce travail s'inscrit dans une course où dominent les modèles vision-langage-action (VLA) entraînés sur de grands volumes de données, comme Pi-0, GR00T ou Helix. DROM prend le parti inverse : un pipeline modulaire et frugal en données, où le LLM planifie et la diffusion exécute, avec des trajectoires plus interprétables. Ce compromis intéressera les cellules à faible volume et à forte variété. La suite dépendra de la reproduction par des tiers, grâce au dépôt ouvert, et d'essais sur des tâches réelles plus contraintes que celles d'un banc de test académique. Aucun pilote industriel ni calendrier n'est annoncé.

RecherchePaper

1 source

4arXiv cs.RO

Politique de diffusion équivariante visuo-tactile pour la manipulation riche en contacts

Des chercheurs proposent VISTA, une politique de diffusion visuo-tactile équivariante conçue pour l'apprentissage par imitation de tâches de manipulation riches en contacts (arXiv 2610.03333, première version). Le système projette les observations visuelles et tactiles dans des « jetons sphériques », puis injecte les indices de contact tactile dans les directions sphériques visuelles grâce à une fusion sphérique équivariante aux permutations. La représentation harmonique ainsi fusionnée est ensuite tournée selon l'orientation de l'effecteur terminal. Elle conditionne une politique de diffusion équivariante, chargée de prédire des actions cohérentes dans l'espace de travail. Les auteurs affirment, à partir d'expériences en simulation et sur robot réel, que VISTA améliore nettement l'efficacité en données par rapport à de solides références d'apprentissage par imitation visuo-tactile. Le résumé publié ne donne ni chiffres, ni nombre de démonstrations, ni liste des tâches ou des capteurs tactiles utilisés. Un site de projet accompagne le travail. L'enjeu est économique avant d'être académique. Les démonstrations expertes pour les tâches de contact (insertion, assemblage, manipulation fine) sont coûteuses : elles exigent de la téléopération qualifiée, du temps machine et, de plus en plus, des capteurs tactiles. Les politiques de diffusion et les VLA (modèles vision-langage-action) fonctionnent, mais au prix de volumes de données qui freinent leur déploiement chez les intégrateurs. Intégrer des symétries géométriques directement dans l'architecture, plutôt que de les faire apprendre par des données supplémentaires, est une piste crédible pour réduire ce coût. Le travail suggère aussi que le toucher gagne à être fusionné de façon structurée avec la vision, et non simplement concaténé. Il faut toutefois rester prudent : il s'agit d'un préprint sans relecture par les pairs, dont l'ampleur réelle du gain n'est pas vérifiable à ce stade. Aucun déploiement industriel n'est annoncé. VISTA s'inscrit dans la lignée des politiques de diffusion (Diffusion Policy) et de leurs variantes équivariantes, qui exploitent les symétries SE(3) ou SO(3) pour gagner en efficacité. Les recherches récentes sur le visuo-tactile cherchent à compenser les limites de la vision en cas d'occlusion ou d'ambiguïté de contact. En face, les grands modèles généralistes (Pi-0, GR00T, Helix) misent plutôt sur l'échelle des données que sur les biais inductifs géométriques. Les prochaines étapes à surveiller sont la publication du code et des chiffres détaillés, les comparaisons sur des benchmarks communs, et l'éventuelle combinaison de ces biais équivariants avec des modèles préentraînés à grande échelle.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

Mobile UMI : politique de diffusion multi-vues à cinématique découplée pour la manipulation mobile

À lire aussi

LTLDiff : génération de données et politiques de diffusion guidées par la LTL finie pour la manipulation multi-agents

MAVP : politiques visuomotrices tenant compte de la carte pour la manipulation mobile

DROM : un cadre de diffusion guidé par le langage pour la manipulation robotique multi-compétences

Politique de diffusion équivariante visuo-tactile pour la manipulation riche en contacts