Aller au contenu principal
AssemblyGrid v1 : un benchmark pour la production multi-robots avec coalitions temporaires, information locale et contraintes géométriques
RecherchearXiv cs.RO 

AssemblyGrid v1 : un benchmark pour la production multi-robots avec coalitions temporaires, information locale et contraintes géométriques

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article déposé sur arXiv sous la référence 2609.16075v1 présente AssemblyGrid v1, un benchmark reproductible pour l'étude de la production robotique multi-agents en contrôle décentralisé. Il combine dans une seule tâche la progression explicite des processus de fabrication, le transfert de matériaux, la formation de coalitions temporaires entre robots, l'exécution concurrente d'opérations productives et des contraintes géométriques de faisabilité. Le benchmark se compose de trois familles de scénarios, Flow, Coalition et Concurrency, chacune déclinée en trois niveaux de difficulté croissante. Les auteurs le valident par des tests de conformité exécutables et des expériences comparant un contrôleur centralisé de référence, des contrôleurs décentralisés structurés, et trois algorithmes d'apprentissage multi-agents par renforcement, IPPO, MAPPO et QMIX.

Le résultat clé est que des politiques décentralisées, entraînées uniquement à partir d'observations et d'actions locales, parviennent à produire un comportement collectif de production efficace, sans vision globale du système. C'est une donnée importante pour l'industrie robotique, où la coordination des lignes flexibles repose encore largement sur des règles centralisées mal adaptées aux ateliers reconfigurables exigeant une coopération ponctuelle entre robots. En séparant strictement les critères de réussite de la méthode de résolution, AssemblyGrid v1 permet de comparer objectivement des approches par apprentissage et des approches classiques sur les mêmes scénarios, un exercice jusque-là entravé par l'absence d'outils standardisés. Il fournit ainsi un cadre pour vérifier si des méthodes multi-robots décentralisées, souvent démontrées sur des cas simplifiés, résistent à des contraintes réalistes de ressources partagées, d'état des matériaux et de compatibilité géométrique.

Ce travail s'inscrit dans le rapprochement entre planification de production robotique et prise de décision multi-agents coopérative sous observabilité partielle, un cadre emprunté à la recherche en apprentissage par renforcement plutôt qu'à la robotique industrielle classique. Les auteurs présentent AssemblyGrid v1 comme comblant un vide : aucun benchmark existant ne réunissait jusqu'ici progression de processus, observations décentralisées, transfert de matériaux, coalitions temporaires et contraintes géométriques dans une seule formulation de tâche. La désignation "v1" laisse attendre des extensions futures, en scénarios comme en niveaux de difficulté. Les expériences rapportées restent pour l'instant en simulation, sans partenariat industriel ni déploiement sur robots physiques annoncé, ce qui limite la portée des résultats à une validation algorithmique plutôt qu'à une preuve de robustesse en production réelle.

Dans nos dossiers

À lire aussi

HA-VLN 2.0 : un benchmark ouvert pour la navigation humain-robot en environnements discrets et continus avec interactions multi-personnes dynamiques
1arXiv cs.RO 

HA-VLN 2.0 : un benchmark ouvert pour la navigation humain-robot en environnements discrets et continus avec interactions multi-personnes dynamiques

Une équipe de chercheurs a publié HA-VLN 2.0, un benchmark unifié pour évaluer la navigation guidée par le langage et la vision (VLN) dans des environnements peuplés d'humains en mouvement. Le jeu de données associé, HAPS 2.0, couvre 16 844 instructions socialement contextualisées et modélise des interactions multi-humains en intérieur comme en extérieur, dans des espaces discrets et continus. Le système introduit des métriques explicites mesurant simultanément la précision de navigation vers l'objectif et le respect de l'espace personnel des personnes croisées. Des expériences en conditions réelles sur robot physique ont complété l'évaluation simulée, et un leaderboard ouvert permet des comparaisons reproductibles entre équipes. Les résultats sont sans appel pour les agents VLN actuels : dès que des humains dynamiques et une observabilité partielle entrent en jeu, leurs performances chutent significativement. Ce constat remet en question une hypothèse répandue dans la recherche VLN, à savoir que les agents entraînés en environnements statiques généraliseraient correctement au monde réel. Les expériences sim-to-real confirment en revanche que la modélisation explicite des contraintes sociales améliore la robustesse de navigation et réduit les collisions, ce qui valide l'approche. Pour les intégrateurs déployant des robots mobiles en milieu professionnel (entrepôts partagés, hôpitaux, espaces de bureau), cela signifie que les benchmarks sans humains surestiment substantiellement les capacités réelles des systèmes. La navigation guidée par langage est un champ actif depuis les travaux fondateurs sur R2R (Room-to-Room, 2018), mais la majorité des benchmarks existants, dont R2R, REVERIE ou SOON, supposent des environnements vides ou quasi-statiques. HA-VLN 2.0 s'inscrit dans une tendance récente incluant les travaux sur SocNavBench et HuNavSim, qui cherchent à intégrer la dynamique humaine dans l'évaluation de la navigation sociale. Le benchmark est entièrement open-source (datasets, simulateurs, baselines, protocoles). Les prochaines étapes probables incluent l'intégration de modèles VLA (Vision-Language-Action) plus récents comme pi-0 ou RT-2 dans le leaderboard, ainsi que des évaluations dans des scènes extérieures plus complexes.

RecherchePaper
1 source
SoftVTBench : un benchmark visuo-tactile axé sur la sécurité pour la manipulation robotique d'objets déformables sous contraintes physiques
2arXiv cs.RO 

SoftVTBench : un benchmark visuo-tactile axé sur la sécurité pour la manipulation robotique d'objets déformables sous contraintes physiques

Des chercheurs viennent de publier SoftVTBench, un benchmark construit sous Isaac Sim pour évaluer la manipulation robotique d'objets déformables non plus seulement sur la réussite de la tâche, mais sur la sécurité physique de l'interaction. Le système simule les objets déformables par éléments finis (FEM) et combine vues RGB multiples, capteurs tactiles RGB avec suivi de marqueurs, proprioception et instructions en langage naturel. Il définit quatre suites de tâches croisant type d'objet (déformable versus rigide) et axe de variation (objet versus position spatiale), et distingue deux métriques : le Goal Success, qui mesure l'atteinte de l'objectif, et le Safety Success, plus strict, qui exige en plus l'absence de chute et un niveau de déformation maximal sous un seuil calibré par objet, mesuré via les états FEM cachés à la politique. Les auteurs testent des politiques basées sur pi0.5, le modèle vision-langage-action (VLA) de Physical Intelligence, dans ce protocole. Les résultats sont un signal d'alarme pour l'évaluation actuelle des politiques de manipulation : une part importante des trajectoires qui atteignent l'objectif violent en réalité les contraintes physiques de sécurité, ce que les benchmarks classiques, uniquement orientés succès, ne détectent pas. L'ajout du retour tactile change la donne : le Safety Success passe de 21,4% à 35,6% sur les tâches déformables centrées objet, avec une réduction mesurable de la déformation pendant l'exécution, sans dégrader le Goal Success. Pour les intégrateurs et chercheurs en robotique manipulant des objets souples (textile, alimentaire, emballage), cela confirme qu'un capteur tactile n'est pas un simple bonus de précision mais un levier direct de sécurité opérationnelle, et que les métriques de succès seules surestiment la fiabilité réelle d'une politique. SoftVTBench s'inscrit dans une littérature où les benchmarks de manipulation restent très majoritairement centrés sur la réussite de tâche, laissant un angle mort sur le comportement physique pendant l'exécution. En s'appuyant sur pi0.5, déjà positionné comme référence VLA face à des modèles comme GR00T N2 ou Helix, les auteurs proposent un protocole reproductible que d'autres équipes pourront réutiliser pour comparer leurs propres politiques visuo-tactiles sous contrainte physique, plutôt que sur le seul critère du taux de réussite.

RecherchePaper
1 source
UMI-Bench 1.0 : un benchmark ouvert et reproductible pour la manipulation robotique de surface avec données UMI
3arXiv cs.RO 

UMI-Bench 1.0 : un benchmark ouvert et reproductible pour la manipulation robotique de surface avec données UMI

Une équipe de recherche a déposé le 10 juin 2026 le preprint arXiv 2606.10382 décrivant UMI-Bench 1.0, présenté comme le premier benchmark entièrement dédié à l'évaluation en conditions réelles de politiques de manipulation robotique entraînées via l'Universal Manipulation Interface (UMI). Le benchmark cible la manipulation d'objets sur table (tabletop manipulation) et couvre l'intégralité de la chaîne de validation : collecte de données, réinitialisation de scène entre essais, exécution de politique, journalisation des résultats et analyse par facteurs de tâche. Il opère en mode "local-first", c'est-à-dire que les évaluations tournent directement sur robot réel, sans couche de simulation intermédiaire. L'UMI couple observations depuis une caméra montée au poignet, représentation des actions, collecte de démonstrations humaines et déploiement physique, une architecture dont les performances dépendent de la cohérence de chaque maillon. Ce benchmark répond à un problème structurel de l'apprentissage par imitation : l'absence de protocole standardisé conduit chaque équipe à évaluer ses politiques dans des conditions non comparables, ce qui rend la littérature difficile à arbitrer pour un intégrateur ou un décideur industriel. En rendant le processus reproductible et auditable, UMI-Bench permet de mesurer concrètement dans quelle mesure une politique entraînée sur des démonstrations généralise à des configurations physiques inédites, ce que les chercheurs appellent la sim-to-real (ici demo-to-real) generalization. C'est un enjeu central pour les politiques de diffusion (Diffusion Policy) et les VLA (Vision-Language-Action models), dont les performances en démonstration sélectionnée restent difficiles à quantifier sans infrastructure de test commune. L'UMI a été introduit en 2023-2024 par Cheng Chi et al. (Columbia University) comme interface portable de collecte de démonstrations : un opérateur guide un gripper équipé d'une caméra et d'un module de localisation, et les trajectoires servent directement à entraîner des politiques. Le paysage concurrent des benchmarks comprend LIBERO, DROID et le framework LeRobot de Hugging Face, qui proposent leurs propres protocoles mais sans calibration spécifique pour le pipeline UMI. L'étape logique suivante serait l'intégration de modèles fondationnels comme pi-0 (Physical Intelligence) ou OpenVLA dans ce protocole de référence, et l'extension à des tâches multi-étapes.

RecherchePaper
1 source
Projection multimodale de l'activité vocale pour la médiation robotique sociale : comportement attendu et contraintes de déploiement
4arXiv cs.RO 

Projection multimodale de l'activité vocale pour la médiation robotique sociale : comportement attendu et contraintes de déploiement

Une équipe de recherche présente, dans une preprint arXiv publiée en septembre 2026 (arXiv:2609.28317v1), un modèle baptise MM-VAP (Multimodal Voice Activity Projection), conçu comme une couche de perception pour des robots sociaux appelés a jouer un rôle de médiateur dans des interactions humain-humain plutôt que d'interlocuteur direct. Le système combine des encodeurs audio-visuels pré-entraines spécialisés dans l'activité vocale, une adaptation LoRA (low-rank adaptation) et un mécanisme d'attention inter-locuteurs pour estimer, a partir de flux audio et vidéo synchronises, l'évolution future du floor conversationnel, c'est-a-dire qui va parler, se taire ou intervenir. A partir de ces projections, le modèle infère en zero-shot des événements de tour de parole : maintien (Hold), changement de locuteur (Shift), anticipation de changement (Shift prédiction), anticipation de back-channel (signaux d'écoute active) et états de chevauchement de parole. Les auteurs testent l'approche sur trois corpus de dialogues filmes, NoXi, NoXi+J et Haru EDR, et rapportent des résultats juges encourageants notamment pour les événements de gestion du floor lies a la préparation du regard, a l'écoute active et a une intervention prudente du robot. Le papier propose également une interface de sortie destinée a un robot réel et discute des contraintes de déploiement : inférence temps réel, latence de pre-traitement, synchronisation multimodale et surveillance de la qualité des entrées. L'intérêt de ce travail dépasse le cas d'usage étroit du dialogue humain-robot classique : il s'attaque a un problème différent de la plupart des robots vocaux actuels, conçus pour répondre a un utilisateur, en visant des robots capables de se positionner dans une conversation entre deux ou plusieurs humains sans y participer directement, ce qui suppose de savoir quand ne pas parler, orienter le regard, attendre, éviter d'interrompre ou préparer une intervention équilibrée. Pour les intégrateurs et chercheurs en robotique sociale, cela déplace le curseur des métriques de reconnaissance vocale classiques vers une prédiction fine et anticipée de la dynamique conversationnelle, utile pour des robots de médiation, d'accueil ou d'assistance en groupe. Le travail rappelle aussi que la prédiction de tour de parole reste, a ce stade, un problème de recherche : les auteurs eux-mêmes cadrent leurs résultats comme un support de faisabilité et non comme une solution prête a déployer, et consacrent une part explicite du papier aux contraintes concrètes, latence, synchronisation, qualité des flux d'entrée, qui séparent un modèle valide hors ligne d'un système embarque fonctionnant en temps réel sur un robot physique. Ce travail s'inscrit dans la lignée des modèles dits VAP (Voice Activity Projection), une famille d'approches de prédiction du tour de parole issue de la recherche en traitement du dialogue parle, ici étendue au multimodal (audio et vidéo) et adaptée via LoRA pour réduire le cout d'entrainement par rapport a un reentrainement complet des encodeurs pré-entraines. Contrairement aux annonces de robots humanoïdes commerciaux structurées autour de la manipulation ou de la locomotion, ce papier se situe dans le champ plus restreint de la robotique sociale et de l'interaction humain-robot, publie comme une preprint académique sans mention de partenaire industriel, de robot physique spécifique ou de calendrier de déploiement. Les auteurs indiquent avoir défini une interface de sortie destinée a un robot réel, ce qui laisse présager une prochaine étape d'intégration et de test sur plateforme physique, mais aucun pilote ni échéance n'est précise a ce stade.

RecherchePaper
1 source