RecherchearXiv cs.RO 10 juin 2026

Sémantique et exécution physique : une architecture neuro-symbolique pour l'assemblage robotique multi-paire

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs présente un cadre neuro-symbolique de bout en bout conçu pour l'assemblage robotique multi-paires en environnements non structurés, publié sur arXiv (2606.10808). Le système fonctionne à partir d'une caméra RGB-D montée sur le bras (configuration eye-on-hand) et s'appuie sur un bras UR3 d'Universal Robots. Le pipeline traite chaque paire pièce-cible en générant un sous-graphe optimal via un grand modèle de langage (LLM), puis coordonne l'ensemble des sous-graphes en une séquence globale cohérente grâce à une étape de résolution topologique. Des arbres de comportement dynamiques intégrant des compétences atomiques pilotées par retour d'effort ferment la boucle d'exécution physique. Sur 100 scènes réelles évaluées hors ligne, le framework atteint 97 % d'exécutabilité globale, et le déploiement sur robot réel obtient un taux de succès de 90 % avec une tolérance de 0,5 mm sous forte interférence entre pièces.

Ce résultat est notable parce qu'il adresse deux défauts symétriques qui bloquent l'industrialisation de la planification autonome d'assemblage. Les planificateurs classiques (recherche d'état, PDDl) explosent combinatoirement dès que le nombre de pièces augmente. Les approches purement neuronales ou LLM-only produisent des "hallucinations logiques" : séquences d'actions syntaxiquement valides mais physiquement incohérentes (conflits topologiques, collisions ignorées). Le framework proposé découple les deux niveaux : le LLM génère uniquement des actions basiques pour limiter les hallucinations, tandis qu'un discriminateur léger insère les actions de support pour les cas limites. La tolérance de 0,5 mm sous interférence forte est un indicateur concret de robustesse, même si les vidéos de démonstration disponibles ne couvrent pas l'ensemble des 100 configurations testées, ce qui limite la vérification indépendante des chiffres annoncés.

Le problème de l'assemblage multi-paires est un verrou industriel identifié depuis les années 1990 dans la robotique manufacturière, avec des applications directes en électronique, aéronautique et assemblage de sous-systèmes automobiles. Les approches concurrentes actuelles incluent les planificateurs symboliques classiques (MoveIt, OpenRAVE), les politiques d'imitation learning (ACT, Diffusion Policy) et les Visual Language Action models (pi-0 de Physical Intelligence, RoboFlamingo). Ce framework se positionne entre la planification symbolique vérifiable et l'inférence neuronale généraliste. Les auteurs soulignent que l'architecture est extensible à faible coût par ajout de nouvelles paires ou actions. Les prochaines étapes logiques seraient un déploiement sur des bras à plus haute charge utile et une validation sur des lignes d'assemblage industrielles réelles, domaine où des acteurs européens comme Wandercraft ou Enchanted Tools pourraient trouver des synergies applicatives.

Impact France/UE

Les équipes R&D robotique européennes (notamment dans l'aéronautique et l'électronique) pourraient intégrer cette architecture pour automatiser des tâches d'assemblage multi-pièces à tolérance serrée, un verrou industriel non résolu par les planificateurs classiques.

Dans nos dossiers

Wandercraft Enchanted Tools — Mirokaï Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage neuro-symbolique de prédicats pour un contrôle robotique sûr et sémantique

Des chercheurs ont publié sur arXiv (version 1, référence 2609.39594) NEUPRO, pour « Neuro-Symbolic Predicate Learning for Semantic Safe Robot Control ». Cette méthode apprend des représentations de sécurité réutilisables à partir de connaissances fournies par des humains. Les exigences de sécurité d'une tâche s'écrivent sous forme de règles symboliques lisibles. Un raisonneur différentiable les évalue, et les gradients remontent à travers ces règles jusqu'à un extracteur de caractéristiques. Celui-ci transforme les observations brutes (images, capteurs) en concepts pertinents pour la sécurité. L'extracteur reste donc « doucement » ancré dans une sémantique compréhensible par l'humain. Il permet une évaluation transparente des contraintes et se transfère d'une tâche à l'autre. Les auteurs publient aussi REASON, présenté comme le premier jeu de données de référence sur robot réel pour la spécification interprétable de la sécurité. Les expériences menées sur REASON indiquent que NEUPRO apprend des caractéristiques critiques généralisables d'une tâche à l'autre et fournit des explications explicites des violations de sécurité. Le résumé ne donne ni chiffres de performance, ni plateforme robotique, ni taille du jeu de données. L'enjeu est la certification et l'acceptation de robots dans des environnements partagés. Aujourd'hui, la sécurité est le plus souvent codée par des formulations mathématiques ou logiques opaques, ou par des fonctions de coût denses réglées à la main pour chaque tâche. Ces approches fonctionnent sur des cas précis, mais elles expliquent mal pourquoi une action est jugée sûre ou dangereuse. Elles se réutilisent aussi difficilement d'une application à l'autre. Pour un intégrateur ou un responsable sécurité, une règle lisible et auditable vaut davantage qu'un score de coût inexplicable. Cela vaut en particulier face aux exigences de traçabilité des normes industrielles et du règlement européen sur l'IA. La transférabilité entre tâches pourrait aussi réduire le coût de ré-spécification de la sécurité à chaque nouveau déploiement. Il faut toutefois rester prudent. Il s'agit d'un préprint non évalué par des pairs, sans comparaison chiffrée publique avec les méthodes de référence. Le caractère « doux » de l'ancrage sémantique signifie aussi que la fidélité des concepts appris n'est pas garantie. Ces travaux s'inscrivent dans la montée des approches neuro-symboliques en robotique. Elles cherchent à combiner la perception apprise des réseaux de neurones et le raisonnement explicite de la logique. Elles répondent à la fragilité des politiques de bout en bout et des modèles vision-langage-action (VLA), dont le comportement reste difficile à borner. Les concurrents sont multiples : les fonctions de barrière de contrôle (control barrier functions), l'apprentissage par renforcement sous contraintes, la logique temporelle et les filtres de sécurité fondés sur des modèles de langage. La suite dépendra de la publication de REASON et du code, qui permettra de reproduire les résultats. Il faudra aussi voir s'ils tiennent sur d'autres robots, hors du laboratoire, et face à des contraintes de sécurité temps réel.

UEUne sécurité robotique lisible et auditable pourrait faciliter la conformité aux exigences de traçabilité du règlement européen sur l'IA et des normes industrielles.

RecherchePaper

1 source

2arXiv cs.RO

Relier sémantique et physique : des LLM contraints pour une manipulation robotique sûre et fiable

Des chercheurs présentent un système qui relie raisonnement en langage naturel et exécution physique sûre pour la manipulation robotique, décrit dans un article publié le 29 août 2026 sur arXiv (2608.29379v1). Le pipeline part d'observations RGB-D pour construire un modèle de scène explicite tenant compte des collisions, puis contraint les décisions d'un grand modèle de langage via des appels d'outils validés par schéma selon le Model Context Protocol (MCP), rejetant les commandes mal formées avant qu'elles n'atteignent le robot. Chaque appel validé est ensuite traduit de façon déterministe dans un pipeline MoveIt Task Constructor, où les mouvements candidats sont vérifiés contre la scène reconstruite avant exécution, une étape de type "vérifier puis agir". Testé sur un bras robotique physique UFactory 850, le système atteint jusqu'à 80% de réussite sur dix essais par tâche pour des opérations de versement impliquant liquides, matières granulaires et solides discrets, et 90% de réussite sur une tâche de saisie-et-dépose avec la même architecture. L'intérêt de ces travaux tient à la démonstration chiffrée d'un problème bien identifié dans la robotique pilotée par LLM: un plan verbalement cohérent peut être physiquement infaisable si la cinématique et les collisions ne sont pas vérifiées avant exécution. Les auteurs montrent qu'une politique scriptée classique surpasse légèrement leur méthode sur la tâche la plus simple, mais chute à seulement 10% de réussite sur la tâche la plus difficile, contre 60% pour leur approche contrainte. Pour les intégrateurs industriels et les équipes robotique, ce résultat suggère qu'ajouter une couche de validation formelle entre le langage et l'action améliore surtout la robustesse sur les cas complexes, plutôt que la performance brute sur les cas faciles où des solutions scriptées suffisent déjà. Ce travail s'inscrit dans la lignée des recherches sur le "language-action gap", l'écart entre la capacité des LLM à décomposer des instructions en séquences d'actions et leur incapacité native à garantir la faisabilité physique de ces actions dans un environnement encombré et perçu de façon imparfaite. La solution proposée combine plusieurs briques existantes, le MCP pour la validation structurée des appels d'outils côté langage, et MoveIt Task Constructor pour la planification de mouvement sous contraintes cinématiques et de collision côté robot, plutôt que d'introduire une nouvelle architecture de bout en bout. Les tests restent limités à un seul bras robotique et un nombre réduit d'essais par tâche, ce qui invite à la prudence avant toute extrapolation vers des déploiements industriels à plus grande échelle.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage des relations CAO et planification géométrico-symbolique pour l'assemblage robotique

Un article publié sur arXiv (2609.17263v1) présente un cadre hybride de planification de séquences d'assemblage robotique combinant apprentissage automatique et raisonnement géométrique-symbolique, pensé pour des modèles CAO imparfaits, souvent dépourvus d'informations de contact fiables. Un réseau de neurones prédit les relations géométriques entre pièces à partir de nuages de points, corrigées si besoin par une supervision humaine, puis converties en graphe d'assemblage symbolique exploité par un planificateur qui calcule des primitives de manipulation robotique, guidé par un ray-casting basé sur la visibilité pour trouver les directions de désassemblage sans recherche combinatoire exhaustive. Sur le benchmark ASAP, le système atteint 85,83% de réussite en réduisant le temps médian de planification d'un ordre de grandeur, et jusqu'à 50 fois pour les assemblages de plus de 30 composants. La planification d'assemblage est un problème combinatoire dont le coût explose avec le nombre de pièces, rendant les méthodes exhaustives inutilisables sur des assemblages industriels complexes. Le frein pratique majeur reste les données: la plupart des CAO industrielles manquent des métadonnées de contact nécessaires, imposant un étiquetage manuel coûteux avant tout déploiement. En combinant extraction de relations apprise et vérification humaine ciblée, le framework réduit cette dépendance, un point concret pour les intégrateurs travaillant sur des données réelles plutôt que des maquettes idéalisées. Le gain de vitesse, jusqu'à 50 fois sur les cas complexes, intéresse les lignes reconfigurables où chaque changement de produit exige une replanification rapide, même si 85,83% de réussite laisse une marge d'échec non négligeable sur un résultat encore expérimental. Le travail s'inscrit dans un champ de recherche actif sur la planification d'assemblage et de désassemblage robotique, où le jeu de données ASAP sert de référence pour comparer les méthodes; les auteurs y opposent leur approche à une méthode combinatoire classique, nettement plus lente. Publié comme nouvelle soumission arXiv sans affiliation industrielle ni calendrier commercial précisé, ce document reste une contribution académique, pensée comme fondation pour des systèmes de planification plus adaptables. Sa portée pratique dépendra de validations futures sur des cellules robotiques réelles et des catalogues de pièces plus larges, étape annoncée mais non détaillée.

RecherchePaper

1 source

4arXiv cs.RO

Architecture reconfigurable à double opposition pour la manipulation et l'assemblage à une main

Publié sur arXiv (2609.22871v1) sous le titre "A Reconfigurable Dual-Opposition Architecture for Single-Hand Assembly and Manipulation", ce travail de recherche présente une main robotique à quatre doigts indépendamment actionnés, organisés en deux paires d'opposition virtuelle (virtual finger, VF), dont la configuration relative est ajustée par une paume reconfigurable. L'objectif est de permettre à une seule main de saisir simultanément deux pièces distinctes tout en contrôlant leur mouvement relatif, une opération typique de l'assemblage industriel incluant la saisie, l'alignement, le vissage et le pressage. Les auteurs ont construit un modèle cinématique des doigts et de la paume ainsi qu'une formulation de l'espace de travail conditionnée par la taille des objets, puis caractérisé le suivi des mouvements articulaires et de la paume. En simulation, la main atteint un taux de réussite moyen de 98,6% pour la rotation continue de sphères de 40 à 230 mm de diamètre, contre 73,8% pour la LEAP Hand, une main de référence open source. Après un réglage fin de la politique face à des perturbations externes multidirectionnelles, le taux grimpe à 92,8% contre 45,2% pour la LEAP Hand, et des démonstrations matérielles confirment la rotation en main d'objets de tailles variées à partir de politiques entraînées en simulation. Ce travail cible un verrou précis: la plupart des mains dextres sont conçues pour manipuler un seul objet à la fois, alors que l'assemblage en main de deux pièces distinctes exige de maintenir deux prises simultanées tout en pilotant leur position relative, une contrainte rarement adressée par les architectures existantes. Des expériences d'ablation montrent que l'abduction/adduction des doigts et la reconfiguration de la paume sont toutes deux nécessaires à la réussite de l'assemblage en main, ce qui suggère que le gain de robustesse provient autant du design mécanique que de l'apprentissage par renforcement seul. Pour les intégrateurs et équipes R&D en robotique industrielle, la comparaison chiffrée face à une main de référence connue offre un point de repère plus crédible que des vidéos sélectionnées sans baseline, et pèse dans le débat sur l'écart entre démonstrations et usage réel. Le travail reste toutefois au stade de la preuve de concept en laboratoire, sans volumes de déploiement ni partenariat industriel annoncés. La LEAP Hand, utilisée ici comme point de comparaison, est une main robotique dextre open source largement adoptée par la communauté recherche en manipulation, ce qui en fait une baseline standard pour ce type de benchmark. Le paysage des mains dextres reste par ailleurs dominé par des architectures fixes à cinq doigts, comme la Shadow Hand ou l'Allegro Hand, ou par des mains simplifiées intégrées aux humanoïdes commerciaux, rarement optimisées pour la saisie simultanée de deux pièces plutôt que la simple préhension. L'article ne mentionne ni calendrier de commercialisation ni partenaire industriel; les prochaines étapes évoquées portent sur l'extension des tâches d'assemblage testées et une validation matérielle plus poussée au-delà des démonstrations de rotation présentées.

RecherchePaper

1 source