RecherchearXiv cs.RO 16 septembre 2026

CoAdapt : un framework basé sur un LLM pour la perception collaborative adaptative dans les essaims robotiques IIoT

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Les chercheurs présentent CoAdapt, un framework de perception collaborative adaptative destiné aux essaims de robots mobiles autonomes dans l'IIoT (Industrial Internet of Things), pour des tâches comme la manutention, l'assemblage de produits ou l'inspection d'infrastructures. Le système utilise un grand modèle de langage (LLM) comme contrôleur de fusion en temps réel : il décide dynamiquement quels robots participent à la fusion des données LiDAR et quel algorithme de fusion appliquer, en fonction de la configuration spatiale et de l'état du réseau à un instant donné. Le LLM ne traite pas directement les nuages de points bruts mais raisonne sur des descriptions structurées en langage naturel dérivées de ces données, sans nécessiter d'entraînement spécifique à la tâche. Évalué sur le benchmark OPV2V à travers 25 scénarios, CoAdapt affiche une réduction de 38% du coût de communication tout en maintenant une précision de détection comparable aux approches statiques de référence. L'étude est publiée sous la référence arXiv:2609.16852v1.

Ce travail cible une limite concrète des systèmes actuels de perception collaborative multi-robots : ils supposent une participation statique des agents, alors que les environnements industriels réels impliquent des positions robotiques changeantes, une bande passante réseau fluctuante et une contribution variable de chaque robot à la qualité de perception collective. Pour les intégrateurs de flottes de robots mobiles autonomes (AMR) en usine ou en entrepôt, l'enjeu est direct : réduire la charge réseau sans dégrader la fiabilité de détection permet de déployer des essaims plus larges avec une infrastructure de communication moins coûteuse. L'approche illustre aussi une tendance plus large où les LLM sont utilisés non pas pour générer du texte mais comme couches de décision et d'orchestration au runtime, exploitant leur capacité de raisonnement sur des descriptions symboliques plutôt que sur des données de capteurs brutes, ce qui limite le besoin de réentraînement lors de changements de topologie du swarm.

Le papier s'inscrit dans la lignée des travaux sur la perception collaborative véhicule-à-véhicule et robot-à-robot, dont OPV2V (Open V2V Perception), le benchmark utilisé ici, est devenu une référence standard pour évaluer la fusion LiDAR multi-agents en simulation. CoAdapt ne précise pas d'acteur industriel partenaire ni de déploiement réel sur site : il s'agit d'un résultat de recherche académique validé en simulation, sans indication de mise en production ni de pilote annoncé avec un fabricant de robots ou un intégrateur. Aucune entreprise française ou européenne du secteur robotique n'est mentionnée dans cette publication.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

CoViLLM : un cadre collaboratif adaptatif humain-robot pour l'assemblage, basé sur des grands modèles de langage

Des chercheurs présentent CoViLLM, un framework de collaboration homme-robot pour l'assemblage adaptatif, décrit dans une prépublication arXiv (2603.11461v3, version révisée). Le système combine trois briques : une localisation d'objets par caméra de profondeur pour estimer la position des pièces, une classification opérée par l'humain pour identifier les composants nouveaux ou non répertoriés, et un grand modèle de langage chargé de générer les plans de tâches d'assemblage à partir d'instructions en langage naturel. Les auteurs valident leur approche sur le NIST Assembly Task Board, un banc d'essai standardisé de référence pour l'évaluation de systèmes d'assemblage robotique, en testant trois scénarios distincts : produits connus, produits personnalisés, et produits totalement inédits pour le robot. L'enjeu dépassé ici est celui de la rigidité des robots industriels classiques, programmés selon des règles fixes et donc mal adaptés à la personnalisation de masse, un défi central pour les lignes de production modernes. Les frameworks de collaboration homme-robot existants s'appuient généralement sur des pipelines de perception-manipulation prédéfinis, ce qui les empêche de générer eux-mêmes des plans pour assembler un produit jamais vu. CoViLLM prétend lever cette limite en confiant au LLM la planification de tâches à la volée, ce qui, si les résultats se confirment à plus grande échelle, intéresserait directement les intégrateurs et fabricants cherchant à réduire les coûts de reprogrammation lors de changements de variantes produit, un enjeu récurrent dans l'électronique, l'automobile ou les biens de consommation. Les résultats publiés restent toutefois limités à un banc d'essai de laboratoire, et non à une chaîne de production réelle, ce qui appelle à la prudence sur la généralisation immédiate. Ce travail s'inscrit dans la vague de recherches associant modèles de langage et robotique manipulatrice, où les LLM sont de plus en plus testés comme couche de raisonnement au-dessus de pipelines de perception classiques plutôt que comme modèles vision-langage-action de bout en bout. Le choix du NIST Assembly Task Board comme référence permet une comparaison future avec d'autres approches de la communauté robotique académique, sans toutefois indiquer à ce stade de partenariat industriel ou de calendrier de déploiement au-delà du cadre expérimental décrit.

RecherchePaper

1 source

2arXiv cs.RO

CoRAL : contrôle adaptatif basé sur LLM pour la manipulation robotique en contact riche

Une équipe de chercheurs propose CoRAL (Contact-Rich Adaptive LLM-based control), un framework publié en preprint sur arXiv (2605.02600) en mai 2025, conçu pour résoudre l'une des limites persistantes des grands modèles de langage appliqués à la robotique : la manipulation en contact riche, c'est-à-dire les tâches nécessitant des interactions physiques précises et réactives. L'architecture repose sur un découplage strict entre raisonnement de haut niveau et exécution de bas niveau. Contrairement aux approches VLA (Vision-Language-Action) qui emploient le modèle comme contrôleur direct, CoRAL utilise le LLM comme concepteur de fonctions de coût pour un planificateur par échantillonnage (MPPI, Model Predictive Path Integral). Un VLM fournit des priors sémantiques sur les paramètres physiques de l'environnement - masse et friction - affinés en temps réel par identification de système en ligne, tandis qu'une mémoire par récupération permet de réutiliser des stratégies validées sur des tâches récurrentes. Sur des scénarios incluant le retournement d'objets contre des murs via des contacts extrinsèques, CoRAL affiche un taux de succès supérieur de plus de 50 % en moyenne aux baselines VLA testées, sur des tâches jamais vues en entraînement, aussi bien en simulation que sur hardware réel. L'intérêt principal pour les intégrateurs réside dans la résilience au gap sim-to-real : en adaptant dynamiquement sa représentation des paramètres physiques lors des premières interactions, le système corrige en vol ses erreurs stratégiques sans nécessiter de re-entraînement. La séparation raisonnement/exécution garantit en outre une stabilité temps réel, le LLM étant par nature trop lent pour s'insérer dans une boucle de contrôle réactif. C'est un argument concret contre les VLA pures, qui peinent précisément sur les tâches à fort contact car leurs politiques apprises ne s'adaptent pas aux incertitudes physiques non vues. Le gain de 50 % mérite cependant d'être pondéré : les baselines exactes et le périmètre précis des tâches de test ne sont pas détaillés dans le résumé, et ce travail reste un preprint non relu par les pairs. CoRAL s'inscrit dans un champ de recherche actif qui cherche à hybrider planification symbolique et modèles de fondation pour dépasser les limites des VLA comme Pi-0 (Physical Intelligence), RT-2 (Google DeepMind) ou OpenVLA. Ces modèles ont montré des capacités convaincantes sur des tâches de manipulation standards mais buttent sur les contacts complexes et les environnements non vus. Le planificateur MPPI est une méthode stochastique éprouvée en robotique, ce qui ancre CoRAL dans un socle technique solide plutôt que dans une approche purement émergente. Aucun déploiement industriel ni partenariat n'est annoncé à ce stade - la prochaine étape naturelle serait une validation sur un spectre plus large de tâches industrielles, comme l'assemblage ou la manipulation d'objets déformables, pour mesurer la généralisation réelle de l'approche.

RecherchePaper

1 source

3arXiv cs.RO

Adaptation cinématique basée sur la force et le couple pour les tâches de manipulation robotique

Publié sur arXiv le 21 août 2026 (arXiv:2608.21592v1), l'article présente une méthode d'adaptation cinématique en ligne pour la manipulation robotique en contact riche, où la relation entre les articulations d'un robot et l'outil qu'il tient change à chaque prise, parfois presque instantanément lors des changements de mode de contact, notamment pour les mains multi-doigts dont les points de contact ne sont pas fixés à l'avance. Les auteurs dérivent une loi de mise à jour dont la stabilité est démontrée mathématiquement: elle identifie la cinématique d'un outil inconnu à partir des seules mesures articulaires et d'un capteur de force/couple monté au poignet, sans aucune mesure extéroceptive de la pointe de l'outil, aussi bien en rigide qu'avec un contrôleur de compliance en boucle interne. L'identification ne porte que sur les directions excitées par le mouvement: la longueur d'un outil reste inobservable lors d'une insertion rigide en ligne droite, mais devient partiellement observable via le relâchement passif d'une boucle compliante. Une formulation alternative en programme quadratique reproduit le terme de prédiction de cette loi mais échoue à reproduire son terme de suivi. La validation reste, pour l'instant, une simulation d'insertion cheville-trou. Ce travail cible un verrou concret pour l'industrie: la plupart des systèmes de manipulation supposent une cinématique outil-effecteur fixe et connue, ce qui impose de recalibrer le robot à chaque changement d'outil ou de préhenseur, un frein à la polyvalence recherchée par les intégrateurs et les concepteurs de mains robotiques multi-doigts. En rendant l'estimation purement proprioceptive, sans caméra ni capteur tactile dédié, l'approche réduit l'instrumentation nécessaire pour des tâches de prise pleine main où les points de contact varient à chaque saisie. Elle s'inscrit aussi dans un débat plus large de la recherche en robotique: découpler l'apprentissage de la politique de tâche, par exemple via apprentissage par renforcement, de l'adaptation aux spécificités physiques d'un robot, d'une main ou d'un outil donné, dans l'idée de faciliter le transfert de politiques apprises vers d'autres configurations matérielles sans réentraînement complet. Les auteurs présentent ce travail comme une première étape d'un programme de recherche plus large, et non comme une solution aboutie: aucune validation sur robot physique n'est rapportée, seulement une simulation simple d'insertion, ce qui laisse ouverte la question du passage à l'échelle sur des prises complexes et sur du matériel réel. Le résumé public n'identifie ni laboratoire ni entreprise, et aucun lien n'est établi avec des plateformes commerciales comme Figure ou Tesla Optimus, ni avec des modèles vision-langage-action tels que Pi-0 ou GR00T N2. La démarche s'inscrit dans la lignée des recherches sur la manipulation dextre adaptative et l'estimation en ligne de paramètres physiques, un axe exploré en parallèle par plusieurs laboratoires de robotique pour réduire la dépendance des politiques de manipulation à une calibration extéroceptive précise.

RecherchePaper

1 source

4arXiv cs.RO

Exploration active dans l'apprentissage par renforcement bayésien basé sur un modèle pour la manipulation robotique

Des chercheurs de l'Université de Saragosse (groupe ropertunizar) publient la version 3 d'un article sur l'exploration active dans l'apprentissage par renforcement basé sur modèle (MBRL) bayésien, appliqué à la manipulation robotique. Le principe: construire un modèle dynamique du robot afin de mener l'essentiel de l'apprentissage de la politique en simulation, ce qui limite le coût de collecte de données réelles et permet de réutiliser ces données d'une tâche à l'autre. Les auteurs emploient l'apprentissage profond bayésien (BDL) à double fin. D'abord, améliorer la calibration du modèle, donc la fiabilité de ses estimations d'incertitude. Ensuite, accroître l'efficacité en données: pendant une phase d'exploration préliminaire, le système estime le gain d'information de chaque transition et l'utilise comme récompense d'exploration. Plusieurs méthodes BDL sont comparées dans une configuration de manipulation réaliste. Le code est publié en open source sur GitHub. Il s'agit d'un travail académique, sans produit ni déploiement industriel annoncé. Pour les intégrateurs et les équipes R&D, le résultat revendiqué est que cette approche atteint la qualité d'alternatives pertinentes avec nettement moins d'exécution sur le robot réel. Or le temps robot reste l'un des principaux postes de coût et de risque dans l'apprentissage de politiques de manipulation. Le point méthodologique le plus notable tient à la validation: les travaux antérieurs de ce type étaient testés surtout sur des environnements RL standards, alors que celui-ci traite des tâches de bras robotisé dans un simulateur de manipulateur complet, CoppeliaSim. C'est un cran plus proche des conditions réelles, mais cela reste de la simulation. L'abstract ne chiffre ni la réduction du temps d'exécution, ni les tâches, ni le robot, et ne présente aucun transfert sim-to-real sur matériel. Il faut donc lire « beaucoup moins d'exécution robot » avec prudence tant que les chiffres du texte complet n'ont pas été examinés. Ce travail s'inscrit dans une tendance de fond: face au coût des données robotiques, une partie de la communauté mise sur le MBRL et l'exploration guidée par l'incertitude, tandis qu'une autre, très visible côté humanoïdes, parie sur les grands modèles vision-langage-action entraînés sur d'énormes volumes de démonstrations. Ces deux voies ne sont pas exclusives: un modèle dynamique bien calibré pourrait servir à générer des données synthétiques ou à affiner des politiques pré-entraînées. La publication d'une troisième version indique un processus de révision abouti, mais les suites concrètes, comme des essais sur bras physiques ou des comparaisons avec des politiques généralistes, ne sont pas annoncées. L'ouverture du code permet à d'autres équipes de reproduire les résultats et de tester la méthode sur leurs propres cellules de manipulation.

UETravail académique de l'Université de Saragosse (Espagne) dont le code open source peut être réutilisé par les équipes de R&D européennes en manipulation robotique.

RecherchePaper

1 source