BESIII分布式计算的元数据管理

林 蕾，孙 涌，李卫东，邓子艳，张晓梅，Nicholson Caitriana

(1. 苏州大学计算机科学与技术学院，江苏 苏州 215006；2. 中国科学院高能物理研究所，北京 100049；3. 中国科学院大学，北京 100049)

BESIII分布式计算的元数据管理

林 蕾1，孙 涌1，李卫东2，邓子艳2，张晓梅2，Nicholson Caitriana3

(1. 苏州大学计算机科学与技术学院，江苏 苏州 215006；2. 中国科学院高能物理研究所，北京 100049；3. 中国科学院大学，北京 100049)

北京谱仪III(BESIII)高能物理实验产生PB量级的实验数据，海量数据的处理和分析对计算资源提出较大挑战。分布式计算是整合异构计算资源和解决计算资源短缺的可行方案。根据BESIII实验需求对分布式计算所需的元数据管理进行研究，提出数据文件的元数据模型，利用中间件软件DIRAC的目录服务设计并实现元数据管理系统。该系统利用树型目录结构、物理文件名动态构建和虚拟数据集等技术，组织和存储各种类型的元数据，实现查询请求、逻辑文件以及物理文件之间的映射，使用数字证书和开放安全套接层协议保证系统安全。将该系统应用于实验数据分析和处理中，测试结果表明，当并发用户访问量为300时，查询时间仅为0.3 s，证明该系统性能较好，可以满足BESIII实验的应用需要。

元数据；元数据模型；分布式计算；元数据管理；目录服务；高能物理

1 概述

北京正负电子对撞机(Beijing Electron and Positron Collider II,BEPCII)[1]上的北京谱仪 III(Beijing Electron Spectrometer III,BESIII)实验[2]主要进行τ-粲物理的研究。自2009年正式取数以来，该实验每年产生约1 PB的实验数据，已拥有世界上最大的J/ψ、ψˊ和ψˊˊ数据样本。BESIII实验的数据处理包括数据重建和蒙特卡洛模拟等过程，每个过程都需要耗费大量的计算和存储资源，为此高能物理研究所建立了包含4千多个CPU核、2 PB磁盘容量和4 PB磁带容量的计算系统。……