基于紫外可见光谱的水质检测算法分析

习 燕

(伊犁水文勘测局，新疆 伊犁 835000)

水质安全关乎人们的身体健康，更与社会发展密切相关，随着近年来社会发展进程的不断加快，水质安全受愈来愈多的因素影响，具体包括自然、人为两种，前者有洪水、暴雨等，后者有污水排放、危险品泄露、投毒等。如何才能够及时减轻或避免水质污染，水质预警系统应运而生，在系统工作中的核心组成就是水质异常检测，能够运用在线传感器对水质情况进行检测，加强供水系统预警能力保障用水安全[1]。现有研究中有基于统计学、机器学习、数据挖掘等不同检测方法，有学者基于多元水质数据序列，建立了水质检测指标和决策树，以实际采集数值与估值之间存在的残差判断水质异常[2]。在未来分析技术也开始逐渐朝向自动化、微小的发展方向，微型光谱仪器也作为如今在环境检测、生物医学监控领域的重点技术，为了能够保证水环境的长期稳定，提供了实时迅速检测。并且水质分析技术也从最初人工采样，发展至如今的自动化采样，与无线传感网络技术相结合，可以短时间内迅速检测多资源区域内的水质信息。根据以往研究的水质检测存在样本采频不高，耗时较久等问题。本文提出运用紫外可见光谱检测方法，是一种以被测物质的分子对光谱达到的吸收、反射性为依据展开分析，能够快速、方便、在线分析的优势。通过在此技术基础上，提出运用非对称最小二乘基线校正结合PCA对Q统计量检测水质异常，验证该检测算法的应用有效性。当然应用智能微型检测技术也将作为未来的主要发展方向，给人类社会创造更大的社会效益。

1 基础理论

1.1 算法原理

在光谱采集中因为所受水质波动、仪器设备等多因素影响，导致光谱存在噪声与基线漂移问题。处理光谱中可以应用非对称最小二乘法基线拟合算法，优化目标公式如下[3]：

(1)

Δ2zi=(zi-zi-1)-(zi-1-zi-2)=zi-2zi-1+zi-2

(2)

公式(1)主要表达的是y原始光谱逼近z拟合光谱的程度，为了能够寻求一组能够获得最小化结果的z值。公式(2)中主要表达的是原始、拟合两光谱存在的相似性，在第二项中代表了拟合光谱达到的平滑度。将p、λ这两个参数引入之后非对称选择，对于yi>zi情况下，ω=p；在yi≤zi情况下，ω=1-p，通常p选值范围在0.001～0.1数值较小，但是选值范围一般在102～109数值较大[4]。

(3)

根据上述基于紫外线光谱水质异常检测的具体方法，就是评估Q统计量可得测试样本的异常点，表征残差空间中光谱残差向量的欧氏距离平方值，假若存在异常水质，那么Q统计量较阈值就明显要大，残差向量也可以反映存在的异常。Q统计量表达公式如下[6]：

Q=xT(I-PPT)x

(4)

Q统计量阈值表达公式如下：

(5)

Q统计量用于评估水质变化情况，例如对随机噪声发生的变化情况，一旦超出既定阈值则表示随机噪声已经出现明显改变，也就代表出现异常。

1.2 评价指标

水质异常检测算法在性能评价一般包括了检出率(PD)、误报率(FAR)，前者代表处于某一时间段内，通过算法检测发现存在的水质异常情况，所占发生水质总异常次数的占比；后者作为一定时间段内，通过算法检测虚假水质异常所占决策次数百分比，计算检出率、误报率公式如下：

(6)

(7)

2 实验设计

2.1 实验仪器

本次对水质检测实验基于饮用水循环官网模拟系统，包括了紫外可见光谱传感器、工业计算机控制系统、官网循环系统，紫外可见光谱传感器结构组件(见图1)。在本实验中注入污染物主要通过计量泵恒定速率，向官网内注射后，使用紫外光谱传感器对一条光谱数据的扫描时长在30s，在扫描之后可以自动存储并获取数据。

图1 城市饮用水管网结构图

2.2 数据采集

将注入苯酚试剂作为本试验的污染物，苯酚具有可溶于水作为常见有机污染物之一，将一定量苯酚注入饮用水中，会导致饮水者发生急性中毒症状，如果长期饮用水甚至会出现瘙痒、头晕、贫血与神经系统功能障碍情况。所以在本文中采集了25 h包括正常水质，以及注入不同浓度苯酚污染物紫外光谱数据，每次注入10 min长度苯酚，分别注入50、100、200、500、1 000，采集光谱波长在200～750 nm之间，2.5 nm步长。因为苯酚注入峰值约269.8 nm，最终确定了本试验的紫外波段光谱在240～400 nm之间，(见图2)为本实验的光谱图。

图2 采集原始紫外可见光谱图

3 结果与讨论

3.1 数据预处理

本文运用Savitzky-Golay平滑滤波减弱噪声，提升信噪比，运用ALS基线校正减弱光谱采集中基线漂移情况，应用标准正态变换处理每条光谱，光谱曲线数据减去光谱曲线均值，所得结果与标准差相除，消除光程变化、散射及颗粒大小的干扰。在数据预处理后可得光谱(见图3)，对原图光谱基线漂移情况有所减弱，明显的苯酚峰值，放大了有效信号。

图3 预处理之后紫外光谱图

3.2 方法对比

(见表1)根据单波长检测效果，能够发现此种检测方法的异常水质检测率不高，仅仅能够对实验200以上的注入苯酚污染情况成功检出，无法检测低浓度异常水质。

表1 单波长法检测效果

在根据上面单波长检测方法的水质异常检测率较低情况，运用本文紫外可见光谱全光谱检测算法，结合上面分析的基线校正与主元分析紫外可见光光谱异常检测法，在如上实验平台中采集在线光谱数据，预处理后训练正常水质PCA模型，ALS、SNV数据预处理，通过选择正常水质构建PCA模型，获得了Q统计量阈值Qa。

共计选择500组正常水质光谱数据模型在训练中，设计了累计住院分析成分90%，训练中将阈值以上的样本筛除，直至训练样本内全部Q统计量低于阈值，训练结果可得Q统计量阈值最终结果为26.03，将50个误差样本剔除。运用PCA模型训练检测异常水质与所得阈值，对残差空间内待检测水质进行计算，将相较Q可获立群点序列，运用上截单波长方法对水质异常检测更新原则，完成离群点的概率更新后可得(见图4)。

图4 紫外可见全光谱检测效果

通过图4所示的紫外可见全光谱检测效果，能够对全光谱中全部包含的信息都做到有效利用，运用PCA训练模型成功降维的同时，也做到了对有效光谱信息的很大程度保留，最终成功检出了100μg·L-1的苯酚污染，相较仅仅可以检测200μg·L-1以上苯酚污染的单波法，明显提升了低浓度情况下的水质异常检测率。

由于考虑到光谱信息在实际采集过程中，因为易受水质波动以及检测仪器设备的多因素影响，最终出现基线漂移问题，运用ALS算法校正基线对此算法的应用有效性，对比未基线校正的检测效果(见表2)，发现ALS基线校正后所得检测效果明显更优。

表2 紫外可见全光谱法检测效果

紫外光谱分析技术所依据的检测理论，作为基于朗播比尔定律，在A=kcl方程式这一表示公式，在水内的苯酚均作为化学物质，在紫外区存在较强光谱吸收，所以吸光度能够应用于检测水质内COD中。经过本次实验研究也发现如果仅仅使用单波长紫外光谱检测，由于单波长吸收能力较弱，所以很大程度限制了应用范围，而本文提出这一全光谱检测方法就成功解决了这一弊端。根据试验结果也能够发现获得水样吸光度和COD存在线性关联，运用紫外水质检测设备能够对水质参数在短时间内迅速检测，并运用最小二乘法构建了优化数学模型，分析了水质内的成分水样，此方法可以对相同成分水样和不同浓度水样存在差异有效判断。运用提出此种分析方法及预测评价指数，能够有效减少在实验中不同水样差异造成的误差，所以有效提高了本次水质检测实验中的精度。

4 结语

运用紫外可见光谱法检测异常水质，为了解决光谱检测算法中基线漂移、噪声等异常问题，提出运用Savitzky-Golay平滑滤波、非对称最小二乘法基线校正还有正态变换一系列预处理方法，对基线漂移和噪声产生的光谱检测数据影响，建立了PCA训练模型改进筛除误差样本，与Q统计量结合消除误报后。注入不同量苯酚的试验结果表示，紫外可见全光谱检测效果，最终成功检出了100的苯酚污染，相较仅仅可以检测200以上苯酚污染的单波法，明显提升了低浓度情况下的水质异常检测率。