基于Fcn-Attention的硬盘故障预测方法

摘  要：保证大型数据中心服务的可靠性越来越重要，硬盘是大型数据中心中故障率最高的组件。如果能够预测硬盘的故障情况就可以提前对数据进行保护和隔离，避免造成重大损失。然而当前的预测器不能同时有效地提取时间序列的长短期依赖关系，学习样本的有效特征。文章提出了基于注意机制的全卷积注意力模型，该模型能够解决长短期依赖问题，有效识别故障模式。最后在采集的SMART日志的数据集中证明了模型的有效性。

关键词：硬盘故障预测;异常检测;注意力机制;全卷积网络

中图分类号：TP391;TP18          文献标识码：A文章编号：2096-4706（2021）24-0048-03

Abstract： Ensuring the reliability of services in large data centers is becoming more and more important. Hard disks are the component with the highest failure rate in large data centers. If the failure of the hard disk can be predicted， the data can be protected and isolated in advance to avoid major losses. However， current predictors cannot effectively extract the long and short term dependency of the time series at the same time， and learn the effective features of the samples. This paper proposes a fully convolutional attention model based on the attention mechanism， which can solve the problem of long and short term dependency and effectively identify failure modes. Finally， the validity of the model is proved in the data set of the collected SMART log.

Keywords： hard disk failure prediction; anomaly detection; attention mechanism; fully convolutional network

0  引  言

随着大数据以及云平台的普及，每天都有大量的数据需要存储。而目前最主要的存储设备就是硬盘。海量数据以及云平台的在线部署都使硬盘的稳定性面临着巨大的挑战，据统计硬盘故障是IT设备故障中最常见的组件。硬盘故障会导致服务中断，数据丢失等问题，严重是会造成巨大的经济损失。根据Backblaze的2021年第三季度的报告，硬盘在该季度的平均故障率为1.01%。这意味着在一个拥有300 000块硬盘的数据中心，几乎每天都会出现硬盘故障。对于不同的硬盘来说，不同的厂商会内置一个记录硬盘内部状态的日志（SMART自我健康监控报告），该日志能记录这硬盘生命周期内的重要安全指标。然而只利用这样的日志进行硬盘故障检测的检测的故障率为3%～10%[1]。所以需要结合相关模型进行预测研究。在机器学习中，硬盘故障预测问题通常被抽象成一个二分类问题：给定某硬盘过去的数据，预测它在未来一段时间后是否会发生故障。……