基于多注意力的多变量时间序列特征选择方法

胡紫音　桂宁

摘 要：特征选择是避免维度诅咒的一种数据预处理技术。在多变量时间序列预测中，为了同时找到与问题相关性最大的变量及其对应时延，提出一种基于多注意力的有监督特征选择方法。该方法利用带有注意力模块和学习模块的深度学习模型，将原始二维时间序列数据正交分割成两组一维数据，分别输入两个不同维度的注意力生成模块，得到特征维度和时间维度的注意权重。两个维度的注意力权值点积叠加作为全局注意力得分进行特征选择，作用于原始数据后输入随学习模块训练不断更新至收敛。实验结果表明，所提出的方法在特征数小于10时可达到全量数据训练效果，与现有几种基线方法相比实现了最佳准确率。

关键词：特征选择;时间序列;注意力机制;多维数据;深度学习

DOI：10. 11907/rjdk. 201206

中图分类号：TP301     文献标识码：A       文章编号：1672-7800（2020）011-0021-04

A Multi-attention-based Feature Selection Method for Multivariate Time Series

HU Zi-yin1，GUI Ning 2

（1. School of Information Science and Technology， Zhejiang Sci-Tech University， Hangzhou 310018，China;

2. School of Computer Science， Central South University， Changsha 410006，China）

Abstract：Feature selection is a data preprocessing technique that reduces model complexity and avoids the curse of dimensionality. In order to find the variable that is most relevant to the problem and its corresponding delay simultaneously in multivariate time series prediction， this paper proposes a multi-attention based supervised feature selection method. This method uses a deep learning model with an attention module and a learning module. The original two-dimensional time series data is orthogonally divided into two sets of one-dimensional data and input into the attention module of two different dimensions respectively to generate the attention weights of the feature dimension and the time dimension. Then the attention weights of the two dimensions are dotted with the product operation， used as a global attention score for feature selection， applied to the original data and updated continuously with the training process until the model converges. Experimental results show that the proposed method can achieve the effect of full data training when the number of features is less than 10， and achieves the best accuracy compared with several existing baseline methods.

Key Words： feature selection; time series; attention mechanism; multidimensional data; deep learning

0 引言

隨着物联网的发展，越来越多的领域，包括工业[1]、生物学[2]、社交媒体[3]等，积累了大量按时间顺序排列的高维数据，即多元时间序列（MTS）。借助机器学习和深度学习手段可从这些时间序列中挖掘出大量有价值的信息供专业人员决策。然而，时间序列中存在的大量无关、冗余特征，不仅对学习器的学习造成极大困扰，还会增加计算开销[4]。特征选择通过从数据集中选择出与目标变量相关的特征，有效减轻维数灾难问题，被视为机器学习中至关重要的数据预处理步骤[5]。为了建立更准确、更易理解的时间序列模型，确定与监督目标相关的最相关变量及其最合适的时间步长非常重要，这对理解底层系统的物理、化学模型有很大帮助。

随着深度学习的发展，注意力机制被提出并广泛应用于图像处理和自然语言处理领域。注意力模型借鉴了人类视觉的大脑信号处理机制，通过快速扫描全局图像，获得需要重点关注的目标区域，对这一区域投入更多资源以获取更多关注目标的细节信息，抑制无用信息。