基于注意力机制的犯罪行为分析

刘媛媛 朱振华 汪宁

摘 要：在高风险、高强度的公安工作领域，基础的预测分析模型存在风险点分析不全面、可解释性差等问题，已经不能满足实际工作需求。而近年来，注意力机制在深度学习中的各个领域被广泛应用并取得较好的效果，因此本文提出了一种基于注意力机制的神经网络模型来预测某人犯罪的可能性，并对影响犯罪行为的因素进行解释性分析。

关键词：犯罪;预测分析;注意力机制;神经网络

1、研究背景

随着大数据战略在公安行业的逐步推进，在公安信息化建设中需采用大数据思维，利用大数据技术带来的高性能，挖掘数据的核心价值，支撑治安防护、综合研判等方面的业务需求[1]。其中使用挖掘算法对海量数据进行分析和建模，挖掘出各类数据背后所蕴含的内在的、必然的因果关系，进而判断出某一事件发生的概率、科学预测其发展趋势，可以服务打防管控等警务工作[2]，而当前流行的基于深度学习和神经网络的预测模型存在风险点分析不全面、可解释性差、业务人员难以理解、黑箱决策等问题。

注意力机制的灵感来源于人对环境的生理感知，近几年来也被广泛应用，如阿里巴巴提出一种基于注意力机制的用户异构行为序列的建模框架，并将其应用到推荐场景中。他们将不同种类的用户行为序列进行分组编码，并映射到不同子空间中，利用 self-attention 对行为间的互相影响进行建模，最终得到用户的行为表征[3]。

在神经网络结构中加入注意力机制模型主要是基于三点考虑：首先是这些模型在众多的任务中取得了非常好的性能，比如机器翻译、问答系统、情感分析等;其次，在提升模型性能的同时，注意力机制增加了神经网络结构的可解释性，由于传统的神经网络是一个黑盒模型，因此提高其可解释性可以提高机器学习模型的公平性、可靠性和透明性;最后，其能够帮助缓解递归神经网络中的一些缺陷，比如增加输入序列长度导致性能下降;处理输入的顺序导致计算效率低下。综上，在神经网络结构中加入注意力模型能一定程度上弥补基础预测模型的缺点。

2、研究模型分析

2.1 模型的總体架构

本文基于海量的资源库原始数据，原始数据预处理后结合专家和大众群体的意见进行特征提取，输入到基于注意力机制的神经网络模型中，最终输出某人的犯罪系数和比重较大的特征，以对模型做出可解释性分析。

◆数据预处理：原始数据普遍存在杂乱性、重复性、不完整性等问题，必须加以处理才能用于分析。一方面可提高数据质量，另一方面是更好的使数据适应特定的数据挖掘技术和工具。涉及到的处理方法包括数据清洗、缺失值处理、词向量处理，同时为了让不同维度之间的特征在数值上有一定比较性，对数据进行归一化处理。

◆特征提取：数据预处理后的原始特征存在很多不相关数据和冗余数据，特征选取则是在原始特征上选取一个子集，使得在一定评价标准下特征空间得到最优化减小，在这个过程中，吸取多年办案专家给出的建议及大众对犯罪群体的直观认识从而加入业务特征。

2.2 模型主要组成部分

2.2.1 特征层

对各个维度的特征结合业务需求使用常用的机器学习算法如PCA进行特征提取、归一化处理后，每个维度均保留一部分有用特征，例如特征维度1保留年龄，性别等。

2.2.2 注意力机制

注意力机制也就是一般所说的注意力焦点，对某些区域投入更多注意力以获取更多需要关注目标的细节信息，而抑制其他无用信息，即对目标数据进行加权变化。当神经网络处理大量的输入信息时，先借助注意力机制，只选择一些关键的权重高的信息输入进行处理，用来提高神经网络的效率。借用Soft Attention注意力机制的计算可以分为两步：（1）在所有输入信息上计算注意力分布;（2）根据注意力分布来计算输入信息的加权平均。

◆注意力分布：从N个输入向量[x1，x2，…，xn]中选择出与

某个特定任务相关的信息，给定一个和任务相关的查询向量q，用注意力变量

来表示被选择信息的索引位置，即z=i表示选择了第i个输入向量并通过一个打分函数来计算每个输入向量和查询向量之间的相关性，首先计算在给定q和X下，选择第i个输入向量的概率α1;

◆加权平均：注意力分布α1可以解释为在给定任务相关的查询q时，第i个输入向量受注意的程度，再采用卷积求和的信息选择机制对输入信息进行汇总，输出加权平均。

2.2.3 神经网络层

使用一种简单的前馈神经网络，采用单向多层结构，各神经元分层排列，每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。

前馈网络包括三类节点：

◆输入层：外界信息输入，不进行任何计算，仅向下一层节点传递信息;

◆隐藏层：接收上一层节点的输入，进行计算，并将信息传到下一层节点;

◆输出层：接收上一层节点的输入，进行计算，并将结果输出。

3、模型实验结果

通过下图的实验结果可以看出，模型经过大量样本的训练后，对于某一给定人员，可以以较高概率准确的预测此人犯罪的可能性，并输出影响权重比较大的人员特征属性，给出模型的可解释性。而实际上，文化程度、财产状况、是否有犯罪前科也符合日常办案中对某人进行犯罪侧写的考虑因素。

4 结束语

让公安大数据能从“仓库”走向实战，推动公安工作的改革，进一步提高公安工作的效率是当今公安大数据战略不可或缺的需求。而基于“金盾工程”的推进和公安大数据的积累，建立高效稳定的模型科学预测人或事物的发展，对于进一步深化大数据创新应用，打造新时代智慧警务意义重大。

本文提出的模型算法可以对人员的行为进行一定程度上的预测，但如何提高预测的准确性和效率，如何扩大数据的应用范围，如何转换成实战应用等仍是现阶段公安数据挖掘领域需致力解决的问题。

[参考文献]

[1]王欣、郝久月、汪宁.基于大数据技术的公安综合研判应用平台设计.警察技术.2015（3）.

[2]张旭.大数据背景下机器学习在公安工作中的应用.电子世界.2019（3）.

[3]ChangZhou，JingzeBai.ATRank： An Attention-Based User Behavior Modeling Framework for Recommendation.

（作者单位：公安部第一研究所，北京 100048）