一种多头注意力提高神经网络泛化的方法

陈 曦，姜 黎

（湘潭大学物理与光电工程学院，湖南湘潭 411100）

0 引言

众所周知，深度神经网络具有较强的函数逼近能力，能够表征复杂函数［1］。最近研究表明，神经网络的表征能力随着网络深度指数增长而增强［2］。在机器学习领域，泛化能力指学习到的模型对未知数据的预测能力［3］。根据可能近似正确（probably approximate correct，PAC）理论［4］理解为以e 指数形式正比于假设空间的复杂度，反比于数据量。目前提高泛化能力方式有增加数据量［5］、正则化［6］、凸优化［7］，这些方法因为实际条件差异在使用时有一定的局限性。如今神经网络在许多领域大放异彩，然而在某些场景中却不尽如人意［8］。由于神经网络的泛化问题会影响其推广，所以提高神经网络泛化对生产生活都极具意义。

提高泛化能力研究目前主要有基于神经网络剪枝［9］和基于多个独立单元结合的方法。基于神经网络剪枝的方法提高泛化能力效果甚微，其主要作用是减少神经网络参数量。基于多个独立单元结合的研究将多个相同的子模块独立运行，然后再对子模块信息进行整合，从而提高模型性能。这种方法提高泛化效果较好，但参数量明显多于剪枝方法。Li 等［10］提出一种新的循环神经网络——独立循环神经网络方法，即同层的神经元相互独立，跨层连接；Henaff 等［11］在Entnet 结构中应用独立的门从每个记忆单元中读写，能够在bAbI 任务中有优于基准模型的表现；Clemens 等［12］采用激活层控制多个模块信息交流，但只有在特定的时间步才能进行信息交流［13］。……