基于lasso和elastic net的宽度学习系统网络结构稀疏方法

褚 菲 苏嘉铭梁 涛陈俊龙王雪松马小平

(1.中国矿业大学地下空间智能控制教育部工程研究中心，江苏徐州 221116;2.中国矿业大学信息与控制工程学院，江苏徐州 221116;3.北京矿冶科技集团有限公司矿冶过程自动控制技术国家重点实验室/矿冶过程自动控制技术北京市重点实验室，北京 100160;4.华南理工大学计算机科学与工程学院，广东广州 510006;5.澳门大学科技学院，澳门 999078)

1 引言

随着人工智能的迅速发展，神经网络在人脸识别、语音识别等一系列具有挑战性的任务中得到了广泛的应用[1-6]，其中深度学习表现得尤为出色.虽然深度学习具有很强的学习能力，但由于结构复杂，需要面对多个参数的调整，这就导致了长期的训练过程.另外，为了提高学习能力，深度学习需要使用大量性能更强的计算机资源[7].

宽度学习系统是一个无需深度架构、有效且高效的学习系统，它是基于随机向量函数链接神经网络的思想设计的[8-10].与深度学习相比，宽度学习系统(broad learning system，BLS)只包含特征层、增强层和输出层，具有网络结构简单、参数少的优点.BLS利用岭回归算法得到网络的权值，避免了复杂的迭代计算过程，在较短的计算时间内达到令人满意的精度.此外，BLS 有多种增量学习算法，根据实际需求添加特征节点、增强节点，无需完整的再训练过程即可快速重新建模[11].文献[12]证明了BLS的普遍逼近性质，并提出了BLS的几种变型结构.文献[13]提出了循环宽度学习系统，在增强节点中加入反馈连接……