MLP多层感知机

吴琳

一、多层感知机简介

人工智能如今已经成为大街小巷的热议话题，已经深刻的改变了许许多多的行业，人工智能与机器学习在医疗、神经科学、农业、信息安全、监控等领域的应用数不胜数，已经成为我们生活中不可或缺的一部分，而这一切的开端，都要从感知机[1]刚被发明出来说起。1960年，Pedro首次使用Delta学习规则用于感知器的训练步骤，这种方法后来被称为最小二乘方法，这两者的结合创造了一个良好的线性分类器，这个发现引起了第一波的AI浪潮，因为人们认为简单的感知机可以实现分类功能，那通过组合可以实现更复杂的功能，但是后面发现感知机无法模拟异或问题、无法处理非线性问题，第一波浪潮就这样沉入了低谷。但是依然有人在研究，2006年，Hinton提出了DBN，解决了更深层次的网络是可以通过一些策略更好的训练来实现，引起了深度学习的第三波浪潮。神经网络深度学习的发展加快了，越来越多的人开始研究这个领域，并且成果颇丰。

二、MLP算法描述

生物神经元主要由细胞体（神经元主体）、树突（神经元输入信息）、轴突（神经元输出信息）和突触（神经元之间输入输出信息的连接）组成。

2.1神经元模型。人工神经网络的基本成分是人工神经元，将许多个这样的神经元按一定层次连接起来，就得到神经网络。1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts基于神经元的生理特征建立的单个神经元的数学模型（MP模型）是大多数神经网络的基础。

2.2感知机模型。……