机器学习--神经网络笔记

01

神经网络中最基本的成分是神经元（neuron）模型。在生物神经网络中，每个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个“阈值”（threshold），那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物资。

图5.1所示的简单模型就是沿用至今的“M-P神经元模型”。在这个模型中，神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接（connection）进行传递，神经元接收到总输入值将与神经元的阈值进行比较，然后通过“激活函数”（activation function）处理以产生神经元的输出。 阶跃函数是理想的激活函数，它将输出值映射为输出值“0”或“1”，“1”对应与神经元兴奋，“0”对应于神经元抑制。但阶跃函数具有不连续、不光滑等不太好的性质，因此常用Sigmoid函数作为激活函数，如下图：

把许多这样的神经元按一定的层次结构连接起来，就得到了神经网络。

感知机与多层网络

once time【2018】

02

感知机（Perceptron）由两层神经元组成，如图5.3所示。输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”（threshold logic unit）。

要解决非线性可分问题，需考虑使用多层功能神经元。如图5.5中两层感知机解决异或问题。

这里的输入层和输出层之间的一层神经元，被称为隐层或隐含层（hidden layer），隐含层和输出层神经元都是拥有激活函数的功能神经元。

我们常见的神经网络是如图5.6所示的层级结构，每层神经元与下一层神经元全互连，神经元枝江不存在同层连接，也不存在跨层连接。这样的神经网络结构通常称为“多层前馈神经网络”（multi-layer feed forward neural network）。由于输入层神经元仅是接受输入，不进行函数处理，隐层与输出层包含功能神经元。因此，通常被称为“两层网络”，或“单隐层网络”。 神经网络的学习过程，就是根据训练数据来调整神经元之间的“连接权”（connection weight）以及每个功能神经元的阈值。

误差逆传播算法

once time【2018】

03

欲训练多层神经网络，上述的简单感知机学习规则显然不够，我们需要更强大的学习算法。误差逆传播（error BackPropagation，简称BP）算法就是一种杰出的神经网络学习算法。