从感知机到前馈神经网络的数学推导

感知机

感知机是一种用来处理二分类的经典线性模型。其原理朴素直观，引入了学习概念，是神经网络的基本构成单元之一。

感知机的定义

假设输入空间为$X\in {\mathbb{R}}^n$，输出空间为$Y=\{+1,-1\}$。输入的$x\in X$表示示例中的特征向量，对应于输入空间中的某一点；输出$y\in Y$表示实例的类别。则称公式 (1) 这种由输入空间到输出空间的函数为感知机模型。
$$f(x)=sign(w\cdot x+b)\text{\hspace{1em}(1)}$$
其中，$w$和$b$为感知机模型的参数，$w\in {\mathbb{R}}^n$称为权值或权值向量，$b\in \mathbb{R}$称为偏置，$w\cdot x$表示$w$和$x$的内积，$sign$为符号函数，即：
$$sign(x)=\{\begin{array}{ll}+1,& x\ge 0\\ -1,& x<0\end{array}\text{\hspace{1em}(2)}$$

感知机的几何含义

对于给定的样本集$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$，其中对式 (1) 中出现的线性方程$w\cdot x+b=0$对应于特征空间${\mathbb{R}}^n$的一个超平面$S$，其中$w$是$S$的法向量，$b$是$S$的截距。若该特征空间线性可分，则该超平面可以恰好将特征空间分为两部分（如图1所示）。位于两部分的特征向量分别对应正负类样本。此时，该超平面𝑆又被称为分离超平面。

图1 二维空间下的分离超平面

感知机的损失函数

综上，感知机的主要目标是确定出一个可以将数据集的正样本和负样本完全分开的超平面，而超平面则主要通过训练时不断调整参数$w$和$b$的值来确定。至于$w$和$b$则可以通过定义关于$w$和$b$的损失函数并将损失函数极小化来得到。

当使用误分类点的个数来作为损失函数时，该损失函数不是关于$w$和$b$的连续可导函数，实际操作时不易优化，因此可以使用所有误分类点到超平面$S$的总距离来作为损失函数。输入空间${\mathbb{R}}^n$中任意一点$x_0$到超平面$S$的距离为：
$$\frac{1}{||w||}|w\cdot x+b|\text{\hspace{1em}(3)}$$
当样本标签$y_i$为$+1$时，$w\cdot x_i+b>0$表示分类正确；当样本标签$y_i$为$-1$时，$w\cdot x_i+b<0$表示分类正确，因此将两式整合如下：
$$\{\begin{array}{ll}{y}_i(w\cdot x_i+b)>0,& \text{分类正确}\\ y_i(w\cdot x_i+b)<0,& \text{分类错误}\end{array}\text{\hspace{1em}(4)}$$
因此此时误分类点$x_i$到超平面$S$的距离是：
$$-\frac{1}{||w||}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(5)}$$
不妨设超平面$S$的误分类点集合为$M$，那么全体误分类点到超平面$S$的总距离为：
$$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(6)}$$
不再考虑$\frac{1}{||w||}$，就得到感知机学习训练时的损失函数$L(w,b)$：
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(7)}$$

感知机的学习算法

已知感知机的学习目标是得到使损失函数值最小时的参数$w$和$b$，即：
$$\underset{w,b}{\min }L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(8)}$$
由于$L(w,b)$是一个自变量为$w$和$b$的简单线性函数，且由于损失函数中只有误分类点参与了计算，因此不需要对所有的点都求导。故感知机所采用的下降方法是随机梯度下降（Stochastic Gradient Descent,SGD）。

在随机梯度下降法中，每次迭代只随机选取一个样本，如果该样本在当前超平面下分类正确，则不进行操作；如果分类错误，则对这个误分类样本$x_i$求梯度：
$$\nabla w=\frac{\partial -y_i(w\cdot x_i+b)}{\partial w}=-y_i{x}_i\text{\hspace{1em}(9)}$$$$\nabla b=\frac{\partial -y_i(w\cdot x_i+b)}{\partial b}=-y_i{x}_i\text{\hspace{1em}(10)}$$

利用求解的梯度对$w$和$b$进行更新，得：
$$w\leftarrow w+\eta y_i{x}_i\text{\hspace{1em}(11)}$$$$b\leftarrow w+\eta y_i\text{\hspace{1em}(12)}$$

其中，$\eta$为学习率，代表学习速度的快慢，一般取$0\sim 1$之间。再由Novikoff定理可知，经过有限次迭代后可以使得损失函数尽可能地小，直到为零，此时即可得到$w$和$b$的值，进而得到超平面$S$。

感知机模型的缺陷与改进

感知机模型在进行二分类问题时简单直观且计算简单，但其具有很大的局限性，即只能处理线性可分问题。以逻辑学中的异或问题为例，对于输入$\{A,B\}$，当$A=B$时输出为$1$，当$A\ne B$时输出为$0$。以$0,0$、$0,0$、$1,0$，$1,1$为例，输出结果如表1所示：

表1 异或问题的输出结果

A	B	A XOR B
0	0	1
0	1	0
1	0	0
1	1	1

异或问题看似非常简单，但其为非线性可分问题，因此对于感知机模型来说，该问题比较复杂。将表1在二维坐标上展示结果如图2所示。

图2 异或问题中两个感知机的分布情况

由图2所示，由于去值相同的点分别占据了对角，因此无论如何都无法找到一个直线（超平面）使两类分开。当然，倘若使用两个感知机模型问题似乎就迎刃而解了。如图2所示，两个感知机模型对应的分割超平面就是图中的两条实线。设感知机1为$f_1(x)=sign(w_1\cdot x+b_1)$；感知机2为$f_2(x)=sign(w_2\cdot x+b_2)$。并令感知机1对应的超平面右下方和感知机2对应的超平面左上方输出为$+1$；感知机1对应的超平面右上方和感知机2对应的超平面右下方输出为$-1$。

此时继续添加感知机3以整合感知机1与感知机2的输出结果，不妨设感知机3为$f_3(x_3)=sign(w_3\cdot x_3+b_3)$。其中，$w_3=[1,1]$，$x_3=[f_1(x),f_2(x)]$，$b_3=-1$。

显然，当感知机3输出为$+1$时，表示该样本属于正类；输出为$-1$时，表示该样本属于负类。这三个感知机的运行架构图如图3所示：

图3 多个感知机实现异或问题架构图

实际上，异或问题只需两个感知机叠加值来判别就能解决，感知机3只是为了统一输出而添加的。推广来看，当问题更加复杂的时候，可以考虑用更多的感知机模型进行组合堆叠。虽然一个感知机能力有限，但是一旦感知机进行多层堆叠之后，其能力就会大大增强。实际应用中，为了更好的解决线性不可分的问题，感知机模型走向了多层化的道路，由此成为了各种神经网络的基石。这种每层神经元与下一层神经元全部相互连接，且不存在同层或跨层连接的神经网络结构被称为多层感知机或多层前馈神经网络。