06、类神经网络

一、单层感知机模型

（一）模型图

（二）目的：搭建万能函数

以下激活函数使用位置：隐藏层向输出层，进行输出时

1、什么要使用激活函数

1、容易进行求导，进行反向传播计算；
2、根据人的需要将输出Y映射到某个空间之中；
3、激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

2、常用激活函数和python实现

1、阶跃激活函数：：以0为阀门激活，否则关闭
函数图：

代码实践：

import numpy  as np
def threshold_function (x):
    y=x>0#如果x是数组，执行后的结果是大于0元素对应y数组元素是true反之则为false.如x=[-1,1,2],则y=[false，true，ture]。
    return y.astype(int)#astype数据类型的转化，把y转化为括号里面的类型,把y=[false，true，ture]转换为[0,1,1]
x=np.array([-1,1,2])
threshold_function(x)

2、sigmoid激活函数:将数值输出到（0~1），用来排序概率大小等
函数图：

优缺点：

代码实践：

def sigmoid (x):
    return 1/(1+np.exp(-x))#exp,是np里面的函数，不能没有‘np.’直接使用'exp(-x)'
x=np.array([-1,1,2])
sigmoid(x)#变化后的样子‘array([0.26894142, 0.73105858, 0.88079708])’

3、Tanh激活函数：：使输出数值映射到（-1~1）

函数图：

优缺点：

代码实践：

import numpy  as np 
def tanh (x):
    return (1- np.exp(-2*x))/(1+np.exp(-2*x))#‘2*x’不能打成‘2x’
x=np.array([-1,1,2])
tanh(x)
#输出：array([-0.76159416, 0.76159416, 0.96402758])

4、ReLu激活函数：不达到阀门‘0’时都为‘0’，激活后，线性增大

函数图：

优缺点:

代码实践：

import numpy  as np 
def relu(x):
    return np.maximum(0,x)#0之前都为0，大于0线性增大
x=np.array([-1,1,2])
relu(x)
#变化后值：array([0, 1, 2])

(三)神经网络传播过程：最重要

1、模型图

2、加入偏移

3、传播过程：

第一步：正向传播：得到预测值与真实值的差距
第二步：反向传播：通过梯度下降法，更新参数：权重weight和偏差bias
第三步：再次正向传播使用更新后的参数，继续前传，再次得到预测值与真实值的差距
第四步：再次反向传播通过梯度下降法，更新参数：权重weight和偏差bias
**········：**通过反复来回迭代使得预测值与真实值达到最小化，也得到最终参数值。
将输出使用softmax函数进行标准化处理，加和为一。

4、传播过程涉及到的基础知识

1、误差（损失）函数：衡量预测值与真实值的差距
第一种：均方差函数：
第二种：交叉熵损失函数：

2、输出层激活函数
softmax:进行输出的标准化处理。
使用位置：预测值到输出值的一对一映射。

映射例子图：

3、梯度下降法：使使误差（损失）函数最小化的算法

说明： 给定一组函数参数，梯度下降从一组初始参数值（一开始随便设的）开始，迭代移向一组使损失函数最小化的参数值。这种迭代最小化是使用微积分实现的，在梯度的负方向上采取渐变更改。随着模型迭代，损失函数逐渐收敛到最小值。

计算偏微分
**说明：**因为是一组参数由权重和偏差，所以是偏微分。
**目的：**寻找函数值最快减小的参数组合
补充：
某点斜率（某点偏微分）的正、负值指明往哪个方向调整，大、小值指明调整幅度；
某点斜率（某点偏微分）越小说明越靠近理想点，越大调整也越大。

中央差分：计算偏微分的一种代替方式

目的： 解决H取值对结果的影响问题，可以使得偏微分更贴近需求（就是计算更加精确罢了）。
两者比较：

def func (x):
    return x**2
def dfunc  (f,x):
    h=1e-4#定义一个极其微小的时刻
    return (f(x+h)-f(x-h))/(2*h) 
dfunc(func,3)
#偏微分方法：6.000100000012054
#差分法：6.000000000012662

** 4、学习率问题**

说明：乘上一个学习率，使其慢慢到达最小值，必须由实验得知，学习前通常设为：0.01或0.1等
注意：挑选合适学习率是关键因素之一
注解：是误差（损失）函数对参数的偏微分

（四）缺点：不能解决异或门问题

解决方法：通过组合多层感知机，来进行XOR问题输入输出控制。

五、补充

1、W的表示：W行代表隐藏层节点数（输出个数），列数代表输入层的X维度（输入个数）

2、最基本和最常用的模型
每个神经元都有最基本的两操作：
1、对输入进行聚合；2、对聚合进行激活。

得出所有训练样本的预测值：
横向从左到右扫过训练集
纵向从上到下扫过每个节点