12.神经网络模型

主要内容：

1. 神经网络被引入的原因
2. 神经网络模型介绍
3. 神经网络的计算向量化
4. 神经网络与逻辑回归算法的关系

一、神经网络被引入的原因

• 无论是线性回归还是逻辑回归都有这样一个缺点，即：当特征太多时，计算的负荷会非常大.
• 大多数的机器学习所涉及到的特征非常多，对于非线性分类问题，往往需要构造多项式来表示数据之间的关系，普通的逻辑回归模型，不能有效地处理这么多的特征，这时候我们需要神经网络

二、神经网络模型介绍

2.1 单个神经元的模型

• 在神经网络中，图中的黄色小圈圈被称为带有 sigmoid 或者 logistic 激活函数的 人工神经元
• x_0 节点，被称作偏置单元或偏置神经元 ，x_0 总是 =1，可以划出也可以不画，主要是取决于再具体例子中怎样更方便
• 激活函数在神经网络中的另一术语就是指代非线性函数g(z)
• θ参数在神经网络里称之为模型的权重

2.2 神经网络模型

• 神经网络就是一组神经元，连接在一起的集合

  

  神经网络三层:

  • 第一层输入层——输入特征x_1,x_2…
  • 第二层隐藏层——在训练集看不到,其值不是x也不是y ,可能不止一个隐藏层，任何非输入层和非输出层都称之为隐藏层
  • 第三次输出层——输出假设的最终计算结果 h_θ(x)

• 神经网络模型的计算方法：

  

  • 激活项： 指由一个具体神经元计算并输出的值

  • θ^(j): 权重矩阵，控制从第j层到 j+1层的映射

    例如图中：θ^(1) 控制着从三个输入单元到三个隐藏单元的映射的参数矩阵，是一个 3 x 4 的矩阵

  • 若一个神经网络在第 j 层有s_j 个单元，在 j+1 层有 s_j +1 个单元，那么θ^(j) 即控制着第 j 层 到 j+1层映射，θ^(j) 为一个 s_（j+1） X （s_j + 1） 的矩阵

• 神经网络的假设函数数学上的定义：

  神经网络定义了函数 h_θ(x)从输入 x 到输出 y 的映射，这些假设函数被参数化，参数被记为θ，这样只要改变 θ，就能得到不同的假设函数

三、神经网络的计算向量化

• 为了方便表示和计算，在输入层的输入x ,可以把其看成第一层的激活值，也即 a^(1) = x
• 把从某个特定的神经元的输入 x_1,x_2,x_3的加权线性组合另其为 z
• a_0^(2) ——称为偏置单元 ，等于1

四、神经网络与逻辑回归算法的关系

• 在神经网络中，其实后面部分就是一个逻辑回归算法
• 但神经网络它不是直接使用原本的 x_1,x_2, … x_n 作为输入特征，而是用学习到函数输入值的 a1,a2,…an 作为输入特征
  但神经网络它不是直接使用原本的 x_1,x_2, … x_n 作为输入特征，而是用学习到函数输入值的 a1,a2,…an 作为输入特征
• 神经网络没有用输入特征x_1,x_2, … x_n来训练逻辑回归，而是使用学习到的 a1,a2,…an来自己训练逻辑模型，从而得到复杂多样的非线性假设函数

如果觉得文章不错的话，可以给我点赞收藏鼓励一下我啦
关注我，我们一起学习，一起进步！！！