神经网络基础

目录

前言

神经网络是什么

它的能力极限

如何逼近真理

总结

前言

在前面学习了卷积和感知机后，本周展开对神经网络的学习。（昨天周日本该上传的，五一搞忘了，今天来发哈哈。大家五一快乐！）

神经网络是什么

下图就是一个最简单的神经网络，对它输入一张猫的图片，最后神经网络会给这张图片上的东西做出判断，表明这图片上的是一只猫。

同样的不需要输入图片，将猫的各种信息，比如耳朵大小、毛的长度、胡子长短、脸部形状等等，最后神经网络通过这些信息，判断出这些信息是属于一只猫的。

 

黄色的圆是输入层，灰色的圆是隐藏层，也就是神经网络中的感知机部分，蓝色的圆是输出层，根据自身需要设置几个输出结点。在这种神经网络上每一个结点都和下一层的全部结点相连，这样的神经网络被称为全连接神经网络，数据的传递方向是单向的也叫前馈神经网络。

在卷积神经网络中，数据在经过卷积和池化之后将数据的维度给降低了。

 

循环神经网络：

 

神经网络优点：感知机解决不了的问题由神经网络可以解决，可以处理非二分问题。

它的能力极限

当神经网络对于一个有着200多万个像素点的图片怎么调整参数？

1. 梯度下降法 -> 随机梯度下降法

2. 卷积、池化降低维度

用感知机逼近任何一个统计模型 ，用傅里叶级数逼近任何一个波形。这二者原理非常相似。

普遍逼近定理：有一个隐藏层的神经网络，可以任意逼近一个连续函数。

感知机的两个部分：线性函数和激活函数。

线性函数：对某个类型里的标准模型的描述。

激活函数：判断的标准。

神经网络则是经历许多轮的描述加判断，即一堆的线性函数和加上一堆的激活函数。 即神经网络是通过一个个的线性函数和一个个的激活函数去一层层的逼近真相（比如这种图片上的是什么动物）

训练神经网络就是把偏差最小的模型给找出来。

如何逼近真理

输入图片只给了肯定侧的图片，比如没有给“不是猫”的照片，如何加逼出分界线？

答：将激活函数变成sigmoid函数，将对错问题换成好坏问题

线性函数 -> 世界观； 激活函数 -> 价值观

在真实的世界中没有标准的猫，因此无法对神经网络输入标准猫的模型，因此我们可以假设一个猫神模型，世界上的任何一只猫都与猫神模型相似，在对神经网络输入的数据上打上标签，神经网络通过这些数据集找到偏差最小的模型，即于猫神模型最接近。

在神经网络中如果没有激活函数，隐藏层就没有意义，仍然只是线性的叠加。

在模拟的神经网络中，以下几种激活函数让输出有不同的呈现：

ReLU：变化陡峭，可能无上限

Sigmoid：输出分不同层次，且层次之间渐进变化

0-1阶跃：只能二分

总结

神经网络可以逼近任何一种统计模型，因此机器学习又被叫做统计学习。

最优策略无法被规约，即没有办法进行统一的方式表示出来，只能特事特例表达

演化产物，用激活函数判断

物理规则，不是演化，可以简单表示