神经网络入门

AI，机器学习，深度学习的关系

机器学习的流程

1. 数据获取
2. 特征工程
3. 建立模型
4. 评估与应用

机器学习与深度学习的区别

人工智能在机器学习中更偏向于人工，人工的选择数据，人工的选择特征，人工的选择算法，人工的得到数据，给人的感觉就是把数学公式实现出来罢了。而在深度学习中，把数据给到深度学习，它会自动找出什么样的参数，组合比较合适，给人以智能的感觉。解决了特征工程这一部分。
算法在深度学习中固然重要，但是最重要的还是特征的提取。
深度学习的应用特别广泛，涉及到方方面面，比如自动驾驶汽车，人脸识别，医学上比如检测癌细胞，检测细胞是否发生变异，基因的组合方式，蛋白质结构的预测等等！

神经网络的前世今生

公元2009年，国外有一位科学家李飞飞，专门做计算机视觉的，当时做计算机视觉的非常少，也没有智能检测，人脸识别。当时李飞飞就想这个专业比较冷门，因为做的人太少了，怎么样才能引起人们的共鸣呢？ 就想了一个问题，是因为没有共同的目标，没有共同的数据，所以大家交流比较麻烦，就想能不能创建一个数据集呢？经过6年，就号召了好多高校的科学家做一个公益事件，就是收集图像，标注图像。通常情况下玩的深度学习或者机器学习都是有监督问题，咱们要讲的神经网络也是有监督问题，比如要做人脸检测，首先肯定要告诉机器我真实的人脸在图片的什么位置，不要小看这件事，要把人脸一个一个点的用68个点标注下来，在把人脸狂起来。不是个简单的事。在89年她号召科学家一起做，做了一年完成一个数据集，叫IMAGENET，包含了22000个种类，1400万张图片，数据量非常庞大，几乎包含了所有能够想到的东西。咱们笔记本玩不了，至少要8个W起步的服务器。想玩怎么办，可以用比较小的数据集，比如CIFAR-10创建数据集之后又举办了一个比赛，在09，10，11年都没多少人参加，第一名和第十名的成绩仅差一点点，直到12年，出现了ALEX，用深度学习中的神经网络以超出第二名好几个百分点的成绩拿到了冠军，第二名的算法就是用的传统人工智能算法做的。至此，科学家发现神经网络在计算机视觉方面的突出效果，被人认可，飞速发展起来。直到2017，神经网络识别超过了人类的识别能力，这项比赛才退出舞台。
当然，数据规模比较小的时候深度学习和传统人工智能算法没有差别甚至都不用深度学习，数据量达到几十万之上时深度学习的优势就凸显出来了。

计算机视觉

图像在计算机中长什么样子呢？
一张图片被表示成三维数组的形式，每个像素的值从0到255

机器学习的常规套路

1. 收集数据并给定标签
2. 训练一个分类器
3. 测试，评估

线性函数（得分函数）

从输入到输出的映射

比如一只猫的图片（32323）经过 f（x，W）得到每个类别的得分，比如猫的得分，狗的得分，汽车的得分。
这里的 W 是权重参数的意思
b 代表偏置参数，起到微调作用。
如果把这只猫分细一点，这里一共有3702个像素点，每个像素点对结果的影响都不一样，有些起到促进的作用，有些起到抑制作用，所有这里引入了权重参数W，每个像素点的权重都不一样，所以3702个像素点对应3702个权重参数。

这里的W代表分了10个种类，每个种类有3072个权重，x代表一个图片，有30721个像素点。
b为101代表这10个值都要微调，注意：各自类别各自微调，这里一一列出来比较麻烦。

最终，多组权重参数构成了决策边界

损失函数

矩阵里的参数都是随机的。数据大的代表权重高，这里的参数把猫识别成狗了。肯定是不行的，但是这个参数有多差呢？肯定要给一个定义，由此引进了损失函数：


Sj代表其他类别，Syi代表正确类别，1代表自己的预期偏置指
Li越接近于0代表这组权重参数越好。