机器学习之视频学习【更新】

一、机器学习概述

1.什么是机器学习

机器学习是一个计算机程序，针对某个特定的任务，从经验中学习，并且越做越好。
针对机器学习最重要的内容：

• 数据：经验最终要转换为计算机能理解的数据，这样计算机才能从经验中学习。
• 模型：即算法。有了数据之后，可以设计一个模型，让数据作为输入来训练这个模型。经过训练的模型，最终就成了机器学习的核心，使得模型成为了能产生决策的中枢。

2.监督学习与无监督学习

(1)监督学习

监督学习(Supervised learning)通过大量已知的输入和输出相配对的数据，让计算机从中学习出规律，从而能针对一个新的输入做出合理的输出预测。

• 房价预测（回归问题）

如下图所示是房价预测的例子。正是监督学习的例子。

正如这个房价预测例子，监督学习即给算法提供一个数据集（其中包含正确答案），也就是说我们给它一个房价数据集，在这个数据集中的每个样本都对应有一个正确答案（即这个房子的实际卖价）。算法的目的则是给出更多的正确答案。

房价预测是一个回归问题(regression),因为房价是一个实数、连续值。

• 恶/良性癌症（分类问题）
  
  恶/良性癌症（即0/1）是一个分类问题，因为恶/良性（即0/1）是离散值。

(2)无监督学习

无监督学习(Unsupervised learning)通过学习大量的无标记的数据，去分析出数据本身的内在特点和结构。
无监督学习需要让算法自己从数据中发现一切。其中一个常见的算法为聚类算法：使用算法将新闻故事聚合在一起、市场细分等。

3.模型描述

线性回归模型

• 代价函数
  
  
  平方误差代价函数
  
  
  模型、参数、代价函数、目标（找到w、b的一个值使J（w,b）最小化）
  
  当b=0时
  通过简化模型，我们的目标是找到w的一个值使J（w）最小化
  当w=1时，计算出J（w）=0：
  当w=0.5时，计算出J（w）=0.58：
  
  取w的不同值，计算出J（w），画出如图示图形：
  
  当b!=0时
  
  房价预测
  

4.梯度下降算法

其中，a为学习率。如果学习率太小，那么大的下降是可行的，但会很慢。这将花费很长时间，因为你将会采取很小很小的步骤，在它接近最小值之前需要很多步骤。但是如果学习率太大，步子就会很大，很可能由于步子太大跳过最小值、永远达不到最小值。
如图示:

如果参数达到了局部最小值，那么进一步的分级将步骤降到完全没有。它不会改变过程，这正是因为它会使解保持在局部最小值。

当我们接近局部最小值时，分级下降会自动地采取更小的步骤，这是因为当我们接近局部最小值时，导数会自动地变小，这意味着步骤也会自动变小，即使a保持在某个固定的值。


推导: