机器学习之绪论

相关概念

1. 学习（训练）：从数据中学得模型的过程

2. 训练数据：训练过程中使用的数据

3. 训练样本：训练数据中每一个样本

4. 训练集：训练样本组成的集合

5. 假设：学得模型对应关于数据的某种潜在规律

6. 真相（真实）：潜在规律自身

7. 测试：使用学习后的模型进行预测的过程

8. 测试样本：被预测的样本

9. 泛化能力：学得模型适用于新样本的能力

10. 归纳与演绎是科学推理的两大基本手段

11. 归纳：从特殊到一般的“泛化”过程，从具体的事实归结出一般性规律

12. 演绎：从一般到特殊的“特化”过程，从基础原理推演出具体情况

13. 广义的归纳学习：从样例中学习

14. 狭义的归纳学习（概念学习、概念形成）：从训练数据中学得概念

15. 版本空间：一个与训练集一致的“假设集合”

16. 归纳偏好（偏好）：机器学习在学习过程中对某种类型假设的偏好

17. 奥卡姆剃刀：若有多个假设与观察一致，则选最简单的那个

18. NFL定理：所有“问题”出现的机会相同或所有问题同等重要，则它们的期望性相同，无关学习算法

发展历程

推理期

    “逻辑理论家”程序，“通用问题求解”程序

知识期

    大量专家系统问世

蓬勃期

    第一届机器学习研讨会，相关期刊和书本的出版，机器学习成为一个独立的学科领域，各种机器学习技术百花初绽

分类

分类一

• 从样例中学习

• 在问题求解和规划中学习

• 通过观察和发现学习

• 从指令中学习

分类二

• 机械学习

• 示教学习

• 类比学习

• 归纳学习

从样例中学习

• 符号主义学习（决策树和基于逻辑的学习）

• 基于神经网络的连接主义学习（BP）

• 统计学习（SVM和核方法）

• 深度学习（多层神经网络）