Machine Learning Overview

1. 机器学习概述

1.1 人工智能概述

1.1.1 人工智能发展必备三要素

• 数据

• 算法

• 计算力

  • CPU

    • 主要适合于I\O密集型的任务

  • GPU

    • Mainly suitable for computationally intensive tasks

    • 什么类型的程序适合在GPU上运行

      • 计算密集型的程序
      • 易于并行的程序

  • TPU

1.1.2 人工智能、机器学习和深度学习

• 

• 关系

  • 机器学习是人工智能的一个实现途径
  • 深度学习是机器学习的一个方法发展而来的

1.2 人工智能发展历程

1.2.1 人工智能的起源

• 图灵测试
• 达特茅斯会议
• 1956 年 → 人工智能元年

1.2.2 发展历程

• start-up development period：1956年 - 20世纪60年代初
• Reflect on the developmental period：20世纪60年代初 - 70年代中
• Application development period：20世纪70年代初 - 80年代中
• Downturn development period：20世纪80年代中 - 90年代中
• 稳步发展期：20世纪90年代中 - 2010年
• 蓬勃发展期：2011年至今

1.3 人工智能主要分支

1.3.1 Three key capabilities of modern AI

• 通讯
• 感知
• 行动

1.3.2 主要分支

• 计算机视觉 CV

• 自然语言处理 NLP

  • 语音识别
  • 文本挖掘/分类
  • 机器翻译

• 机器人

1.4 机器学习工作流程

1.4.1 什么是机器学习

• 机器学习是从数据中自动分析获得模型,并利用模型对未知数据进行预测

1.4.2 工作流程

• 

• 1. 获取数据
• 2. 数据基本处理
  • 对数据进行缺失值、去除异常值等处理
• 3. 特征工程

  • 使用专业背景知识和技巧处理数据,使得特征能在机器学习算法上发挥更好的作用的过程

  • 会直接影响机器学习的效果

  • 为什么需要特征工程？

    • 吴恩达：数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已

  • 包含内容

    • 特征提取

      • 将任意数据（如文本或图像）转换为可用于机器学习的数字特征

    • 特征预处理

      • 通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程

        • 子主题 1

    • 特征降维

      • 在某些限定条件下,降低随机变量(特征)个数,得到一组“不相关”主变量的过程
• 4. 机器学习(模型训练)
  • 选择合适的算法对模型进行训练
• 5. 模型评估
  • 对训练好的模型进行评估

1.4.3 数据集介绍

• 一行数据 → 一个样本

• 一列数据 → 一个特征

• There may be a target value(标签值)

• 数据类型构成

  • 类型一：特征值 + 目标值(目标值是连续的和离散的)
  • 类型二：只有特征值,没有目标值

• 数据分割

  • 训练集

    • 用于训练、构建模型

  • 测试集

    • 在模型检验时使用,用于评估模型是否有效

  • 划分比例

    • 

1.5 机器学习算法分类

根据数据集组成不同

• 监督学习

  • 输入数据是由输入特征值和目标值所组成

  • 输出

    • 回归：The output is a continuous value
    • 分类：输出是有限个离散值

• 无监督学习

  • 输入数据是由输入特征值组成,没有目标值
  • 需要根据样本间的相似性对样本集进行类别划分.

• 半监督学习

  • 训练集同时包含有标记样本数据和未标记样本数据.

• 强化学习

  • 自动进行决策,并且可以做连续决策
  • 目标：获得最多的累计奖励

• 监督学习和强化学习的对比

  • 

• 小结

  • 

1.6 模型评估

1.6.1 按照数据集的目标值不同

• 分类模型评估

  • 准确率

    • The proportion of correctly predicted samples to the total number of samples

  • 精确率、召回率、F1-score、AUC指标等

• 回归模型评估

  • 均方根误差 RMSE

    • 

  • 相对平方误差（Relative Squared Error,RSE）、平均绝对误差（Mean Absolute Error,MAE)、相对绝对误差（Relative Absolute Error,RAE)

1.6.2 Evaluate performance → 拟合

• 过拟合

  • Learned too much
  • There are many features learned,Bad generalization

• 欠拟合

  • Learned too little
  • 模型学习的太过粗糙

1.7 Azure机器学习模型搭建实验

AML Azure Machine Learning

• Microsoft in its public cloudAzure上推出的基于Web使用的一项机器学习服务

1.7.1 Azure机器学习实验

• 实验目的：Predict the income of different people based on census data

• 数据集：adult.data.csv

• 

• 

1.7.2 Experience the machine learning process

1.8 深度学习简介

深度学习（Deep Learning）（也称为深度结构学习【Deep Structured Learning】、层次学习【Hierarchical Learning】或者是深度机器学习【Deep Machine Learning】）是一类算法集合,是机器学习的一个分支.

1.8.1 卷积网络之父

• Yann LeCun

1.8.2 source of development

• 神经网络

1.8.3 多层神经网络

• The first few layers are to identify simple content,The next few layers are to identify some complex content