朴素贝叶斯

12. 朴素贝叶斯

12.1 简介

分类

• 

• 

12.2 概率基础

12.2.1 概率定义

• 一件事情发生的可能性
• P(X) : 取值在[0, 1]

12.2.2 联合概率

• 包含多个条件，且所有条件同时成立的概率
• 记作：P(A,B)

12.2.3 条件概率

• 事件A在另外一个事件B已经发生条件下的发生概率
• 记作：P(A|B)

12.2.4 相互独立

• 如果P(A, B) = P(A)P(B)，则称事件A与事件B相互独立

12.2.5 贝叶斯公式

• 

12.2.6 朴素贝叶斯

• 假定了特征与特征之间相互独立的贝叶斯公式

12.3 API

sklearn.naive_bayes.MultinomialNB(alpha = 1.0)

• 朴素贝叶斯分类
• alpha：拉普拉斯平滑系数

12.4 算法总结

12.4.1 优点

• 朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率
• 对缺失数据不太敏感，算法也比较简单，常用于文本分类
• 分类准确度高，速度快

12.4.2 缺点

• 由于使用了样本属性独立性的假设，所以如果特征属性有关联时其效果不好
• 需要计算先验概率，而先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳

12.4.3 NB原理

• 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法

  • 对于给定的待分类项xx，通过学习到的模型计算后验概率分布，
  • 即：在此项出现的条件下各个目标类别出现的概率，将后验概率最大的类作为xx所属的类别。

12.4.4 为什么朴素

• 在计算条件概率分布P(X=x∣Y=c_k)时，NB引入了一个很强的条件独立假设，即，当Y确定时，X的各个特征分量取值之间相互独立

12.4.5 为什么引入条件独立性假设

• 为了避免贝叶斯定理求解时面临的组合爆炸、样本稀疏问题

12.4.6 在估计条件概率P(X∣Y)时出现概率为0的情况怎么办

• 引入λ

  • 当λ=0时，就是普通的极大似然估计
  • 当λ=1时称为拉普拉斯平滑

12.4.7 朴素贝叶斯与LR的区别

• 一

  • 朴素贝叶斯是生成模型
  • LR是判别模型

• 二

  • 朴素贝叶斯是基于很强的条件独立假设（在已知分类Y的条件下，各个特征变量取值是相互独立的）
  • LR则对此没有要求

• 三

  • 朴素贝叶斯适用于数据集少的情景
  • LR适用于大规模数据集