当前位置:网站首页>贝叶斯定律
贝叶斯定律
2022-07-07 04:45:00 【Steven迪文】
1.概率理论
先复习一些概率理论。
联合概率:事件 A 和事件 B 同时发生的概率;也叫做乘积法则。
P ( A , B ) = P ( A ∩ B ) = P ( A ∣ B ) P ( B ) = P ( B ∣ A ) P ( A ) P(A,B) = P(A \cap B) = P(A|B)P(B) = P(B|A)P(A) P(A,B)=P(A∩B)=P(A∣B)P(B)=P(B∣A)P(A)
求和规则:事件 A 和 事件 B不同时发生的概率。
P ( A ∪ B ) = P ( A ) + P ( B ) − P ( A ∩ B ) P(A \cup B) = P(A) + P(B)-P(A\cap B) P(A∪B)=P(A)+P(B)−P(A∩B)
如果 A 和 B 是互相排斥的:
P ( A ∪ B ) = P ( A ) + P ( B ) P(A \cup B) = P(A) + P(B) P(A∪B)=P(A)+P(B)
全概率:假如事件 A 的发生可能由多种可能的 事件B 导致。
P ( A ) = ∑ i n P ( A ∣ B i ) P ( B i ) P(A) = \sum_{i} ^nP(A|B_{i})P(B_{i}) P(A)=i∑nP(A∣Bi)P(Bi)
条件概率:给定事件 B 事件 A 发生的概率。
P ( A ∣ B ) = P ( A , B ) P ( B ) P(A|B)=\frac{P(A,B)}{P(B)} P(A∣B)=P(B)P(A,B)
2. 贝叶斯定律
在机器学习中,给定观测的训练数据 B,我们经常感兴趣于求最佳假设空间 A。
最佳的假设空间就是最可能的假设空间,也就是给定训练数据 B,把各种训练数据 B 在假设空间 A 中的先验概率相加。
根据以上定义,求假设空间 A 的概率如下:
P ( A ) = ∑ n P ( A ∣ B i ) P ( B i ) P(A) = \sum_{n} P(A|B_{i})P(B_{i}) P(A)=n∑P(A∣Bi)P(Bi)
是不是很熟悉?
这其实就是全概率公式,事件 A 的发生可能由数据 B 1 B_1 B1, B 2 B_2 B2… … B n B_n Bn
多种原因导致。
对于给定训练数据 B, 求假设空间 A 的概率,贝叶斯定理提供了一个更直接的方法。
贝叶斯定律使用:
- 假设空间 A 的先验概率 P ( A ) P(A) P(A)
- 以及观测数据的先验概率概率 P ( B ) P(B) P(B)
- 给定假设空间 A,观测数据 B 的概率 P ( B ∣ A ) P(B|A) P(B∣A)
求给定观测数据 B,求假设空间 A 的概率 P ( A ∣ B ) P(A|B) P(A∣B),也称作后验概率,因为它反映了给定数据 B,对假设空间 A 概率的影响。
与先验概率相反, P(A) 与 B 是独立的。
贝叶斯公式:
P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( B ) P(A|B)=\frac{P(B|A)P(A)}{P(B)} P(A∣B)=P(B)P(B∣A)P(A)
贝叶斯公式的推导也很简单,结合第一部分我们提到的条件概率和联合概率便可求出。
条件概率:
P ( A ∣ B ) = P ( A , B ) P ( B ) P(A|B)=\frac{P(A,B)}{P(B)} P(A∣B)=P(B)P(A,B)
联合概率:
P ( A , B ) = P ( B ∣ A ) P ( A ) {P(A,B)} = P(B|A)P(A) P(A,B)=P(B∣A)P(A)
3. 最大后验概率 MAP
有时,给定数据B,想要求假设空间 A 中的最可能的假设称为最大后验概率 MAP(Maximum a Posteriori)。
A M A P = a r g m a x P ( A ∣ B ) A_{MAP} = argmax P(A|B) AMAP=argmaxP(A∣B)
也就是求:
= a r g m a x P ( B ∣ A ) P ( A ) P ( B ) = argmax \frac{P(B|A)P(A)}{P(B)} =argmaxP(B)P(B∣A)P(A)
去掉 P ( B ) P(B) P(B)是因为其与假设 A 是独立的。
= a r g m a x P ( B ∣ A ) P ( A ) = argmax P(B|A)P(A) =argmaxP(B∣A)P(A)
边栏推荐
- Rust versus go (which is my preferred language?)
- Thinkcmf6.0安装教程
- Paddlepaddle 29 dynamically modify the network structure without model definition code (relu changes to prelu, conv2d changes to conv3d, 2D semantic segmentation model changes to 3D semantic segmentat
- leanote私有云笔记搭建
- 2022 recurrent training question bank and answers of refrigeration and air conditioning equipment operation
- Binary tree and heap building in C language
- dash plotly
- Technology cloud report: from robot to Cobot, human-computer integration is creating an era
- 探索干货篇!Apifox 建设思路
- Pytest + allure + Jenkins Environment - - achèvement du remplissage de la fosse
猜你喜欢
探索Cassandra的去中心化分布式架构
Numbers that appear only once
2022 simulated examination question bank and online simulated examination of tea master (primary) examination questions
【p2p】本地抓包
Ansible
Thinkcmf6.0 installation tutorial
PHP exports millions of data
快速使用 Jacoco 代码覆盖率统计
Who has docker to install MySQL locally?
[experience sharing] how to expand the cloud service icon for Visio
随机推荐
Mysql高低版本切换需要修改的配置5-8(此处以aicode为例)
Force buckle 145 Binary Tree Postorder Traversal
C语言队列
CTF daily question day43 rsa5
[UVM practice] Chapter 1: configuring the UVM environment (taking VCs as an example), run through the examples in the book
有 Docker 谁还在自己本地安装 Mysql ?
Linux server development, MySQL transaction principle analysis
C语言航班订票系统
Common method signatures and meanings of Iterable, collection and list
解决问题:Unable to connect to Redis
Button wizard script learning - about tmall grabbing red envelopes
LeetCode 40:组合总和 II
Linux server development, MySQL index principle and optimization
Linux server development, SQL statements, indexes, views, stored procedures, triggers
Visualization Document Feb 12 16:42
Jenkins remote build project timeout problem
B. Value sequence thinking
【p2p】本地抓包
numpy中dot函数使用与解析
Figure out the working principle of gpt3