【LDA】EM变分推理 粗略版笔记【待完善

大佬说的很详细了 :csdn_机器学习之潜在狄利克雷分配(LDA)变分EM算法及python实现

简单概括一下：
思想：（原文摘录：）
假设模型是联合概率分布p(x,z)，其中 观测变量x ， 隐变量 z ，包括参数。
目标是学习模型的后验概率 p ( z ∣ x )。[tip:已知x，求隐变量z]
但是这个分布复杂无法直接求解，所以考虑用概率分布 q ( z ) 来近似条件概率分布 p ( z ∣ x ),
之后用KL散度KL(q(z)||p(z|x)) 计算两者之间的相似度，q(z)称为变分分布。

KL散度的形式：
因为KL散度大于0，得到下面的式子

所以不等号左边叫：证据 evidence
不等号右边叫： 证据下界 ELBO

这里左边logp(x)是定值，当右边越大，散度越小，两者越相似，（ q ( z ) 和p(z∣x)的分布越接近），因此要让证据下界最大化。

然后要计算证据下界 ELBO（q），得需要写出联合概率密度 p(x，z)和 q ( z ),然后求log，然后求期望。

**但是后面lda的部分没看懂