【LDA】基础知识笔记——主要是AE、VAE

贝叶斯相关

似然函数

似然函数（likelihood）：p(data| $\theta$)
在参数值确定条件下，当前实验数据出现的概率。

后验分布

后验分布：p($\theta$|data)

先验分布

先验分布 p($\theta$)
比如抛硬币的时候，先验分布应该是一个抛物线，在theta为0.5的时候最大。（意味着theta为0.5是最有可能的隐变量分布情况）

贝叶斯公式：

p($\theta$ | data)= [p(data| $\theta$)*p($\theta$)] / p(data)

AE 自编码器

参考链接 csdn_自编码器(Auto-Encoder)

这样理解：
encoder: x->z
decoder:z->x’
loss=d(x,x’) d表示距离（欧式等）
AE=encoder+decoder

VAE 变分自编码器

Auto-Encoding Variational Bayes（VAE）
参考链接 csdn

“而VAE仅仅多做了一个动作，即在编码器输入得到latent space 时， 通过对他进行加入噪声，使得解码器能够“接受”稍有不用的latent space， 从而能够生成更加合理的生成样本。”

参考csdn_自编码器(Auto-Encoder)

变分自编码器(Variational AutoEncoders，VAE)：
给定隐藏变量的 （先验）分布P(𝒛) ， 如果可以学习到条件概率分布P(𝒙|𝒛)， 则通过对 联合概率分布P(𝒙, 𝒛) = P(𝒙|𝒛)P(𝒛) 进行采样， 生成不同的样本。

VAE 模型对隐变量𝒛的分布有显式地约束，希望隐变量𝒛符合预设的先验分布P(𝒛)。在损失函数的设计上，除了原有的重建误差项外，还添加了隐变量𝒛分布的约束项