机器学习基本概念

1. 概率

1.1 边际概率

1.2 联合概率

1.3 条件概率

https://blog.csdn.net/qq_42902997/article/details/123384049

2. 样本(sample)、示例(instance)：

所研究对象的一个个体。相当于统计学中的实例(example，instance)。

3. 理解柯西序列与完备空间

https://blog.csdn.net/DanielDingshengli/article/details/80492175?spm=1001.2101.3001.6650.5&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-5-80492175-blog-102470627.pc_relevant_blogantidownloadv1&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-5-80492175-blog-102470627.pc_relevant_blogantidownloadv1&utm_relevant_index=9
完备空间的定义：

当空间中所有的柯西序列均收敛时，该空间是完备的。

可以这样理解，所有的柯西序列都收敛了，意味着整个空间都是无孔的，这也就意味着空间是没有遗漏任何其他元素的，因此空间是完备的。

4. 无监督学习

https://blog.csdn.net/weixin_40413961/article/details/114556424

5. mode collapse

“mode collapse”(模式坍塌)，指的是生成器产生的结果很单一，仅仅只是为了得到最低的判别器损失D_loss，却忽视了数据集的分布。

6. 方差

方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，预测结果数据的分布越散。

7. 流形学习

https://blog.csdn.net/weiwei935707936/article/details/109079083

8. log likelihood

https://blog.csdn.net/wydbyxr/article/details/83212703

9. 机器学习中的先验、后验和似然

10. KL Divergence

https://zhuanlan.zhihu.com/p/95687720

11. softmax

https://www.jianshu.com/p/695136c5647b

12. 正交初始化（orthogonal initialize）

正交初始化：

用以解决深度网络下的梯度消失、梯度爆炸问题，在RNN中经常使用的参数初始化方法。
https://blog.csdn.net/shenxiaolu1984/article/details/71508892

13. Inception score

Inception score就是将生成后的图片输入到通过真实图片预训练的分类模型中去衡量它与真实图像的分布的距离。

14. PSNR

PSNR（峰值信噪比，Peak Signal-to-Noise Ratio），用于衡量两张图像之间差异，例如压缩图像与原始图像，评估压缩图像质量；复原图像与ground truth，评估复原算法性能等。

15. SSIM

SSIM（结构相似性，Structural Similarity）基于人眼会提取图像中结构化信息的假设，比传统方式更符合人眼视觉感知。结构相似性，是一种衡量两幅图像相似度的指标。

16. ablation study（消融实验）

模型简化测试。

简单的来说就是
看看取消掉一些模块后性能有没有影响。
根据奥卡姆剃刀法则，简单和复杂的方法能达到一样的效果，那么简单的方法更可靠。
实际上ablation study就是为了研究模型中所提出的一些结构是否有效而设计的实验。
比如你提出了某某结构，但是要想确定这个结构是否有利于最终的效果，那就要将去掉该结构的网络与加上该结构的网络所得到的结果进行对比，这就是ablation study。
https://blog.csdn.net/PolarisRisingWar/article/details/123557940

17. 正则化

从使用正则化的目的角度：正则化是为了防止过拟合。
https://blog.csdn.net/qq_53199855/article/details/122417094