softmax的近似之NCE详解

接触对比学习的时候，看到了NCE loss，怕这个博客消失，所以自己特意过来记录。

参考链接：softmax的近似之NCE详解 — carlos9310深度学习中与分类相关的问题都会涉及到softmax的计算。当目标类别较少时，直接用标准的softmax公式进行计算没问题，当目标类别特别多时，则需采用估算近似的方法简化softmax中归一化的计算。https://carlos9310.github.io/2019/10/15/Approximating-the-Softmax/#softmax-regression

GitHub - MachineCF/Pytorch-NCE: The Noise Contrastive Estimation for softmax output written in Pytorch

求通俗易懂解释下nce loss？ - 知乎

深度学习中与分类相关的问题都会涉及到softmax的计算。当目标类别较少时，直接用标准的softmax公式进行计算没问题，当目标类别特别多时，则需采用估算近似的方法简化softmax中归一化的计算。

以自然语言中的语言模型为例，从理论到实践详解基于采样的softmax的近似方法NCE。

理论回顾

逻辑回归和softmax回归是两个基础的分类模型，它们都属于线性模型。前者主要处理二分类问题，后者主要处理多分类问题。事实上softmax回归是逻辑回归的一般形式。

Logistic Regression

逻辑回归的模型(函数/假设)为：

Softmax Regression