Probability Density Reweight

Reweight 是通过将采样样本乘以 reweight 权重，从而将样本从原始密度 $P_0$ 转移至新密度 $P_1$ 的方法。
当从原始密度采样样本 $x$ 时，$x$ 的期望为
$$E_{x\sim P_0}[x]=\int P_0(x)xdx\approx \frac{1}{N}\sum _i{x}_i\text{\hspace{1em}(1)}$$

其中，$x_i$ 为采样点，$N$ 为采样个数。
我们的目的是将 $x\sim P_0$ 转换为 $x\sim P_1$，即求得 $x$ 在 $P_1$ 上的期望
$$\begin{gathered} E_{x\sim P_1}[x]\approx \frac{1}{N}\sum _{i}w(x_i)\cdot x_i \\ w(x_i)=P_1(x_i)/P_0(x_i)\text{\hspace{1em}(2)} \end{gathered}$$

其中，$w(x_i)$ 表示 reweight 权重，证明如下所示。
采样时将 $x_i$ 乘以 $w(x_i)$，根据式 1 可得
$$\frac{1}{N}\sum _i\frac{P_1(x_i)}{P_0(x_i)}{x}_i\approx \int P_0(x)\frac{P_1(x)}{P_0(x)}xdx=\int P_1(x)xdx=E_{x\sim P_1}[x]\text{\hspace{1em}(3)}$$

要注意，上述所说的概率密度为标准概率密度，即在定义域内积分为 1 。若 $P_0$ 和 $P_1$ 为非标准概率密度，需要
$$E_{x\sim P_0}[x]=\frac{1}{\int P_0(x)dx}\int P_0(x)xdx\approx \frac{1}{N}\sum _i{x}_i\text{\hspace{1em}(4)}$$

$x$ 在 $P_1$ 上的期望变为
$$E_{x\sim P_1}[x]\approx \frac{{\sum }_{i}w(x_i)\cdot x_i}{{\sum }_{i}w(x_i)}\text{\hspace{1em}(5)}$$

证明如下
$$\frac{1}{N}\sum _i\frac{P_1(x_i)}{P_0(x_i)}{x}_i\approx \frac{1}{\int P_0(x)dx}\int P_1(x)xdx=\frac{\int P_1(x)dx}{\int P_0(x)dx}{E}_{x\sim P_1}[x]\approx \sum _{i}w(x_i)E_{x\sim P_1}[x]$$