【Pytorch】如何在关闭batch-norm的同时保持Dropout的开启

这是我在复现剑桥大学论文遇到的一个问题：

Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning

我使用ResNet网络+Dropout，但是batch-norm会影响评估时的输出结果，如果直接开始eval()会同时关闭Dropout，但是上述论文的核心思想就是：高斯过程+变分推断可以得到与NN+dropout相同的损失函数，在传统的神经网络中添加dropout之后，由于每个输入和每次前向传播dropout选择激活哪个神经元都是随机的，即使是相同的输入样本，得到的输出也有可能不一样，多次输入同一个样本，输出围绕均值上下浮动的程度就可以看成是模型的一种不确定性。

方法：

for m in model.modules():
  if isinstance(m, nn.BatchNorm2d):
    m.eval()