DeepMind | 通过去噪来进行分子性质预测的预训练

本文介绍的是牛津大学的Sheheryar Zaidi和DeepMind公司的Michael Schaarschmidt联合发表的文章《Pre-training via Denoising for Molecular Property Prediction》。从3D结构中预测分子性质的数据有限，这对神经网络的泛化造成了挑战。作者介绍了一种预训练技术，它利用平衡状态下3D分子结构的大型数据集来为下游任务学习有意义的表示。受最近噪声正则化的启发，作者的预训练目标是基于去噪的。依赖于去噪自动编码器和分数比配之间公认的联系，作者还表明目标对应于直接从平衡结构学习分子力场——其由高斯混合近似物理状态分布产生。实验表明，使用这个预训练目标可以大大改善多个基准测试的性能，在广泛使用的QM9数据集中达到了最先进水平。最后，作者分析了不同因素对预训练的影响，并提出了实用性的见解。

论文链接：

https://arxiv.org/abs/2206.00133

文章的贡献总结如下：

• 研究了一种简单有效的方法，通过在3D结构空间中的去噪来预训练，目的是改善从这类3D结构中的下游分子性质的预测。去噪目标被证明与学习一种特定力场有关。

• 实验表明通过去噪来预训练可以极大的改善在大小，任务性质和分子位置上都有所不同的具有多种挑战的任务数据集上的性能表现。这证明结构去噪成功地转移到分子性质预测上，特别是在广泛使用的QM9数据集的12个目标中的10个目标都创造了最先进的表现。图1说明了QM9其中一个目标的性能。

• 作者对常见的GNN架构进行了改进，特别地展现了如何将定制的激活转换器（TAT）应用到图网络模拟器中（GNS），这是对预训练的补充并且进一步提升了性能。

• 通过深入了解训练集大小、模型大小和结构、以及上下游数据集之间的关系，作者分析了预训练的好处。