Mila、渥太华大学 | 用SE(3)不变去噪距离匹配进行分子几何预训练

【标题】Molecular Geometry Pretraining with SE(3)-Invariant Denoising Distance Matching

【作者团队】Shengchao Liu, Hongyu Guo, Jian Tang

【发表时间】2021/06/27

【机 构】Mila、渥太华大学

【论文链接】https://arxiv.org/pdf/2206.13602v1.pdf

【代码链接】https://github.com/chao1224/SE3DDM

由于标记的分子数量有限，预训练分子表征在药物和材料发现的各种应用中至关重要，但现有的工作大多集中在二维分子图的预训练上。然而，对三维几何结构进行预训练的能力却没有得到很好的探索，这是因为很难找到一个足够的自监督预训练任务，以有效地从几何结构中提取基本特征。在三维分子动态性质的激励下，分子在三维欧几里得空间的连续运动形成了一个平滑的势能表面，本文提出了一个三维坐标去噪预训练框架来模拟这样一个能量景观。利用SE(3)不变分数匹配方法，本文提出SE(3)-DDM，其中坐标去噪任务被有效地归结为分子中成对原子距离的去噪。综合实验证实了本文提出的方法的有效性和稳健性。

上图展示了关于分子的坐标几何。分子处于连续运动中，形成一个势能表面（PES，Potential Energy Surface），其中每个三维坐标（x轴）对应一个能量值（y轴）。所提供的分子，即构象体，处于局部最小值（g1）。它往往伴随着最小值周围的噪音（如统计和系统误差或振动），这可以用扰动的几何体（g2）来捕获。

上图展示了SE(3)不变去噪距离匹配（SE(3)-DDM）。g1和g2在同一个局部最小值附近，但有坐标噪声扰动。最初，作者想在这两个状态之间做坐标去噪。然后按照SE(3)-DDM的建议，本文将其转化为一个等价的问题，即距离去噪。该图显示了三个关键步骤：从两个几何视图中提取距离，然后进行距离扰动，最后对扰动后的距离进行去噪。

上表显示了QM9的结果。可以看到，大多数被测试的预训练基线的表现与随机初始化基线（-）相当，甚至比它更差。表现最好的基线是表示重建方法（RR），它优化了坐标感知的MI；它在QM9的12个任务中的5个任务和MD17的8个任务中的6个任务中表现优于其他基线。这意味着应用生成性SSL来最大化这个坐标感知的MI是有潜力的。本文提出的SE(3)-DDM在QM9和MD17的所有20个任务上都取得了持续改进的性能。所有这些观察都从经验上验证了距离去噪的有效性，它模拟了分子几何数据中最有决定性的因素。

 

创新点

(1) 本文提出了一种新的分子几何预训练的坐标去噪方法，就本文所知，这是第一个只利用三维分子数据进行预训练的方法。

(2) 为了克服实现坐标去噪目标的挑战，本文引入了SE(3)不变量分数匹配策略，成功地将这种目标转化为可以有效计算的成对原子距离的去噪。

(3) 本文从经验上证实了本文提出的SE(3)-DDM方法的有效性和稳健性。