数学建模——红酒品质分类

贝叶斯优化是一种基于概率模型下的超参数调优方式。通过不断地添加样本点来更新目标函数的后验分布，从而更好的调整当前参数。由于贝叶斯优化在低维度下迭代次数少，速度快，对非凸问题稳健，因此常用于对提升树的参数优化。贝叶斯优化包含高斯过程回归和贝叶斯开发探索两个过程。

高斯过程回归

相比于传统获取后验分布模型，高斯过程考虑到$y_N$与$y_{N+1}$的关系即：
$$\begin{array}{r}p\left(y_{N+1}\mid X_{N+1},y_N\right)\end{array}$$
高斯过程通过假设$Y$服从联合正态分布来考虑$y_N$和$y_{N+1}$之间的关系：
$$\begin{array}{r}\left[\begin{array}{c}{y}_1\\ y_2\\ \dots \\ y_n\end{array}\right]\sim N\left(0,\left[\begin{array}{c}k\left(x_1,x_1\right),k\left(x_1,x_2\right),\dots ,k\left(x_1,x_n\right)\\ k\left(x_2,x_1\right),k\left(x_2,x_2\right),\dots ,k\left(x_2,x_n\right)\\ \dots \\ k\left(x_n,x_1\right),k\left(x_n,x_2\right),\dots ,k\left(x_n,x_n\right)\end{array}\right]\right)\end{array}$$
其中协方差矩阵为核矩阵，仅与特征$x$有关。将$Y$服从高维高斯分布作为先验条件，根据训练集得到最优核矩阵，从而得到后验分布：
$$\begin{array}{r}p(y_{\ast }\mid \mathbf{y}\sim N\left(K_{\ast }{K}^{-1}\mathbf{y},K_{\ast \ast }-K_{\ast }{K}^{-1}{K}_{\ast }^T\right)\end{array}$$

贝叶斯优化

通过高斯过程回归对目标函数建模，得到其后验分布后，需要抽样进行样本计算，而贝叶斯优化很容易在局部最优解上不断采样，为了保证开发和探索之间的权衡。需要使用Acquisition Function寻求下一个$x$的函数。其中POI函数是一种主流的选择方式：
$\mathrm{POI}(X)=P\left(f(X)\ge f\left(X^{+}\right)+\xi \right)=\Phi \left(\frac{\mu (x)-f\left(X^{+}\right)-\xi }{\sigma (x)}\right)$
其中$f(X)$为$X$的目标函数值，$f(X^{+})$为当前目标函数最优值，$u\left(x\right),\sigma \left(x\right)$分别为高斯过程所得到的目标函数的均值和方差。贝叶斯优化即不断尝试新的$X$使得$POI(X)$最大