哈工大2021机器学习期末考试题

一、说明参数正则化和参数后验之间的联系；并解释在机器学习模型参数估计中使用正则化的目的。

二、给出条件熵的定义。举一个本课程中应用该方法的例子，说明使用条件熵的好处，给出你的直观解释。

三、朴素贝叶斯的基本假设是什么，有什么好处。当假设满足时，朴素贝叶斯是否是最优分类器，说明原因。

四、k-means和GMM在EM估计过程中的相同和不同。各自有什么优缺点。写出GMM在E步的更新公式。M步求最大化期望的公式。

五、写出线性可分时SVM的目标函数和约束。其解的基本形式（数学公式）。为什么要使用对偶优化，有什么好处。

六、EM优化GMM时，协方差矩阵不可逆的原因。你有什么解决方法。

七、逻辑回归的分类器是不是线性分类器，请给出证明。

八、举出学过的知识中内积的三个例子，你对内积有什么理解。