机器学习——交叉验证法

与留出法相似，将数据集D划分为k:个子集同样存在多种划分方式.为减小因样本划分不同而引入的差别，k折交叉验证通常要随机使用不同的划分重复p次,最终的评估结果是这p次k折交叉验证结果的均值,例如常见的有“10次10折交叉验证”。

假定数据集D中包含m个样本,若令k= m，则得到了交叉验证法的一个特例:留一法(Leave One-Out,简称LOO).显然,留一法不受随机样本划分。方式的影响，因为m个样本只有唯一的方式划分为m个子集一每个子集包含一个样本;留一法使用的训练集与初始数据集相比只少了一个样本，这就使得
在绝大多数情况下，留一法中被实际评估的模型与期望评估的用D训练出的模型很相似.因此,留-法的评估结果往往被认为比较准确.然而，留一法也有其缺陷:在数据集比较大时，训练m个模型的计算开销可能是难以忍受的(例如数据集包含1百万个样本，则需训练1百万个模型),而这还是在未考虑算法调参的情况下.另外,留- -法的估计结果也未必永远比其他评估方法准确;“没有免费的午餐”定理对实验评估方法同样适用。