Inductive bias的一些理解

Inductive bias

  归纳偏置在机器学习中是一种很微妙的概念：在机器学习中，很多算法会对一些问题做出假设，这些假设就称为归纳偏置。

• 归纳：从一些例子中寻找共性，泛化，形成一个比较通用的规则规程
• 偏置：我们对模型的偏好

因此，归纳偏置可以理解为，从现实生活中观察到的现象中归纳出的一定规则，然后对模型做一定的约束，从而可以起到“模型选择”的作用，即从假设空间中选择出更符合现实规则的模型。
归纳偏置在机器学习中几乎无处不见：

• 奥卡姆剃刀：如无必要,勿增实体
• KNN中假设特征空间中相邻样本倾向于属于同一类
• SVM分类器应该最大化类别边界距离

在深度学习中也是一样。以神经网络为例，各式各样的网络结构、组件、机制往往来源于归纳偏置。在CNN中，我们假设特征具有局部性的特性，即当我们把相邻的一些特征放在一起，会更容易得到解；在RNN中，我们假设每一时刻的计算依赖历史计算结果；还有注意力机制，也是基于人的直觉、生活经验归纳得到的规则。

CNN的inductive bias是locality和spatial invariance，即空间相近的grid elements有联系而远没有，和权重共享
RNN的inductive bias是sequentiality 和time invariance，即序列顺序上的timesteps有联系和时间变换的不变性

总结：

总之，inductive bias就是我们任务具有这些难度，而我们选择的模型恰好可以解决这些难点，因此解决这些难点的能力就是一个模型的inductive bias