【转】最小描述长度准则MDL(Minimun Description Length)

原文链接：https://blog.csdn.net/qq_24102363/article/details/72517106

一、MDL提出的目的

提出最小描述长度(MDL)的目的：为了根据信息论中的基本概念来解释极大后验假设(MAP)。

问题来了，什么是极大后验假设(MAP)？

二、理论基础

1. 极大后验假设（MAP）
2. 贝叶斯公式$P(h|D)=\frac{P(D|h)P(h)}{P(D)}$

在许多学习场景中，学习器考虑候选假设集合H并在其中寻找给定数据 D 时，可能性最大的假设 h（或者存在多个这样的假设时选择其中之一）。这样的具有最大可能性的假设h被称为极大后验(maximum a posteriori, MAP)假设。

h满足一下公式：

参考链接：
[1] 最小描述长度准则—Minimum Description Length 2017.5