机器学习总结（二）

独立同分布的意义

在机器学习中很重要的一点：误差是独立同分布的，并且服从均值为0，方差为${\ominus }^2$ 的高斯分布。
解释一下：
什么是独立？
就是数据样本之间互相独立（互相不影响），例如：张三来银行贷款，他贷款多少并不影响李四的贷款金额和情况。两个数据是相互独立的。
什么是同分布？
样本数据得满足相同的分布。不能是这个数据满足正太分布，这个数据满足泊松分布。例如：咋们研究的是，根据年龄和月薪，预测能贷款的数额。那咋们就得保证这些数据（年龄、月薪、贷款数额）是来自同一家银行。
什么是高斯分布？
高斯分布也叫正太分布，如上图所示。数值大概率是集中在均值附近，两侧数值的概率很小。
下面是百度百科的解释！！！
若随机变量X服从一个数学期望为μ、方差为${\sigma }^2$的正态分布，记为N(μ，${\sigma }^2$)。其概率密度函数为正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度。当μ = 0,σ = 1时的正态分布是标准正态分布。

在我们生活中产生和收集到的数据，不可能完全满足误差是独立同分布的，并且服从均值为0，方差为${\ominus }^2$ 的高斯分布。

误差项的转化

将式（1）带入式（2）得


式子两边同时取log,不会改变求解的$\ominus$，但是可以将问题简化（从乘法变成加法）！！！

---

未完待续