【机器学习 03】拉格朗日乘子法

 

目录

1 与原点的最短距离

 2 等高线

3 拉格朗日乘子法 

​编辑4 拉格朗日乘子法 定义

5 多个约束条件

4 不等式约束下的极值

5 KTT条件

---

如何理解拉格朗日乘子法？在数学中的最优化问题中，拉格朗日乘子法（以数学家约瑟夫·拉格朗日命名）是一种寻找多元函数在其变量受到一个或多个条件的约束时的极值的方法。https://mp.weixin.qq.com/s/wpJ3db4fvqe_il6N3AQs4A

如何理解拉格朗日乘子法和KKT条件？本文会继续介绍拉格朗日乘子法的细节，以及对其进行适当的推广（也就是所谓的KKT条件）。https://mp.weixin.qq.com/s/SnHGG7ZEZ9SJapPmWhhHpQ 

1 与原点的最短距离

 现在我们想求其上的点与原点的最短距离：

 

 

 2 等高线

 

3 拉格朗日乘子法 

 

4 拉格朗日乘子法 定义

 

 

5 多个约束条件

 

 

4 不等式约束下的极值

直接看第二个链接

链接中 4.3 新增的条件 讲述 为什么在不等式约束下，上面第一个式子等于0。

目标函数和梯度下降函数的方向相反。

5 KTT条件