导数、微分、偏导数、全微分、方向导数、梯度的定义与关系

学习到机器学习线性回归和逻辑回归时遇到了梯度下降算法，然后顺着扯出了一堆高数的相关概念理论：导数、偏导数、全微分、方向导数、梯度，重新回顾它们之间的一些关系，从网上和教材中摘录相关知识点。

• 通过函数的极限定义出导数(以一元函数为例)

• 函数f(x)在点x0可微的充分必要条件是函数f(x)在点x0处可导

• 扩展到多元函数时，衍生出偏导数

导数

定义：设函数

在点

的某个领域内有定义，如果

在当

->0时极限存在，则称函数

在

处可导，这个极限是函数

在

处的导数

根据导数的定义，从某种意义上说导数的本质是一种极限

导数与导函数的关系是局部与整体的关系，导数通常是指一点，导函数则是指一个区间上的

• 在直线运动场景中，若x表示时刻，y表示距离，函数f表示时间与距离的关系
  
  
  ,那么导数的含义就是在
  
  
  时刻的瞬时速度

• 在直角坐标系中，
  
  
  表示一个曲线，导数的含义表示的是曲线在点
  
  
  处的切线的斜率

微分

定义：设函数

在某个领域内有定义，

及

在这区间内，如果增量

可表示为

其中A是不依赖

的常数，

是指

趋于0时的高阶无穷小，那么称函数

在点

是

可微

的，而

叫做函数在点

相应于自变量增量

的

微分

，记作

，记作

高阶无穷小的定义：如果

，就说

是比

高阶的无穷小，记作

微分与导数的关系

上式

两边同时除以

得到

当

时,上式左边就是导数的定义，而右边的

因为是高阶无穷小，所以会趋向于0，得到以下等式：

因此，如果函数

在点

可微，则

在点

也一定可导，且

，反之，如果

在点

可导，存在下式

根据极限与无穷小的关系转化上式，当

时

其中

，即

,

，上式转化为下式(又回到了微分的定义)

因此，

函数

在点

可微的充分必要条件是函数

在点

可导

$

$

偏导数

一元函数的变化率是导数，多元函数的自变量有多个，当某个自变量x变化而其它自变量固定时，这时候对变化的自变量x进行求导，就称为多元函数对于x的偏导数。定义：设函数

在点

的某一领域内有定义，当

固定于

，而

在

处有增量

，相应的函数有增量

如果

存在，则称该极限为

在点

处对

的偏导数

偏导数的几何意义

• 偏导数
  
  
  就是曲面被平面
  
  
  所截得的曲线在点
  
  
  处的切线
  
  
  对
  
  
  轴的斜率

• 偏导数
  
  
  就是曲面被平面
  
  
  所截得的曲线在点
  
  
  处的切线
  
  
  对
  
  
  轴的斜率

很多时候要考虑多元函数沿任意方向的变化率，那么就引出了方向导数

全微分

参考上文微分的定义，与一元函数的情形一样，希望用自变量增量

来线性函数来代替函数的全增量

，从而减化计算定义：设函数

在点

的某领域内有定义如果函数在点

的全增量

可心表示为

其中

不依赖于

，

，则称函数

在点

处

可微分

，而

称为函数在点

的

全微分

$

$

可微分与偏导数关系

基于上述全微分定义成立，存在某一点

对于式子

也成立，当

时

两边除以

并且令

取极限

这式子就是偏导数的定义形式啊，所以这说明了偏导数

存在且等于

，同理也可证

，由此推导出以下公式

各偏导数的存在只是全微分存在的必要条件而非充分条件，即由全微分可证各偏导数存在，反之则不行

如果函数的各个偏数在点

是连续的，则函数可微分

方向导数

定义导数、偏导数、方向导数都是说如果说某条件下极限存在，谨记

导数的本质是极限及代表函数的变化率

，偏导数反映的是函数沿坐标轴方向的变化率，有所限制，所以引入方向导数表示沿任意一方向的变化率定义：设

是

平面以

为始点的一条射线，

是以射线同方向的单位向量

射线

的参数方程为

如果函数增量

与

到

的距离

的比值，当点

沿着

趋于

时

极限存在

，则称此极限为函数在点

沿方向

的方向导数$$\frac{\partial f}{\partial l}|

{(x_0,y_0)}=\lim \limits

{t \to 0^+}\frac{f(x_0+tcos\alpha,y_0+tcos\beta)-f(x_0,y_0)}{t}$$

方向导数与全微分的关系

由全微分的定义得到

设点

在以

为起点的射线

上，则有

,

,

，所以

上式左侧就是方向导数定义形式，极限存在即方向导数存在，且其值等于右式

由此得到定理，如果函数

在点

可微分，那么函数在该点沿任一方向

的方向导数存在

$

$

梯度

在平面上确定某一点可能存在无数个方向导数，我们怎样找到其中一个方向导数来描述函数最大变化率？定义：在二元函数的情形， 设函数

在平面区域D内具有一阶连续偏导数，对于每一点

，都可以给出一个向量

其中

为

轴的方向向量，上述微量称为函数

在点

的梯度记作

由定义看到，梯度的方向是确定的，如果点

的坐标确定，那么梯度也大小也确定

如果函数

在点

可微分，

是方向

的方向向量(方向未确定)

其中

为向量

与向量

的夹角，当

时，即方向

与梯度

的方向时，函数

增加最快，函数在这个方向的方向导数达到最大值，这个值就是梯度

的模，即

所以可以用沿梯度方向的方向导数来描述是函数最大变化率，即梯度方向是函数变化率最大的方向，在梯度定义的时候就已经赋予了它这个特性。