导数、偏导数以及梯度

导数

导数的概念和运用可以说是贯穿了我们自初中以来的所有数学知识。当自变量x和因变量y都是一维且定义域和值域都为实数域的情况下，因变量y导数的定义如下：

可以这么理解，对于某一点（自变量），当它改变dx的时候，对应的y（因变量）的改变量dy就可以根据导数f'(x)计算出来：dy = f'(x) * dx。

曲线上某点的导数 = 过该点切线的斜率。

需要澄清的一个概念是： 虽然导数有正有负，它仍然是一个标量

偏导数

偏导数则是在因变量为一元，自变量为多元的情况下，因变量关于各个自变量单独求导的导数。举一个例子，的因变量为z，自变量为x和y，z对x和y就可以分别求偏导数。

其实，导数在非严格意义上来说也就是一元的“偏导”，只对一个自变量求导数。

梯度

梯度主要是针对拥有多个自变量的函数来说的，表示的函数值增长最为迅猛的方向，可见梯度是一个矢量，是带有方向的。

在计算中，需要求函数的偏导，即对每一个自变量求导数，这样就是指示了函数在每一个自变量方向的变化。

这里需要特别说明下对于一元函数，导数和梯度的理解。

首先给出结论：当自变量是一元的时候，函数上某一点的导数值可以近似的理解为梯度，梯度的方向为导数值的符号方向，一定是和自变量的轴（也就是这里的x轴）平行的。

举个例子：一元函数的表达式为，则的导数表达式为，当x取值为1时，导数值为2，其符号为正，表示沿着x轴的正方向是函数值增加最快的方向，即梯度的方向就是x轴方向，大小为2；当x取值为-1时导数为-2，其符号为负，表示沿着x轴的反方向是函数值增加最快的方向，即梯度的方向就是x轴反方向，大小也为2。

这里之所以说导数近似为梯度是因为，导数是一个标量，而梯度是一个矢量，这里再解释的过程中，我们将导数值的正负号作为梯度的指示方向了。