微积分 / 自动求导

微积分

导数和微分

大概概念还是记得一点

以下式子等价：

一些定律：

偏导数

这个在高数下学过，还算有些印象

以下符号等价

 梯度

 其实很简单，就是函数对各自变量分别求一阶偏导组成

某点梯度的方向是函数在这个点变化速率最大的方向，如果想要函数最快增加，则沿着梯度方向移动；如果想要函数最快减小，则沿着梯度的反方向移动。

链式法则

比较简单

总结

这里需要调用matplotlib绘图，暂时略过了，把大概概念过了一遍

自动微分

深度学习框架通过自动计算导数，即自动微分（automatic differentiation）来加快求导。 实际中，根据我们设计的模型，系统会构建一个计算图（computational graph）， 来跟踪计算是哪些数据通过哪些操作组合起来产生输出。 自动微分使系统能够随后反向传播梯度。 这里，反向传播（backpropagate）意味着跟踪整个计算图，填充关于每个参数的偏导数。

黑体字不是很理解。。。什么叫反向传播梯度

看了看李沐的视频，有正向传播和反向传播两种，时间复杂度类似，但是反向传播空间复杂度为O(1)，原理我还是晕，先跳过原理，大概把用法过一遍吧。。。。有空再补原理

讲的不错的一个博客https://blog.csdn.net/raelum/article/details/124557195

设置一个tensor的 requires_grad为True 会保存该Tensor是否记录所有操作用于计算梯度，可直接在创建tensor时指定属性requires_grad = True，也可以使用函数x.requires_grad_(True)。

大概就是设置requires_grad为True，然后写出y与x的关系，再调用backward()反向传播，.grad访问算出的梯度。再算其他式子的话需要先清除梯度。

非标量变量的反向传播

这里没看懂。。。

大概是说对于矩阵先求和在求导

分离计算

 y.detach()使其不再是关于x*x的函数，而变成的一个常数，这里z对x求导结果便是u

python控制流梯度计算

def f(a):
    b = a * 2
    while b.norm() < 1000:
        b = b * 2
    if b.sum() > 0:
        c = b
    else:
        c = 100 * b
    return c
a = torch.randn(size=(), requires_grad=True)
d = f(a)
d.backward()
a.grad == d / a

结果为True

对于这个函数，它是一个分段线性的，f(x) = k * x，所谓分段线性， 就是x值不同时k不同，但我们仍然可以通过backward进行求导，d / a 结果便是k，即函数的导