机器学习中的矩阵向量求导

向量对向量求导的链式法则

假设多个向量存在依赖关系，比如三个向量𝐱→𝐲→𝐳存在依赖关系，则我们有下面的链式求导法则：$$\frac{\partial \mathbf{z}}{\partial \mathbf{x}}=\frac{\partial \mathbf{z}}{\partial \mathbf{y}}\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$$　　　　
　　　　该法则也可以推广到更多的向量依赖关系。但是要注意的是要求所有有依赖关系的变量都是向量，如果有一个𝐘是矩阵，，比如是𝐱→𝐘→𝐳， 则上式并不成立。

从矩阵维度相容的角度也很容易理解上面的链式法则，假设𝐱,𝐲,𝐳分别是𝑚,𝑛.𝑝维向量，则求导结果$\frac{\partial \mathbf{z}}{\partial \mathbf{x}}$是一个𝑝×𝑚的雅克比矩阵，而右边$\frac{\partial \mathbf{z}}{\partial \mathbf{y}}$是一个𝑝×𝑛的雅克比矩阵，∂𝐲∂𝐱是一个𝑛×𝑚的矩阵，两个雅克比矩阵的乘积维度刚好是𝑝×𝑚，和左边相容。

标量对多个向量的链式求导法则

最后求导的目标是标量时，无法使用上一节的链式求导法则。比如𝐱,𝐲分别是𝑚,𝑛维向量, 那么$\frac{\partial z}{\partial \mathbf{x}}$的求导结果是一个𝑚×1的向量, 而$\frac{\partial z}{\partial \mathbf{y}}$是一个𝑛×1的向量，$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$是一个𝑛×𝑚的雅克比矩阵,右边的向量和矩阵是没法直接乘的。
　　　　
　　　　但是假如我们把标量求导的部分都做一个转置，那么维度就可以相容了，也就是：
$(\frac{\partial z}{\partial \mathbf{x}}{)}^T=(\frac{\partial z}{\partial \mathbf{y}}{)}^T\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$
　　　　
　　　　因此两边转置我们可以得到标量对多个向量求导的链式法则：
$$\frac{\partial z}{\partial \mathbf{x}}=(\frac{\partial \mathbf{y}}{\partial \mathbf{x}}{)}^T\frac{\partial z}{\partial \mathbf{y}}$$
　　　　推广到𝐲1→𝐲2→…→𝐲𝐧→𝑧，则其链式求导表达式可以表示为：
$$\frac{\partial z}{\partial {\mathbf{y}}_1}=(\frac{\partial {\mathbf{y}}_{\mathbf{n}}}{\partial {\mathbf{y}}_{\mathbf{n}-1}}\frac{\partial {\mathbf{y}}_{\mathbf{n}-1}}{\partial {\mathbf{y}}_{\mathbf{n}-2}}...\frac{\partial {\mathbf{y}}_2}{\partial {\mathbf{y}}_1}{)}^T\frac{\partial z}{\partial {\mathbf{y}}_{\mathbf{n}}}$$

标量对多个矩阵的链式求导法则

矩阵对矩阵的求导是比较复杂的定义，因此没有全局的标量对矩阵的链式求导法则，但是对于一些线性关系的链式求导，我们还是可以得到一些有用的结论的。

我们来看这个常见问题：𝐴,𝑋,𝐵,𝑌都是矩阵，𝑧是标量，其中𝑧=𝑓(𝑌),𝑌=𝐴𝑋+𝐵,我们要求出$\frac{\partial z}{\partial X}$,这个问题在机器学习中是很常见的。
$$z=f(Y),Y=AX+B\to \frac{\partial z}{\partial X}=A^T\frac{\partial z}{\partial Y}$$
　　　在𝐱是一个向量的时候也成立，即：
$$z=f(\mathbf{y}),\mathbf{y}=A\mathbf{x}+\mathbf{b}\to \frac{\partial z}{\partial \mathbf{x}}=A^T\frac{\partial z}{\partial \mathbf{y}}$$
　　　　如果要求导的自变量在左边，线性变换在右边，也有类似稍有不同的结论如下，证明方法是类似的，这里直接给出结论：
$$z=f(Y),Y=XA+B\to \frac{\partial z}{\partial X}=\frac{\partial z}{\partial Y}{A}^T$$

$$z=f(\mathbf{y}),\mathbf{y}=X\mathbf{a}+\mathbf{b}\to \frac{\partial z}{\partial \mathbf{X}}=\frac{\partial z}{\partial \mathbf{y}}{a}^T$$
　　　　使用好上述四个结论，对于机器学习尤其是深度学习里的求导问题可以非常快的解决,大家可以试一试。

转载自：https://www.cnblogs.com/pinard/p/10825264.html