11.感知机的梯度推导

单层的感知机模型

第二个是预测值，每一个输入节点乘以相应的权值，累加之后再相加bias。

从每一层包含的权值开始到激活函数的输出，这整个是一层。
激活函数是sigmod函数
wio指的是上一层的i节点与这一层的0节点。x10，第一层的0号节点。
因为是单层单输出感知机，所以第一层只有一个节点。
E是error，也就是loss。
t是meansquare error。

推导公式

求导之前需要先向右计算一次所有的变量值，这就是前向传播。


只跟输出节点O0，和对应x的j号节点的输入值有关系。

得到的梯度信息是w’=w-lr▽w，更新梯度信息，更新单层感知器的每一层权值，通过不断的计算，最终得到一个合适的w，使得xw越来越趋近于真实值Y。

多输出感知机

推导

W1ik来说，只对O1k有影响，对于其他的O10(W1i0)，O11，O12等没有太大的影响。