激活最大化

可视化深层网络的高层特征：

1. 激活最大化：
   1. 寻找使一个给定的隐层单元的激活值最大的输入模式
   2. 模板卷积：如果某个卷积模板与图像中模块越相似，则响应就越大。
   3. 如果某个图像输入使得这个神经元输出激励值最大，则可认为这个神经元就是提取和这个输入差不多的特征，所以寻找可以使这个神经元输入最大的x则就是可以可视化并且有意义的表达这个神经元学习到的特征了    
   4. 即一旦完成网络训练后，参数w是确定的，则可以寻找使得这个神经元最大的激活值对应的x了：

   5. 由公式可以看出：这是一个非凸优化问题，存在很多局部最小值。通过梯度下降去寻找到一个局部最小值：

      1. 得到两个或者更多的局部最小值。不管是哪种情况，该神经节点提取的特征都可以通过找到的一个或者多个最小值进行描述。如果有多个最小值，那么可以寻找使激活值最大的或者将所有的进行平均，或者把所有的都显示出来。

      2. 从不同的随机值初始化开始最后都迭代得到相同的最小值

2. 采样
3. 线性组合法