Dynamic Networks and Conditional Computation论文简读和代码合集

前言

综述了用于计算机视觉的条件计算和动态cnn，重点讨论了如何降低现有网络结构的计算成本。 与静态网络相比，动态网络在推断时根据输入图像禁用部分网络。 这可以节省计算量并加快推理速度，例如，通过较少的操作处理简单的图像。 注意，这个列表主要集中在减少现有模型的计算成本的方法(例如ResNet模型)，并没有列出所有在自定义架构中使用动态计算的方法。

背景

方法有三个重要的区分因素:

• 该方法的体系结构，例如，跳过层或像素，以及这些运行或跳过决策是单独的策略网络、网络中的子模块或其他机制的结果。

• 训练策略的方法，例如使用强化学习，梯度估计器，如Gumbel-Softmax或自定义方法。

• 该方法的实现，以及该方法是否可以在现有平台上高效执行(即该方法是否加快推理，或仅减少理论计算量)

指标:与精确度损失相比，大多数方法通过减少计算量(即以浮点运算衡量，FLOPS)来展示性能。 方法通常显示不同复杂性的基线模型(例如，通过减少通道数量)与节省不同成本的最大模型所采用的方法相比较的图表。

相关论文和代码

https://github.com/thomasverelst/awesome-dynamic-conditional-networks-cv