Inception 新结构 | 究竟卷积与Transformer如何结合才是最优的？

最近的研究表明，Transformer 具有强大的远程关系建模的能力，但在捕获高频局部信息方面却无能为力。为了解决这个问题，本文提出了 Inception Transformer，简称 iFormer，可以有效地学习视觉数据中包含高频和低频信息的综合特征。

具体来说，本文设计了一个 Inception mixer将卷积和最大池化的优势移植到 Transformer 中捕获高频信息。与最近的mixer不同，Inception mixer通过通道拆分机制带来更高的效率，同时采用并行卷积/最大池化路径和自注意力路径作为high-frequency mixer和low-frequency mixer可以灵活地对分散在其中的判别信息进行建模。

考虑到Low-level Layer在捕捉高频细节方面发挥更多作用，而High-level Layer在建模低频全局信息方面发挥更多作用，作者进一步引入frequency ramp structure，即逐渐减小送到high-frequency mixer的维度，并增加low-frequency mixer的维度（一句话就是ResNet的层次设计思想），可以有效地权衡不同层的高频和低频分量。

在一系列视觉任务上对 iFormer 进行了基准测试，并展示了它在图像分类、COCO检测和 ADE20K 分割方面的出色表现。例如，iFormer-S 在 ImageNet-1K 上达到了 83.4% 的 top-1 准确率，比 DeiT-S 高出 3.6%，在只有 1/4 的参数和 1/3 的FLOPs的情况下甚至略好于更大的模型 Swin-B (83.3%)。

论文链接：

https://arxiv.org/abs/2205.12956