Remplacer l'auto - attention par MLP

AvecMLPRemplacerSelf-Attention

Un travail de Tsinghua présenté ici “Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks”

Remplacer par deux couches linéairesSelf-AttentionMécanismes,Enfin, l'amélioration de la vitesse tout en maintenant la précision.

Ce travail est surprenant,On peut utiliserMLPRemplacerAttentionMécanismes,Cela nous amène à reconsidérerAttentionLa nature de l'amélioration des performances.

TransformerDansSelf-AttentionMécanismes

Tout d'abord,,Comme le montre la figure ci - dessous：

Nous donnons les résultats de sa formalisation ：
$$\begin{gathered} A=\text{softmax}(\frac{Q{K}^T}{\sqrt{d_k}}) \\ {F}_{out}=AV \end{gathered}$$
Parmi eux,$Q,K\in {\mathbb{R}}^{N\times d^{\prime }}$ En même temps $V\in {\mathbb{R}}^{N\times d}$

Ici., Nous donnons une version simplifiée ,Comme le montre la figure ci - dessous：

Ce qui signifie que $Q,K,V$ Toutes les caractéristiques d'entrée $F$ Remplacer, Il prend la forme de ：
$$\begin{gathered} A=\text{softmax}(F{F}^T) \\ {F}_{out}=AF \end{gathered}$$

Et pourtant, La complexité du calcul ici est $O(d{N}^2)$,C'estAttention Un inconvénient majeur du mécanisme .

Attention extérieure (External Attention)

Comme le montre la figure ci - dessous:

Deux matrices ont été introduites $M_k\in {\mathbb{R}}^{S\times d}$ Et $M_v \in\mathbb{R}^{S\times d} $, Remplacer l'original $K,V$

La formalisation est donnée ici directement ：
$$\begin{gathered} A=\text{Norm}(F{M}_k^T) \\ {F}_{out}=A{M}_v \end{gathered}$$
Ce Design, Réduire la complexité à $O(dSN)$, Le travail a révélé ,Quand $S\ll N$ Quand, Toujours capable de maintenir une précision suffisante .

Dont: $\text{Norm}(\cdot )$ L'opération consiste à faire d'abord la colonne Softmax, Puis la ligne est normalisée .

Analyse expérimentale

Tout d'abord,,ArticleTransformerDansAttentionLe mécanisme est remplacé par, Puis testez - les sur toutes sortes de tâches ,Y compris:：

• Classification des images
• Segmentation sémantique
• Génération d'images
• Classification des nuages ponctuels
• Point Cloud Split

Seuls quelques résultats sont présentés ici , Décrivez brièvement la perte de précision après le remplacement .

Classification des images

Segmentation sémantique

Génération d'images

Je vois., Dans différentes missions , En gros, il n'y a pas de perte de précision .