当前位置:网站首页>Improving Multimodal Accuracy Through Modality Pre-training and Attention

Improving Multimodal Accuracy Through Modality Pre-training and Attention

2022-07-06 14:53:00 Rainylt

paper:


发现多模态模型不同模态的收敛速度不一致,于是各自单独预训练,再用attention(非self-attn)得到不同模态的权重,乘上权重后concat->FC->logits

首先讲一下这里的attention。不是self-attention那种Q*K的机制,而是直接把三个模态的feature concat后,过FC得到权重
在这里插入图片描述
H为三个模态(v, a, t)的feature,shape为(3,m)。输出三个模态的权重
根据作者观察发现,直接训多模态模型,不同模态的Loss下降速度不一致(收敛速度):
在这里插入图片描述
三个图是不同数据集,第二个和第三个数据集还稍微好点,第一个数据集就text收敛太快。
看不同模态的权重:
在这里插入图片描述
可以看到第一个数据集在预训练之前text占了大部分权重,也许因为它比较重要,也可能是因为他的feature更优质。在预训练后video赶了上来,说明video之前只是feature没怎么训好而已。


三个模态,谁更重要其实是要视具体情况而定的:
在这里插入图片描述
这里三种模态都能表现出害怕
在这里插入图片描述
这里text和audio能表现出惊讶,但img就不行,表情比较平淡(其实不好说)
在这里插入图片描述
这个例子比较好,他虽然嘴上在道歉,但是实际上却在大笑,应该是一种开心的情绪,所以这里应该是audio占主导
本文提出的attention权重和这些重要性是能够对应上的:
在这里插入图片描述

原网站

版权声明
本文为[Rainylt]所创,转载请带上原文链接,感谢
https://blog.csdn.net/lt1103725556/article/details/125635378