当前位置:网站首页>Improving Multimodal Accuracy Through Modality Pre-training and Attention
Improving Multimodal Accuracy Through Modality Pre-training and Attention
2022-07-06 14:53:00 【Rainylt】
paper:
发现多模态模型不同模态的收敛速度不一致,于是各自单独预训练,再用attention(非self-attn)得到不同模态的权重,乘上权重后concat->FC->logits
首先讲一下这里的attention。不是self-attention那种Q*K的机制,而是直接把三个模态的feature concat后,过FC得到权重:
H为三个模态(v, a, t)的feature,shape为(3,m)。输出三个模态的权重
根据作者观察发现,直接训多模态模型,不同模态的Loss下降速度不一致(收敛速度):
三个图是不同数据集,第二个和第三个数据集还稍微好点,第一个数据集就text收敛太快。
看不同模态的权重:
可以看到第一个数据集在预训练之前text占了大部分权重,也许因为它比较重要,也可能是因为他的feature更优质。在预训练后video赶了上来,说明video之前只是feature没怎么训好而已。
三个模态,谁更重要其实是要视具体情况而定的:
这里三种模态都能表现出害怕
这里text和audio能表现出惊讶,但img就不行,表情比较平淡(其实不好说)
这个例子比较好,他虽然嘴上在道歉,但是实际上却在大笑,应该是一种开心的情绪,所以这里应该是audio占主导
本文提出的attention权重和这些重要性是能够对应上的:
边栏推荐
- China 1,4-cyclohexanedimethanol (CHDM) industry research and investment decision-making report (2022 Edition)
- Management background --3, modify classification
- 【踩坑合辑】Attempting to deserialize object on CUDA device+buff/cache占用过高+pad_sequence
- 做国外LEAD2022年下半年几点建议
- 0 basic learning C language - digital tube
- 2022-07-05 stonedb的子查询处理解析耗时分析
- 【编译原理】做了一半的LR(0)分析器
- UDP编程
- Installation and use of labelimg
- 2022-07-05 使用tpcc对stonedb进行子查询测试
猜你喜欢
Netxpert xg2 helps you solve the problem of "Cabling installation and maintenance"
2500 common Chinese characters + 130 common Chinese and English characters
Web APIs DOM time object
signed、unsigned关键字
[Digital IC hand tearing code] Verilog burr free clock switching circuit | topic | principle | design | simulation
PVL EDI 项目案例
Management background --1 Create classification
Seata聚合 AT、TCC、SAGA 、 XA事务模式打造一站式的分布式事务解决方案
Assembly and interface technology experiment 5-8259 interrupt experiment
pytorch_ Yolox pruning [with code]
随机推荐
Clip +json parsing converts the sound in the video into text
[Digital IC hand tearing code] Verilog burr free clock switching circuit | topic | principle | design | simulation
【sdx62】WCN685X将bdwlan.bin和bdwlan.txt相互转化操作方法
C # réalise la liaison des données du rapport Crystal et l'impression du Code à barres 4
第4章:再谈类的加载器
2022-07-04 mysql的高性能数据库引擎stonedb在centos7.9编译及运行
Management background --1 Create classification
将MySQL的表数据纯净方式导出
Spatial domain and frequency domain image compression of images
Advantages of link local address in IPv6
如何用程序确认当前系统的存储模式?
手写ABA遇到的坑
pytorch_YOLOX剪枝【附代码】
PVL EDI project case
中国固态氧化物燃料电池技术进展与发展前景报告(2022版)
How do I write Flask's excellent debug log message to a file in production?
Lora sync word settings
Management background --2 Classification list
小常识:保险中的“保全”是什么?
C# 三种方式实现Socket数据接收