当前位置:网站首页>ICML 2022 | Flowformer: 任务通用的线性复杂度Transformer
ICML 2022 | Flowformer: 任务通用的线性复杂度Transformer
2022-07-06 12:49:00 【智源社区】
论文标题:Flowformer: Linearizing Transformers with Conservation Flows
论文链接:https://arxiv.org/pdf/2202.06258.pdf
代码链接:https://github.com/thuml/Flowformer
本文深入研究了注意力机制存在的二次复杂度问题,通过将网络流中的守恒原理引入设计,自然地将竞争机制引入到注意力计算中,有效避免了平凡注意力问题。
我们提出的任务通用的骨干网络Flowformer,实现了线性复杂度,同时在长序列、视觉、自然语言、时间序列、强化学习五大任务上取得优秀效果。
在长序列建模应用上,如蛋白质结构预测、长文本理解等,Flowformer具有良好的应用潜力。此外,Flowformer中“无特殊归纳偏好”的设计理念也对通用基础架构的研究具有良好的启发意义。
Flow-Attention的伪代码如下:
主要实验结果:
边栏推荐
- 【每周一坑】计算100以内质数之和 +【解答】输出三角形
- [weekly pit] output triangle
- Common doubts about the introduction of APS by enterprises
- Redis insert data garbled solution
- Intel 48 core new Xeon run point exposure: unexpected results against AMD zen3 in 3D cache
- [DIY]如何制作一款个性的收音机
- 全网最全的新型数据库、多维表格平台盘点 Notion、FlowUs、Airtable、SeaTable、维格表 Vika、飞书多维表格、黑帕云、织信 Informat、语雀
- 请问sql group by 语句问题
- 每个程序员必须掌握的常用英语词汇(建议收藏)
- 自定义限流注解
猜你喜欢
Value of APS application in food industry
OAI 5g nr+usrp b210 installation and construction
PHP saves session data to MySQL database
OneNote 深度评测:使用资源、插件、模版
[DSP] [Part 1] start DSP learning
SAP Fiori应用索引大全工具和 SAP Fiori Tools 的使用介绍
Comprehensive evaluation and recommendation of the most comprehensive knowledge base management tools in the whole network: flowus, baklib, jiandaoyun, ones wiki, pingcode, seed, mebox, Yifang cloud,
Interviewer: what is the internal implementation of ordered collection in redis?
基于深度学习的参考帧生成
APS taps home appliance industry into new growth points
随机推荐
基于STM32单片机设计的红外测温仪(带人脸检测)
Le langage r visualise les relations entre plus de deux variables de classification (catégories), crée des plots Mosaiques en utilisant la fonction Mosaic dans le paquet VCD, et visualise les relation
What are RDB and AOF
性能测试过程和计划
【mysql】触发器
@PathVariable
[asp.net core] set the format of Web API response data -- formatfilter feature
Summary of different configurations of PHP Xdebug 3 and xdebug2
1_ Introduction to go language
Notes - detailed steps of training, testing and verification of yolo-v4-tiny source code
Regular expression collection
Simple continuous viewing PTA
[DIY]如何制作一款個性的收音機
Pat 1085 perfect sequence (25 points) perfect sequence
Swagger UI教程 API 文档神器
Laravel notes - add the function of locking accounts after 5 login failures in user-defined login (improve system security)
Web开发小妙招:巧用ThreadLocal规避层层传值
Redis insert data garbled solution
What is the problem with the SQL group by statement
[diy] how to make a personalized radio