当前位置:网站首页>【论文笔记】TransUNet: Transformers Make StrongEncoders for Medical Image Segmentation
【论文笔记】TransUNet: Transformers Make StrongEncoders for Medical Image Segmentation
2022-07-06 10:59:00 【来自γ星的赛亚人】
声明
不定期更新自己精度论文,通俗易懂,初级小白也可以理解
涉及范围:深度学习方向,包括 CV、NLP、Data Fusion、Digital Twin
论文标题:
TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation
TransUNet: Transformer 为医学图像分割提供强大的编码器
论文链接:https://arxiv.org/abs/2102.04306
论文代码:https://github.com/Beckschen/TransUNet
发表时间:2021年2月
创新点
1、引入Transformer 和 U-Net 网络相结合,构建 TransUNet 网络
Abstract
医学图像分割是开发医疗保健系统,特别是疾病诊断和治疗计划的必要前提。在各种医学图像分割任务中,U形体系结构(又称U-NET)已经成为事实上的标准,并取得了巨大的成功。然而,由于卷积运算固有的局部性,U-NET通常在显式建模远程依赖方面表现出局限性。为序列到序列预测而设计的变换器已经成为具有先天全局自关注机制的替代架构,但由于缺乏底层细节,它可能导致有限的定位能力。
本文提出 TransUNet 作为医学图像分割的一个有力的替代方案,它兼有 Transformers 和 U-net 的优点。一方面,该转换器将卷积神经网络(CNN)特征图中的标记图像块编码为输入序列,用于提取全局上下文。另一方面,解码器对编码特征进行上采样,然后将编码特征与高分辨率 CNN 特征映射相结合,以实现精确定位。
我们认为,变压器可以作为医学图像分割任务的强编码器,并结合 U-NET 通过恢复局部空间信息来增强更精细的细节。Transunet 在多器官分割和心脏分割等医学应用中取得了优于各种竞争方法的性能。 代码和模型可在 https://github.com/beckschen/transunet 获得。
Method
首先,输入图片经过下采样和3层卷积的迭代,生成的特征,进行 Flatten 操作;
然后,Flatten 后的特征进入 12 层 Transformer,这里的 Transformer 结构里面是 MSA (多头注意力机制),MLP (全连接层)然后输出;
这里解释一下,为什么先卷积再 Transformer 。
是因为,Transformer 的缺点就是,计算量大,并且没有空间信息。优点是,具备全局信息。
而卷积的缺点是,无法综合全局信息,而优点是,经过卷积后,参数变少,并且具备局部空间信息,不同的卷积核具备不同的感受野。
因此,作者将卷积放在 Transformer 结构前面,综合他们的优缺点,降低了参数,并具备了空间和全局信息。
最后,解码器部分和 U-Net 相同,reshape 后进行四次上采样,然后与编码器三次下采样的特征进行 Concatenation 操作,最后输出分割图。
Experiments
实验目标:不同数据集,不同编解码器结构的对比结果
实验结果:TransUNet 结果最优
实验目标:分割结果图
实验目标:不同框架对比
实验结果: TransUNet 有明显优势
写在最后
Transofrmer 要求数据集量大,但是医学数据集不好收集,这可能是限制 Transformer 在医学领域发展的问题之一吧!
边栏推荐
- Interpreting cloud native technology
- Grafana 9.0 is officially released! It's the strongest!
- Hongke shares | plate by plate ar application in Beijing Winter Olympics
- UFIDA OA vulnerability learning - ncfindweb directory traversal vulnerability
- Describe the process of key exchange
- First, look at K, an ugly number
- 用友OA漏洞学习——NCFindWeb 目录遍历漏洞
- 44 colleges and universities were selected! Publicity of distributed intelligent computing project list
- Method of accessing mobile phone storage location permission under non root condition
- 测试1234
猜你喜欢
监控界的最强王者,没有之一!
C#/VB.NET 给PDF文档添加文本/图像水印
Online notes
Use cpolar to build a business website (1)
Grafana 9.0 is officially released! It's the strongest!
From 2022 to 2024, the list of cifar azrieli global scholars was announced, and 18 young scholars joined 6 research projects
爬虫玩得好,牢饭吃到饱?这3条底线千万不能碰!
同宇新材冲刺深交所:年营收9.47亿 张驰与苏世国为实控人
Solve DoS attack production cases
2022-2024年CIFAR Azrieli全球学者名单公布,18位青年学者加入6个研究项目
随机推荐
Docker安装Redis
Docker installation redis
Breadth first traversal of graph
Self-supervised Heterogeneous Graph Neural Network with Co-contrastive Learning 论文阅读
Bonecp uses data sources
星诺奇科技IPO被终止:曾拟募资3.5亿元 年营收3.67亿
Cobra quick start - designed for command line programs
bonecp使用数据源
echart简单组件封装
Optical blood pressure estimation based on PPG and FFT neural network [translation]
用友OA漏洞学习——NCFindWeb 目录遍历漏洞
Describe the process of key exchange
同宇新材冲刺深交所:年营收9.47亿 张驰与苏世国为实控人
测试行业的小伙伴,有问题可以找我哈。菜鸟一枚~
Splay
Crawling data encounters single point login problem
Visual Studio Code启动时提示“Code安装似乎损坏。请重新安装。”、标题栏显示“不受支持”信息的解决办法
AUTOCAD——中心线绘制、CAD默认线宽是多少?可以修改吗?
[sword finger offer] 60 Points of N dice
How are you in the first half of the year occupied by the epidemic| Mid 2022 summary